Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
A COMPARISON OF EFFICIENCY AMONG FULL MIRT OBSERVED-SCORE EQUATING PROCEDURES FOR MIXED-FORMAT TESTS UNDER NON-EQUIVALENT GROUPS WITH ANCHOR TEST DESIGN
Year (A.D.)
2017
Document Type
Thesis
First Advisor
ศิริเดช สุชีวะ
Second Advisor
สิวะโชติ ศรีสุทธิยากร
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2017.727
Abstract
การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพของกระบวนการปรับเทียบคะแนนสังเกตได้ตามทฤษฎีการตอบสนองข้อสอบแบบพหุมิติเต็มรูป (MOSE) 2 แบบ ได้แก่ กระบวนการ MOSE ที่ประมาณค่าพารามิเตอร์พร้อมกัน (CMOSE) และกระบวนการ MOSE ที่ประมาณค่าพารามิเตอร์แยกกันและใช้การเชื่อมโยงสเกลด้วยวิธี TCF (SMOSE) ด้วยการจำลองแบบมอนติคาร์โล สำหรับแบบสอบรูปแบบผสม ภายใต้รูปแบบผู้สอบกลุ่มไม่เท่าเทียมกันโดยใช้ข้อสอบร่วม (NEAT) เมื่อโครงสร้างมิติความสามารถ สัดส่วนคะแนนข้อสอบร่วม และอัตราส่วนคะแนนข้อสอบร่วมที่ตรวจให้คะแนนสองค่า แตกต่างกัน ประสิทธิภาพของกระบวนการปรับเทียบคะแนนวัดจากตัวบ่งชี้ 3 ตัว ได้แก่ ค่ารากที่สองของค่าเฉลี่ยความคลาดเคลื่อนกำลังสอง (RMSE) ค่าความลำเอียงสัมพัทธ์ (RB) และสัมประสิทธิ์การแปรผันของค่าความคลาดเคลื่อนมาตรฐาน (CVSE) ผลการวิจัยด้านประสิทธิภาพโดยรวม (RMSE) พบว่า มีปฏิสัมพันธ์อิทธิพลของสัดส่วนคะแนนข้อสอบร่วมกับอัตราส่วนคะแนนข้อสอบร่วมที่ตรวจให้คะแนนสองค่าต่อค่า RMSE อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 เมื่อวิเคราะห์อิทธิพลอย่างง่ายในเงื่อนไขสัดส่วนคะแนนข้อสอบร่วม (1) กรณีอัตราส่วนฯ คือ 60:40 และ 50:50 พบว่า กระบวนการ MOSE มีประสิทธิภาพโดยรวมมากขึ้น เมื่อสัดส่วนคะแนนข้อสอบร่วมเพิ่มขึ้นอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 และ (2) กรณีอัตราส่วนฯ คือ 70:30 และ 40:60 พบว่า ประสิทธิภาพโดยรวมมากที่สุด เมื่อสัดส่วนคะแนนข้อสอบร่วม คือ 20%, 30% และ 10% ตามลำดับ เมื่อวิเคราะห์อิทธิพลอย่างง่ายในเงื่อนไขอัตราส่วนคะแนนข้อสอบร่วมที่ตรวจให้คะแนนสองค่า พบว่า (1) สัดส่วนคะแนนข้อสอบร่วม 30% พบว่า มีประสิทธิภาพโดยรวมมากที่สุด เมื่ออัตราส่วนฯ คือ 60:40, 50:50, 40:60 และ 70:30 ตามลำดับ (2) สัดส่วนคะแนนข้อสอบร่วม 20% พบว่า มีประสิทธิภาพโดยรวมมากที่สุด เมื่ออัตราส่วนฯ คือ 40:60, 70:30, 50:50 และ 60:40 ตามลำดับ และ (3) สัดส่วนคะแนนข้อสอบร่วม คือ 10% พบว่า มีประสิทธิภาพโดยรวมมากที่สุด เมื่ออัตราส่วนฯ คือ 40:60, 70:30 และ 60:40 ตามลำดับ ผลด้านความแม่นยำ (RB) พบว่า มีปฏิสัมพันธ์อิทธิพลระหว่างตัวแปรอิสระทั้ง 4 ตัวแปรต่อค่า RB อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 ส่วนผลด้านความถูกต้อง (CVSE) พบว่า ไม่มีปฏิสัมพันธ์อิทธิพลระหว่างตัวแปรอิสระต่อค่า CVSE ในเชิงปฏิบัติ เมื่อพิจารณาอิทธิพลหลักของ ตัวแปรอิสระ พบว่า ตัวแปรอิสระที่มีผลต่อค่า CVSE ระหว่างกลุ่มอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 ได้แก่ กระบวนการ MOSE โครงสร้างมิติความสามารถ และสัดส่วนคะแนนข้อสอบร่วม โดยมีขนาดอิทธิพลร้อยละ 6.90, .30 และ .90 ตามลำดับ ขณะที่อัตราส่วนคะแนนข้อสอบร่วมที่ตรวจให้คะแนนสองค่าไม่มีผลต่อค่า CVSE
Other Abstract (Other language abstract of ETD)
The purpose of this research was to compare the efficacy of the two Full MIRT observed score equating (MOSE) included MOSE procedure which had concurrent calibration (CMOSE) and MOSE procedure which had separate calibration and used scale linking with the test characteristic function procedure (SMOSE) using Monte Carlo simulation for mixed-format tests under non-equivalent groups with anchor test design (NEAT) with different test structures, common item score proportions and dichotomous common item score ratios. The three indices of efficacy of equating were root mean square error of equating (RMSE), relative bias (RB) and coefficient of variance of standard error of equating (CVSE). The result of overall of efficacy (RMSE) indicated that there was interaction between MOSE procedure and proportions of common item score which affected on RB at the .05 level of significant. The results of simple-effect analysis for the proportions show that (1) The ratios are 60:40 and 50:50 showed that MOSE became more overall of efficacy, when the proportions were increased at the .05 level of significant and (2) The ratios are 60:40 and 50:50 showed that MOSE became better overall of efficacy when the proportions were 20%, 30% and 10%. The results of simple-effect analysis for the ratios revealed that (1) The proportion is 30% revealed that MOSE became better overall of efficacy when the ratios were 60:40, 50:50, 40:60 and 70:30 (2) The proportion is 20% revealed that MOSE became better overall of efficacy when the ratios were 40:60, 70:30, 50:50 and 60:40 (3) The proportion is 10% revealed that MOSE became better overall of efficacy when the ratio were 40:60, 70:30 and 60:40. The result of validity (RB) showed that there was interaction between the four independents which affected on RB at the .05 level of significant while the result of reliability (CVSE) showed that there was no interaction between the four independents which affected on CVSE. The result of main effect indicated that the independents which affected on CVSE between at the .05 level of significant were the MOSE, test structures and the proportions while there was no effect of ratios on CVSE.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
พานิชวัฒนะ, พนิดา, "การเปรียบเทียบประสิทธิภาพของกระบวนการปรับเทียบคะแนนสังเกตได้ตามทฤษฎีการตอบสนองข้อสอบแบบพหุมิติ สำหรับแบบสอบรูปแบบผสม ภายใต้ผู้สอบกลุ่มไม่เท่าเทียมกันโดยใช้ข้อสอบร่วม" (2017). Chulalongkorn University Theses and Dissertations (Chula ETD). 1217.
https://digital.car.chula.ac.th/chulaetd/1217