Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Analysis of raters consensus and differential rater functioing in alignment analysis: the application of cultural consensus analysis model
Year (A.D.)
2019
Document Type
Thesis
First Advisor
ศิริเดช สุชีวะ
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2019.706
Abstract
การวิจัยนี้มีวัตถุประสงค์ 1) เพื่อประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมเพื่อวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินในการศึกษาความสอดคล้องในแนวเดียวกัน 2) เพื่อตรวจสอบประสิทธิภาพของโมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินในการศึกษาความสอดคล้องในแนวเดียวกัน 3) เพื่อศึกษาผลการประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินและการทำหน้าที่ต่างกันของผู้ประเมินในการประเมินความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบในการประเมินระดับชั้นเรียนกลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับมัธยมศึกษาตอนต้น การดำเนินการศึกษาแบ่งเป็น 3 ระยะ คือ ระยะที่ 1 ศึกษาเอกสารและงานวิจัยที่เกี่ยวข้อง ระยะที่ 2 ศึกษาผลการประมาณความสอดคล้องระหว่างผู้ประเมินด้วยการจำลองแบบมอนติคาร์โล แบ่งเป็น การจำลองข้อมูล การประเมินประสิทธิภาพของการประมาณค่าของโมเดล และการวิเคราะห์ผลการจำลองข้อมูล ระยะที่ 3 ศึกษาผลการประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการวิเคราะห์ความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบ ในการประเมินระดับชั้นเรียน กลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับมัธยมศึกษาตอนต้น ผลการวิจัยสรุปได้ดังนี้ 1) โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการศึกษาครั้งนี้มี 2 โมเดล โมเดล GCM หรือ MC-GCM เป็นโมเดลวิเคราะห์ข้อมูลในบริบทการประเมินที่ให้คะแนนแบบ (0, 1) จะมีพารามิเตอร์ของข้อคำถาม ซึ่งประกอบด้วยพารามิเตอร์ตำแหน่งคะแนนฉันทามติกับพารามิเตอร์ความยากของข้อคำถาม พารามิเตอร์ของผู้ประเมิน ประกอบด้วยพารามิเตอร์ความสามารถของผู้ประเมินกับพารามิเตอร์ความลำเอียงในการประเมิน โมเดล LTRM หรือ MC-LTRM เป็นโมเดลการวิเคราะห์ข้อมูลในบริบทการประเมินที่ให้คะแนนแบบมาตรประมาณค่า ประกอบด้วยพารามิเตอร์ 2 กลุ่ม คือ พารามิเตอร์ของข้อคำถาม ประกอบด้วยพารามิเตอร์ตำแหน่งคะแนนฉันทามติของการประเมินกับพารามิเตอร์ความยากของคำถามประเมิน พารามิเตอร์ของผู้ประเมิน ประกอบด้วยพารามิเตอร์ความสามารถของผู้ประเมิน กับพารามิเตอร์ความลำเอียงในการประเมิน 2) ผลการตรวจสอบประสิทธิภาพของการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินด้วยการจำลองข้อมูล พบว่า โมเดล MC-GCM และโมเดล MC-LTRM สามารถประมาณค่าพารามิเตอร์ได้ใกล้เคียงกับค่าจริงของพารามิเตอร์ที่กำหนดไว้ โดยมีค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสอง และค่าความลำเอียงในการประมาณค่าที่เข้าใกล้ 0 และมีค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่าของโมเดลในระดับสูง ค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่ามีความสัมพันธ์กันในระดับสูง และมีนัยสำคัญทางสถิติ ผลการวิเคราะห์อิทธิพลของตัวแปรอิสระที่ส่งผลต่อการประมาณค่า พบว่า ปัจจัยที่ส่งผลต่อประสิทธิภาพในการประมาณค่าของโมเดลทั้งสอง คือ การทำหน้าที่ต่างกันของผู้ประเมิน ซึ่งส่งผลต่อค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสองและค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่าของโมเดลในการประมาณค่าพารามิเตอร์ความสามารถของผู้ประเมิน และความยากของรายการประเมินอย่างมีนัยสำคัญทางสถิติ 3) ผลการวิเคราะห์ความสอดคล้องในแนวเดียวกันด้วยโมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรม พบว่า ไม่มีการทำหน้าที่ต่างกันระหว่างผู้ประเมิน โดยมีผลการประเมิน ดังนี้ 3.1) ผลคะแนนการประเมินระดับความซับซ้อนทางปัญญาของข้อสอบในการประเมินระดับชาติ กลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับชั้นมัธยมศึกษาปีที่ 3 มีตำแหน่งคะแนนการประเมินอยู่ในตำแหน่งคะแนนประเมินระดับ 2 (เข้าใจ) ถึงระดับ 4 (ประยุกต์ใช้) 3.2) ผลการประเมินความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบในการประเมินระดับชั้นเรียน มีตำแหน่งคะแนนการประเมินจะอยู่ในเทรชโฮลด์ที่ 4 หรือระดับการประเมินที่ 5 (สอดคล้องโดยตรง)
Other Abstract (Other language abstract of ETD)
The purposes of this study were to 1) apply Cultural Consensus Models in analyzing raters’ consensus for educational alignment analysis 2) investigate and verify model efficiency in estimating raters’ consensus for alignment analysis 3) examine the result of applying Cultural Consensus model in the analysis of raters’ consensus and differential rater functioning in the evaluation of the standards and indicators-classroom test items alignment in junior secondary school education. This study is divided into 3 phrases. First, research papers and documents involved in the study were reviewed. Second, Monte Carlo study was conducted to investigate models’ performance. Third, the 2 Cultural Consensus Models were implemented with evaluation of science standards and indicators-classroom test items alignment in the junior secondary school education to study alignment between classroom test items and science standards and indicators. Research results were as follows: 1) This research studied 2 Cultural Consensus models. GCM/MC-GCM for dichotomous data has 2 sets of parameters; item parameter and rater parameter. The item parameter includes consensus score and item difficulty while rater parameter includes rater competency and rater’s bias. LTRM/MC-LTRM for polytomous data also has 2 sets of parameters. The item parameter includes consensus score and item difficulty. The rater parameter includes rater competency and rater’s bias. 2) The simulation study showed that both MC-GCM and MC-LTRM can yield the parameters estimation close to the specified parameter values with MSE and Bias of estimator values close to zero and had high correlation between the actual and estimated value. Partial ETA squared showed that differential rater functioning had significant effect on model capability in estimating rater’s competency and item difficulty parameters which resulted in higher MSE and lower correlation between the actual and estimated values 3) Alignment analysis results showed no evidence of differential rater functioning. Raters’ consensus results are; 3.1) the cognitive demand evaluation of national science test items was in the 2nd (understanding) and the 4th (applying) category. 3.2) the posterior of consensus score parameter of standard and indicators-classroom test items alignment score indicated that all raters gave the evaluation score at the 5th (completely align)
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
จุฑารัตน์, ศิธรา, "การวิเคราะห์ฉันทามติและการทำหน้าที่ต่างกันระหว่างผู้ประเมินในการวิเคราะห์ความสอดคล้องในแนวเดียวกัน: การประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรม" (2019). Chulalongkorn University Theses and Dissertations (Chula ETD). 9082.
https://digital.car.chula.ac.th/chulaetd/9082