Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
An analysis of multilevel mixture item response theory model using alternative IRT model with guessing
Year (A.D.)
2020
Document Type
Thesis
First Advisor
ณัฏฐภรณ์ หลาวทอง
Second Advisor
สิวะโชติ ศรีสุทธิยากร
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2020.602
Abstract
การวิจัยนี้มีวัตถุประสงค์ 4 ประการ คือ 1) เพื่อศึกษารูปแบบของโมเดล MMix2PLE และวิธีการประมาณค่าพารามิเตอร์ 2) เพื่อเปรียบเทียบความถูกต้องของการคัดเลือกโมเดลระหว่างเกณฑ์สารสนเทศ AIC, BIC, CAIC และ DBIC สำหรับโมเดล MMix3PL และ MMix2PLE ภายใต้สถานการณ์จำลอง 3) เพื่อศึกษาความแม่นยำของการประมาณค่าพารามิเตอร์กลุ่มแฝง พารามิเตอร์ของข้อสอบ และความสามารถเฉลี่ยในกลุ่มแฝง ระหว่างโมเดล MMix3PL กับ MMix2PLE ภายใต้สถานการณ์จำลอง และ 4) เพื่อวิเคราะห์หาจำนวนกลุ่มแฝง พารามิเตอร์กลุ่มแฝง พารามิเตอร์ของข้อสอบ และความสามารถเฉลี่ยในกลุ่มแฝง จากข้อมูลเชิงประจักษ์ด้วยโมเดล MMix3PL และ MMix2PLE ข้อมูลที่ศึกษาประกอบด้วยข้อมูลจำลองจากวิธีมอนติคาร์โล 32 เงื่อนไข (2 โมเดล x 2 ขนาดตัวอย่าง x 8 โมเดลแข่งขัน) แต่ละเงื่อนไขถูกจำลองซ้ำ 10 รอบ รวมมีข้อมูลทั้งสิ้น 320 ชุด และข้อมูลเชิงประจักษ์จากข้อมูลคะแนนสอบ O-NET วิชาคณิตศาสตร์ ม.6 (2562) ของนักเรียน 2,500 คน จากโรงเรียน 50 แห่ง ใน 4 สังกัดคือ สพฐ. สช. อว. และ กสท. ผลการวิจัยสรุปได้ดังนี้ 1. รูปแบบของโมเดล MMix2PLE ที่อธิบายโอกาสในการเดาถูกด้วยคุณลักษณะของผู้สอบและข้อสอบ สามารถช่วยหลีกเลี่ยงปัญหาที่อาจเกิดขึ้นจากการประมาณค่าพารามิเตอร์ c ของโมเดล MMix3PL ได้ ส่วนวิธีการประมาณค่าแบบเบส์ที่นำมาใช้ พบว่ามีแนวโน้มให้ค่าประมาณพารามิเตอร์ได้ค่อนข้างแม่นยำ สัมพันธ์กับค่าจริง ระบุค่าที่แน่นอนได้ และมีความแกร่งในการประมาณค่าเมื่อขนาดตัวอย่างในกลุ่มแฝงมีขนาดเล็ก 2. การเปรียบเทียบความถูกต้องของการคัดเลือกโมเดล พบว่า AIC มีแนวโน้มมีความถูกต้องมากที่สุด รองลงมาคือ DBIC และต่ำที่สุดคือ BIC และ CAIC ภายใต้เงื่อนไขข้อมูล 2 ระดับ ขนาดตัวอย่างเป็น 1,250 และ 2,500 คน และมีจำนวนกลุ่มแฝงระดับโรงเรียน 2 กลุ่ม และกลุ่มแฝงระดับนักเรียน 2 กลุ่ม 3. ความแม่นยำของการประมาณค่าพารามิเตอร์ พบว่าโมเดล MMix2PLE และ MMix3PL มีแนวโน้มให้ความแม่นยำค่อนข้างสูง ยกเว้นพารามิเตอร์ c ของโมเดล MMix3PL ที่ให้ค่าประมาณไม่สัมพันธ์กับค่าจริง ภายใต้สถานการณ์ที่โมเดลวิเคราะห์เป็นโมเดลเดียวกับโมเดลประชากร 4. การวิเคราะห์ข้อมูลเชิงประจักษ์ด้วยโมเดล MMix3PL และ MMix2PLE ให้ผลสรุปเกี่ยวกับจำนวนกลุ่มแฝงและความสามารถสอดคล้องกัน โดยพบว่าข้อมูลมีกลุ่มแฝงระดับโรงเรียน 2 กลุ่ม และกลุ่มแฝงระดับนักเรียน 2 กลุ่ม รวมมีกลุ่มแฝงทั้งสิ้น 4 กลุ่ม ได้แก่ 1) กลุ่มความสามารถสูง) 2) กลุ่มความสามารถต่ำ 3) กลุ่มความสามารถปานกลาง และ 4) กลุ่มความสามารถต่ำมาก ทั้งนี้สมาชิกในกลุ่มแฝงสองกลุ่มแรกส่วนใหญ่เป็นนักเรียนที่มีผู้ปกครองรายได้มากกว่า 300,000 บาท ศึกษาในโรงเรียนสังกัด อว. และอยู่ใน กทม. ขณะที่สมาชิกในสองกลุ่มหลังส่วนใหญ่เป็นนักเรียนที่มีผู้ปกครองรายได้ไม่เกิน 300,000 บาท ศึกษาในโรงเรียนสังกัด สพฐ. สช. และ กสท. และมิได้อยู่ใน กทม. ส่วนการประมาณค่าพารามิเตอร์ของข้อสอบ พบว่าโมเดลทั้งสองให้ค่าประมาณไม่ค่อยสอดคล้องกัน ซึ่งเป็นผลมาจากการจัดสมาชิกในกลุ่มแฝงที่มีความแตกต่างกัน
Other Abstract (Other language abstract of ETD)
This study had four purposes: 1) to study the form of the MMix2PLE model and its parameter estimation method; 2) to compare the accuracy of model selection between AIC, BIC, CAIC, and DBIC for the MMix3PL and MMix2PLE models under simulated conditions; 3) to study the precision of parameter estimation: classes, items, and mean ability between the MMix3PL and MMix2PLE models under simulated conditions; and 4) to determine the number of classes, latent class parameters, item parameters, and mean ability in classes from empirical data using the MMix3PL and MMix2PLE models. The data consisted of 32 simulated data from the Monte Carlo method (2 models x 2 sample sizes x 8 candidate models), each data was replicated 10 times, yielding a total of 320 data sets, and the empirical data from O-NET in Mathematics Grade 12 (2019), of 2,500 students, 50 schools, 4 affiliations: OBEC, OPEC, MHESI, and DLA. The research results were as follows: 1. The form of the MMix2PLE model, which described the chance of a correct guess with the characteristics of respondents and items can avoid problems may arise from estimation of c parameters of the MMix3PL model. As for the Bayesian estimation tended to provide fairly accurate estimates, correlate to real values, be specifiable, and be robust in parameter estimation when the sample size in the class was small. 2. Comparison of the accuracy of model selection, AIC tended to be most accurate, followed by DBIC, and the lowest being BIC and CAIC under 2 school-level and 2 student-level latent classes conditions. 3. The precision of parameter estimation, the MMix2PLE and MMix3PL model tended to be highly precise, except c parameters for the MMix3PL model which did not correlate with the real values when the analyzed model was the same as the population model. 4. Empirical data analysis using the MMix3PL and MMix2PLE models yielded consistent results regarding latent classes and ability. The data consisted of 2 school-level and 2 student-level latent classes, total of 4 ability groups: 1) high, 2) low, 3) moderate, and 4) very low. Most of the first two groups were students whose parents earn more than 300,000 baht, studied in MHESI schools, Bangkok, while most of the latter two groups were students whose parents earn no more than 300,000 baht, studied in OBEC, OPEC, and DLA schools, not Bangkok. The item parameter estimation found that both models gave inconsistent estimates as a result of different arrangement of members in the latent classes.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
สุขสกุลวัฒน์, ธีรุตม์, "การวิเคราะห์โมเดลทฤษฎีการตอบสนองข้อสอบแบบผสมพหุระดับด้วยโมเดลทฤษฎีการตอบสนองข้อสอบทางเลือกที่คำนึงถึงการเดา" (2020). Chulalongkorn University Theses and Dissertations (Chula ETD). 4149.
https://digital.car.chula.ac.th/chulaetd/4149