Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of hybrid computerized adaptive testing system by maximum priority index method and progressive-restricted standard error method
Year (A.D.)
2019
Document Type
Thesis
First Advisor
โชติกา ภาษีผล
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2019.705
Abstract
การศึกษาครั้งที่มีวัตถุประสงค์ เพื่อพัฒนาระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด โดยใช้วิธีดัชนีลำดับความสำคัญสูงสุด และวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า และเพื่อประเมินคุณภาพระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริดโดยการประเมินแบบอิงมาตรฐาน การประเมินฮิวริสติค และการประเมินความพึงพอใจของผู้ใช้งานต่อระบบการทดสอบ โดยงานวิจัยครั้งนี้ศึกษาภายใต้ทฤษฎีการตอบสนองข้อสอบแบบ 3 พารามิเตอร์ การพัฒนาระบบ การทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด ใช้ข้อสอบแบบฝึกพัฒนาทักษะภาษาอังกฤษ สำหรับนักเรียนชั้นมัธยมศึกษาปีที่ 3 ของสถาบันภาษาอังกฤษ สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน จำนวน 640 ข้อ มีการตรวจสอบคุณภาพข้อสอบกับนักเรียนชั้นมัธยมศึกษาปีที่ จำนวน 1,109 คน และทดลองใช้ระบบทดสอบกับนักเรียนชั้นมัธยมศึกษาปีที่ 3 จำนวน 74 คน เครื่องมือที่ใช้ในการประเมินคุณภาพระบบ ประกอบด้วยแบบประเมินอิงมาตรฐาน แบบประเมินฮิวริสติค และแบบประเมิน ความพึงพอใจของผู้ใช้งานต่อระบบ การทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด สถิติที่ใช้ในการวิเคราะห์ข้อมูล ได้แก่ ความถี่ ร้อยละ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน ค่าความเบ้และความโด่ง ผลการวิจัยสรุปได้ดังนี้ 1. การพัฒนาระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด โดยใช้วิธีดัชนีลำดับความสำคัญสูงสุด และวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า ซึ่งทดสอบผ่านระบบออนไลน์ ระบบที่พัฒนาขึ้นประกอบด้วย 3 ส่วน ได้แก่ 1) รูปแบบของระบบการทดสอบ 2) การทดสอบ ซึ่งประกอบไปด้วย จุดเริ่มต้นการทดสอบ การประมาณค่าความสามารถผู้สอบด้วยวิธีการประมาณค่าด้วยความเป็นไปได้สูงสุด (MLE) การคัดเลือกข้อสอบด้วยวิธีดัชนีลำดับความสำคัญสูงสุด (MPI) การควบคุมการใช้ข้อสอบซ้ำด้วยวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า (PR-SE) การยุติการทดสอบ (≤0.3) และ 3) การรายงานผลการทดสอบ 2. ผลการประเมินคุณภาพระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด ด้วยการประเมิน แบบอิงมาตรฐานภาพรวมระบบการทดสอบมีคุณภาพอยู่ในระดับมากที่สุด (M= 4.59, SD = 0.35) ผลการประเมินระบบ แบบฮิวริสติคภาพรวมระบบการทดสอบมีคุณภาพอยู่ในระดับมาก (M= 4.42, SD= 0.33) และผลการประเมิน ความพึงพอใจของผู้ใช้งานต่อระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด ภาพรวมนักเรียนมีความพึงพอใจระดับมากต่อระบบการทดสอบ (M=3.91, SD= 0.50)
Other Abstract (Other language abstract of ETD)
This research aims to develop the hybrid computerized adaptive testing system by Maximum priority Index method and Progressive-restricted standard error method and evaluate quality of the hybrid computerized adaptive testing system by standard evaluation, heuristic evaluation and satisfaction evaluation. This research was studied within the concept of three-parameter item response model. The development of hybrid computerized adaptive testing system used the English skills development test for Grade 9 students, from English Language Institute, office of the basic education commission, was 640 items and examing the quality of items was 1,109 students in Grade 9 and 74 students in grade 9 tested the system. The tools comprised of standard evaluation scale, heuristic evaluation scale and satisfaction evaluation scale for hybrid computerized adaptive testing system. Data were analyzed by using frequency, percentage, mean, standard deviation, skewness and kurtosis. The research finding were as follows: 1. The development of the hybrid computerized adaptive testing system by Maximum priority Index method and Progressive-restricted standard error method is online testing system. The system had three stages: 1) Testing system design 2) Test delivery, including initial item, parameter estimation by maximum likelihood estimation method (MLE), item selection by Maximum priority index method (MPI), item exposure control by Progressive-restricted standard error method (PR-SE) and test termination (≤0.3), and 3) Test score report. Accompanying manuals of the CAT system were provided for users and system administers. 2. The hybrid computerized adaptive testing system was standard evaluation the results showed that the quality of the system reached the highest levels (M= 4.59, SD = 0.35), heuristic evaluation the results showed that the quality of the system reached the high levels M= 4.42, SD= 0.33) and the students were satisfied the results showed that the quality of the system reached the high levels (M=3.91, SD= 0.50).
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
หนูน้อย, รังสิมาภรณ์, "การพัฒนาระบบการทดสอบปรับเหมาะด้วยคอมพิวเตอร์แบบไฮบริด โดยใช้วิธีดัชนีลำดับความสำคัญสูงสุด และวิธีค่าความคลาดเคลื่อนมาตรฐานแบบจำกัดความก้าวหน้า" (2019). Chulalongkorn University Theses and Dissertations (Chula ETD). 9081.
https://digital.car.chula.ac.th/chulaetd/9081