Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of electronic item bank for measuring the learning outcomes of students in undergraduate education programs based on Thai qualifications framework: an application of multidimensional item response theory
Year (A.D.)
2019
Document Type
Thesis
First Advisor
กมลวรรณ ตังธนกานนท์
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2019.704
Abstract
การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ 1) พัฒนาโมเดลการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา 2) พัฒนาคลังข้อสอบอิเล็กทรอนิกส์สำหรับการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา 3) ประเมินประสิทธิภาพคลังข้อสอบอิเล็กทรอนิกส์สำหรับการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา ตัวอย่างการวิจัยเป็นนักศึกษาหลักสูตรปริญญาตรีทางการศึกษาชั้นปีที่ 4 จำนวน 1,631 คน ได้จากการสุ่มแบบหลายขั้นตอน เครื่องมือที่ใช้ในการวิจัยเป็นแบบวัดเชิงสถานการณ์แบบหลายตัวเลือก วิเคราะห์ข้อมูลโดยใช้สถิติเชิงบรรยาย ได้แก่ ร้อยละ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน สถิติที่ใช้ตรวจสอบโมเดลการวัด ได้แก่ Chi-Square, GFI, AGFI และ RMSEA สถิติที่ใช้ตรวจสอบคุณภาพเครื่องมือ ได้แก่ ค่าพารามิเตอร์อำนาจจำแนก, ค่าพารามิเตอร์ความยาก, INFIT MNSQ, OUTFIT MNSQ, G2, AIC, และ BIC ผลการวิจัยพบว่า 1. โมเดลการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษามี ความสอดคล้องกลมกลืนกับข้อมูลเชิงประจักษ์ (Chi-square= 22.23, df=16, p=0.14, GFI=0.99, AGFI=0.98, RMSEA=0.02) 2. คลังข้อสอบอิเล็กทรอนิกส์สำหรับการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา แบ่งออกเป็น 5 ส่วน คือ 1. การจัดการผู้ใช้งาน 2. การจัดการข้อสอบ 3. การจัดการการสอบ 4. การประเมินผลการสอบ และ 5. การจัดการคะแนน ซึ่งคลังข้อสอบมีข้อสอบจำนวน 279 ข้อ มีค่า IOC อยู่ระหว่าง 0.60 -1.00 มีค่าเฉลี่ยพารามิเตอร์ความยากเท่ากับ 0.069 และค่าเฉลี่ยพารามิเตอร์อำนาจจำแนกเท่ากับ 0.862 เมื่อสุ่มข้อสอบมาจากคลังข้อสอบเพื่อจัดชุด และตรวจสอบคุณภาพแบบวัด มีจำนวน 78 ข้อ มีค่า MNSQ อยู่ระหว่าง .75 ถึง 1.19 อยู่ในเกณฑ์ทุกข้อ มีค่าความเที่ยงแบบ EAP ทั้งฉบับเท่ากับ 0.707 การตรวจสอบความตรงเชิงโครงสร้างด้วยวิธีการวิเคราะห์พหุมิติ พบว่า โมเดลการวัดแบบพหุมิติ (G2 = 53729.526, AIC = 53917.526) มีความเหมาะสมมากกว่าแบบเอกมิติรวม ( G2= 53794.409, AIC = 53952.409) และแบบเอกมิติแยกตามมิติ (G2 = 54280.224, AIC = 54452.224) ตามลำดับ และมีคะแนนจุดตัดของแบบวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา ใช้การกำหนดเกณฑ์พื้นที่ (criterion zone) บน Wright map แบ่งเป็น 2 ระดับ คือ ผ่านเกณฑ์และไม่ผ่านเกณฑ์ 3. ผลการประเมินประสิทธิภาพคลังข้อสอบอิเล็กทรอนิกส์สำหรับการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษาโดยผู้ทรงคุณวุฒิ พบว่า ในภาพรวมระบบมีคุณภาพอยู่ในระดับมากที่สุด และในภาพรวมนักศึกษามีความพึงพอใจในการใช้งานระบบอยู่ในระดับมากที่สุด
Other Abstract (Other language abstract of ETD)
The purposes of this research were to 1) to develop a measurement model of learning outcomes in accordance with the Thai Qualifications Framework for Higher Education of students in undergraduate education programs 2) to develop an electronic item bank for measuring the learning outcomes based on the Thai Qualifications Framework for Higher Education of students in undergraduate education programs and 3) to evaluate the efficiency of the electronic item bank for measuring the learning outcomes based on the Thai Qualifications Framework for Higher Education of students in undergraduate education programs. Sample consisted of 1,631 forth year undergraduate students, obtained through a multi-stage sampling. Instrument was a multiple choice situation test. Data were analyzed using descriptive statistics (i.e., percentage, average, standard deviation), fit statistics (i.e., Chi-Square, GFI, AGFI, and RMSEA), and statistics for examining psychometric properties (i.e., discrimination parameter, difficulty parameter, INFIT MNSQ, OUTFIT MNSQ, G2, AIC, BIC.). Results were as follows: 1. The measurement model of learning outcomes according to the Thai Qualifications Framework for Higher Education of students in undergraduate education was found that the model fitted to the empirical data (Chi-square=22.23, df=16, p=0.14, GFI=0.99, AGFI=0.98, RMSEA=0.02). 2. The electronic item bank for measuring the learning outcomes of students in undergraduate education programs based on Thai Qualifications Framework consisted of five components as follows i.e., 1. user management, 2. question management, 3. Examination management, 4. evaluation management, and 5. scoring management. The electronic item bank consisted of 279 multiple choice items with the IOC ranged from 0.60 to 1.00, a mean of item difficulty parameter of 0.069, and a mean of item discrimination parameter of 0.862. When randomized the test from the item bank to organize a set and analyze the quality test of 78 items with the MNSQ values ranging from .75 to 1.19 in all criteria. The EAP reliability of test was 0.707. The construct validity testing by using multidimensional analysis revealed that the multidimensional approach (G2=53729.526, AIC=53917.526) was better fit than the composite approach (G2=53794.409, AIC=53952.409) and the consecutive approach (G2=54280.224, AIC=54452.224), respectively. The cut-off score of the learning outcome based on the Thai Qualifications Framework for Higher Education of students in undergraduate education derived by analyzing the criterion zone on the Wright map divided into 2 levels which were pass and fail. 3. The results of the electronic item bank evaluation for measuring the learning outcomes of students in undergraduate education programs based on Thai Qualifications Framework for Higher Education by the experts revealed that overall a quality of system was at the highest level and overall, the students were satisfied with the system at the highest level.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
มีสง่า, จิราภรณ์, "การพัฒนาคลังข้อสอบอิเล็กทรอนิกส์สำหรับการวัดผลลัพธ์การเรียนรู้ตามกรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติของนักศึกษาหลักสูตรปริญญาตรีทางการศึกษา:
การประยุกต์ใช้ทฤษฎีการตอบสนองข้อสอบแบบพหุมิติ" (2019). Chulalongkorn University Theses and Dissertations (Chula ETD). 9080.
https://digital.car.chula.ac.th/chulaetd/9080