Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of the automatic item generation system for mechanical misconceptions diagnosis by using cognitively diagnostic assessment
Year (A.D.)
2020
Document Type
Thesis
First Advisor
กมลวรรณ ตังธนกานนท์
Second Advisor
ศิริชัย กาญจนวาสี
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2020.598
Abstract
การวิจัยนี้มีวัตถุประสงค์การวิจัยหลัก 2 ข้อ ได้แก่ (1) เพื่อพัฒนาโมเดลข้อสอบสำหรับวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์โดยใช้การประเมินเชิงวินิจฉัยทางพุทธิปัญญา และ (2) เพื่อพัฒนาระบบสร้างข้อสอบอัตโนมัติสำหรับวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์ การวิจัยแบ่งเป็น 2 ระยะ ได้แก่ ระยะที่ 1 การพัฒนาโมเดลข้อสอบสำหรับวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์ ผู้ให้ข้อมูล คือ ผู้เชี่ยวชาญด้านการสอนฟิสิกส์ และด้านการวัดและประเมินผลการศึกษา ระยะที่ 2 การพัฒนาระบบสร้างข้อสอบอัตโนมัติสำหรับวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์ ตัวอย่างวิจัย คือ นักเรียนชั้นมัธยมศึกษาตอนปลาย จำนวน 522 คน ได้มาจากการสุ่มตัวอย่างแบบหลายขั้นตอน ผู้ให้ข้อมูล คือ ผู้เชี่ยวชาญด้านการวัดและประเมินผลการศึกษา และด้านเทคโนโลยีสารสนเทศ และครูผู้สอนวิชาฟิสิกส์ วิเคราะห์ข้อมูลโดยใช้การวิเคราะห์เนื้อหา สถิติเชิงบรรยาย ดัชนี CSI สถิติทดสอบที โมเดลกระบวนการแก้ปัญหาอย่างเป็นลำดับ ดัชนีความเที่ยงของการจำแนก ดัชนีความตรงของการจำแนก และการวิเคราะห์องค์ประกอบเชิงยืนยัน ผลการวิจัยสรุปได้ดังนี้ 1. โมเดลพุทธิปัญญาเรื่องแรงและกฎการเคลื่อนที่แสดงความสัมพันธ์แบบลำดับขั้นระหว่าง 6 คุณลักษณะ ได้แก่ (1) แรงลัพธ์ (2) กฎการเคลื่อนที่ของนิวตันข้อที่ 1 (3) กฎการเคลื่อนที่ของนิวตันข้อที่ 2 (4) กฎการเคลื่อนที่ของนิวตันข้อที่ 3 (5) แรงเสียดทาน และ (6) แรงโน้มถ่วงของโลก วิธีการที่ใช้ในการตรวจสอบความตรงของโมเดลพุทธิปัญญา คือ การตัดสินโดยผู้เชี่ยวชาญ และวิธีการคิดออกเสียง 2. เมทริกซ์คิวที่ผ่านการตรวจสอบความตรงโดยผู้เชี่ยวชาญ วิธีการคิดออกเสียง และการตรวจสอบความตรงแบบลำดับขั้นร่วมกับการพิจารณา mesa plot ประกอบด้วยข้อสอบ จำนวน 18 ข้อ โดยวัดคุณลักษณะเฉลี่ย 2.500 คุณลักษณะ ต่อข้อสอบ 1 ข้อ 3. โมเดลพุทธิปัญญาสำหรับการสร้างข้อสอบอัตโนมัติ และโมเดลข้อสอบแต่ละคู่ ส่วนใหญ่มีคุณภาพด้านเนื้อหา ความสมเหตุสมผล และการนำเสนอ อยู่ในระดับ 4 ยอมรับ อีกทั้ง โมเดลข้อสอบมีค่าเฉลี่ยของดัชนี CSI อยู่ระหว่าง 0.609 และ 0.796 4. ระบบสร้างข้อสอบอัตโนมัติเพื่อวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์มีเมนูการใช้งาน 3 ส่วน ได้แก่ โมเดลข้อสอบ การสร้างข้อสอบ และการสร้างแบบสอบ ระบบสร้างข้อสอบอัตโนมัติมีคุณภาพด้านการใช้ประโยชน์ ความเป็นไปได้ ความเหมาะสม และความถูกต้อง อยู่ในระดับมาก และมีการปรับปรุงโดยใช้ข้อมูลประสบการณ์ผู้ใช้ มิติการปฏิบัติงาน และมิติความพึงพอใจ 5. พารามิเตอร์ข้อสอบของแบบสอบวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์ที่ได้จากวิเคราะห์โดยใช้โมเดล sequential bug-G-DINA ได้แก่ (1) ฟังก์ชันประมวลผลข้อมูลของรายการคำตอบ 1 สำหรับผู้สอบที่มีโปรไฟล์คุณลักษณะลดรูปเป็น 0 ทั้งหมด และ 1 ทั้งหมด มีค่า 0.871 - 1.000 และ 0.018 - 0.212 ตามลำดับ และ (2) ฟังก์ชันประมวลผลข้อมูลของรายการคำตอบ 2 สำหรับผู้สอบที่มีโปรไฟล์คุณลักษณะลดรูปเป็น 0 ทั้งหมด และ 1 ทั้งหมด มีค่า 0.767 - 1.000 และ 0.000 - 0.201 ตามลำดับ นอกจากนี้ยังพบว่า แบบสอบวินิจฉัยมีดัชนีความเที่ยงของการจำแนก เท่ากับ 0.857 มีดัชนีความตรงของการจำแนก เท่ากับ 0.950 มีความตรงตามสภาพ (Cohen’s kappa = 0.841) และมีความตรงเชิงโครงสร้าง เนื่องจากโมเดลการวัดแรงและกฎการเคลื่อนที่มีความสอดคล้องกับข้อมูลเชิงประจักษ์
Other Abstract (Other language abstract of ETD)
The main objectives of this study were (1) to develop item models for mechanical misconceptions diagnosis by using the cognitively diagnostic assessment, and (2) to develop the automatic item generation system for mechanical misconceptions diagnosis. The study was divided into two phases. For the first phase, development of item models for mechanical misconceptions diagnosis, informants were experts on physics education, and educational measurement and evaluation. For the second phase, development of the automatic item generation system for mechanical misconceptions diagnosis, participants were 522 high school students which were randomized by using multistage random sampling method. Informants were experts on educational measurement and evaluation, experts on information technology, and also physics teachers. For data analysis, this study adopted a content analysis, descriptive statistics, a CSI index, a t-test, a sequential process model, a classification consistency index, a classification accuracy index, and a confirmatory factor analysis. Research findings can be summarized as follows: 1. The cognitive model of force and laws of motion illustrated hierarchical relationships among six attributes, namely (1) resultant force, (2) Newton’s first law of motion, (3) Newton’s second law of motion, (4) Newton’s third law of motion, (5) frictional force, and (6) gravitational force. The model was validated by subject matter experts and think-aloud protocols. 2. The Q-matrix which was validated by subject matter experts, think-aloud protocols, and a stepwise Q-matrix validation method with a mesa plot comprised 18 items, and measured 2.500 attributes per item in average. 3. Majority of cognitive models for automatic item generation and item models dual possessed quality on content, logical, and presentation dimension in level 4 (accept). Means of the CSI index of item models ranged from 0.609 to 0.796. 4. The automatic item generation system for mechanical misconceptions diagnosis had three menus, namely item model, item generation, and test generation. The system possessed high quality on utility, feasibility, propriety, and accuracy dimension. Moreover, the system was improved by using pragmatic and hedonic dimension of user experiences. 5. Item parameters of the mechanical misconceptions diagnostic test which obtained from the analysis by using the sequential bug-G-DINA model consisted (1) the processing functions of category 1 which were 0.871 - 1.000 and 0.018 - 0.212 for examinees who possessed a reduced attribute profile that contained all 0 and all 1, respectively, and (2) the processing functions of category 2 which were 0.767 - 1.000 and 0.000 - 0.201 for those possessed a reduced attribute profile that contained all 0 and all 1, respectively. Moreover, the test had a classification consistency index at 0.857, a classification accuracy index at 0.950, and a concurrent validity (Cohen’s kappa = 0.841). Besides, the test also had a construct validity because the measurement model of force and laws of motion fit the empirical data.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
หวานฉ่ำ, กิตติทัศน์, "การพัฒนาระบบสร้างข้อสอบอัตโนมัติเพื่อวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางกลศาสตร์โดยใช้การประเมินเชิงวินิจฉัยทางพุทธิปัญญา" (2020). Chulalongkorn University Theses and Dissertations (Chula ETD). 4145.
https://digital.car.chula.ac.th/chulaetd/4145