Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of multi-stage computerized adaptive testing for measuring multidimensional knowledge competency of vocational technical teachers
Year (A.D.)
2017
Document Type
Thesis
First Advisor
กมลวรรณ ตังธนกานนท์
Second Advisor
ศิริชัย กาญจนวาสี
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2017.732
Abstract
การวิจัยครั้งนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาโมเดลสมรรถนะความรู้วิชาชีพครูช่างอุตสาหกรรมของนักศึกษาหลักสูตรครุศาสตร์อุตสาหกรรม 2) เพื่อสร้างและตรวจสอบคุณภาพของชุดแบบวัดย่อยสมรรถนะความรู้วิชาชีพครูช่างอุตสาหกรรมแบบพหุมิติ 3) เพื่อพัฒนาคลังข้อสอบสำหรับวัดสมรรถนะความรู้วิชาชีพครูช่างอุตสาหกรรมแบบพหุมิติ 4) เพื่อพัฒนาการทดสอบแบบปรับเหมาะพหุมิติด้วยคอมพิวเตอร์แบบหลายขั้นตอน สำหรับวัดสมรรถนะความรู้วิชาชีพครูช่างอุตสาหกรรม และ 5) เพื่อตรวจสอบประสิทธิภาพของโปรแกรมการทดสอบแบบปรับเหมาะพหุมิติด้วยคอมพิวเตอร์แบบหลายขั้นตอน การดำเนินการวิจัยแบ่งออกเป็น 4 ระยะ ได้แก่ ระยะที่ 1 พัฒนาโมเดล ระยะที่ 2 สร้างและตรวจสอบคุณภาพของข้อสอบ ระยะที่ 3 พัฒนาคลังข้อสอบ และระยะที่ 4 พัฒนาโปรแกรมการทดสอบ กลุ่มตัวอย่างที่ใช้ในการวิจัยครั้งนี้แบ่งเป็น 2 ส่วน ได้แก่ กลุ่มตัวอย่างที่ใช้ในการหาคุณภาพข้อสอบ และกลุ่มตัวอย่างทดลองใช้โปรแกรม ซึ่งเป็นนักศึกษาหลักสูตรครุศาสตร์อุตสาหกรรม ชั้นปีที่ 4 จำนวน 936 คน และ 130 คน ตามลำดับ เครื่องมือที่ใช้ในการวิจัย ประกอบด้วยแบบวัดสมรรถนะความรู้วิชาชีพพหุมิติของครูช่างอุตสาหกรรม และแบบประเมินความพึงพอใจต่อโปรแกรมการทดสอบ สถิติที่ใช้วิเคราะห์ข้อมูล ได้แก่ ความถี่ ร้อยละ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน การวิเคราะห์ความแปรปรวน ตรวจสอบคุณภาพของข้อสอบรายข้อด้วยค่า OUTFIT MNSQ และ INFIT MNSQ และตรวจสอบความสอดคล้องของโมเดลด้วยค่า G2 และ ค่า AIC ผลการวิจัยสรุปได้ดังนี้ 1.ผลการพัฒนาโมเดล พบว่า โมเดลสมรรถนะความรู้วิชาชีพครูช่างอุตสาหกรรมของนักศึกษาหลักสูตรครุศาสตร์อุตสาหกรรม ประกอบด้วย 2 มิติ ได้แก่มิติความรู้วิชาชีพครู และมิติความรู้วิชาชีพช่างพื้นฐานอุตสาหกรรม ซึ่งมิติความรู้วิชาชีพครูประกอบด้วย 7 ตัวชี้วัด ได้แก่ 1) ความเป็นครูคุณธรรมจริยธรรม และจรรยาบรรณ 2) ปรัชญาการศึกษา ภาษาและวัฒนธรรม 3) จิตวิทยาสำหรับครู 4) หลักสูตร การจัดการเรียนรู้ และการจัดการชั้นเรียน 5) การวิจัยเพื่อพัฒนาการเรียนรู้ 6) นวัตกรรมและเทคโนโลยีสารสนเทศทางการศึกษา และ 7) การวัดและประเมินผลการเรียนรู้ และการประกันคุณภาพการศึกษา ส่วนมิติความรู้วิชาชีพพื้นฐานช่างอุตสาหกรรม ประกอบด้วย 5 ตัวชี้วัด ได้แก่ 1) ความรู้เกี่ยวกับงานอาชีพ 2) คอมพิวเตอร์และสารสนเทศเพื่องานอาชีพ 3) เขียนแบบเทคนิคเบื้องต้น 4) วัสดุงานช่างอุตสาหกรรม และ 5) งานฝึกฝีมือ 2. ผลการวิเคราะห์คุณภาพของโมเดลแบบพหุมิติในแบบวัดทั้ง 4 ฉบับ ประกอบด้วยฉบับที่ 1,2,3 และ 4 พบว่า ค่า G2 และ ค่า AIC มีค่าน้อยที่สุดเมื่อเทียบกับโมเดลเอกมิติ และโมเดลเอกมิติแยกตามมิติ ส่วนคุณภาพด้านความเที่ยงแบบ EAP ในมิติความรู้วิชาชีพครูแบบวัดฉบับที่ 3 มีค่าสูงสุด รองลงมาคือฉบับที่ 1 ฉบับที่ 2 และฉบับที่ 4 (.835, .797, .794 และ.755) เช่นเดียวกับมิติความรู้วิชาชีพช่างพื้นฐานอุตสหกรรมโดยมีค่า EAP เท่ากับ .815, .807, .696 และ .694 ตามลำดับ ส่วนคุณภาพข้อสอบรายข้อ พบว่าข้อสอบของแบบวัดแต่ละฉบับ มีค่า OUTFIT MNSQ และ INFIT MNSQ อยู่ในเกณฑ์ที่กำหนดเป็นส่วนใหญ่ จำนวนทั้งสิ้น 397 ข้อ 3. ผลการพัฒนาคลังข้อสอบ พบว่า มีข้อสอบในมิติความรู้วิชาชีพครูจำนวน 234 ข้อ คิดเป็นร้อยละ 58.94 แบ่งเป็นข้อสอบในโมดุลระดับง่าย 42 ข้อ ระดับปานกลาง 148 ข้อ และระดับยาก 44 ข้อ และมีข้อสอบในมิติความรู้วิชาชีพพื้นฐานช่างอุตสาหกรรมจำนวน 163 ข้อ คิดเป็นร้อยละ 41.06 แบ่งเป็นข้อสอบในโมดุลระดับง่าย 28 ข้อ ระดับปานกลาง 107 ข้อ และระดับยาก 28 ข้อ 4. ผลการพัฒนาโปรแกรมการทดสอบแบบปรับเหมาะแบบหลายขั้นตอนด้วยคอมพิวเตอร์ เพื่อวัดสมรรถนะความรู้วิชาชีพพหุมิติของครูช่างอุตสาหกรรม แบ่งออกเป็น 4 ขั้นตอน สำคัญ ได้แก่ 1) จุดเริ่มต้นการทดสอบ 2) การประมาณค่าความสามารถและการคัดเลือกข้อสอบ 3) เกณฑ์การยุติการทดสอบ และ 4) การรายงานผลการทดสอบ สำหรับผลการทดสอบของนักศึกษาด้วยโปรแกรมพบว่านักศึกษาส่วนใหญ่สอบได้คะแนนมาตรฐานเฉลี่ยในมิติความรู้วิชาชีพครู 49.85 คะแนน ส่วนมิติความรู้วิชาชีพพื้นฐานช่างอุตสาหกรรม 50.00 คะแนน 5. ผลการประเมินความพึงพอใจต่อการใช้โปรแกรมการทดสอบ พบว่านักศึกษาส่วนใหญ่มีความพึงพอใจต่อการใช้โปรแกรมในภาพรวมอยู่ในระดับมากที่สุด (M=4.66, SD=.57)
Other Abstract (Other language abstract of ETD)
This research aimed to 1) develop a knowledge competency model for vocational technical teachers, 2) develop and validate the quality of the multidimensional knowledge competency tests for vocational technical teachers, 3) develop an item pool for measuring the multidimensional knowledge competency for vocational technical teachers, 4) development a multi-stage computerized adaptive testing for measuring multidimensional knowledge competency of vocational technical teachers, and 5) examine the efficiency of the multi-stage computerized adaptive testing. This study was divided into four phases. Phase one was a model development. Phase two was an item writing and item quality checking. Phase three was an item pool development. Finally, phase four was a testing program development. Sample in this study was divided into two parts. Nine hundred and thirty six seniors in a technical education program of the Rajamangala University, were used to examine the quality of the test whereas 130 persons were used to try the testing program. Research instruments were knowledge competency tests and testing program satisfaction rating scale. Data were analyzed by using percentage, mean, standard deviation, and ANOVA. AIC and G2 statistics were employed to validate the model and OUTFIT MNSQ and INFIT MNSQ were used to validate of items. The research findings were as follows: 1. The knowledge competency model for vocational technical teachers comprised of two dimensions. The first dimension was teacher knowledge performance consisting of 11 indicators, i.e., 1) teacher spirituality, morality and ethics, 2) educational philosophy, language and culture, 3) teacher psychology, 4) curriculum, learning provision and classroom management, 5) research for learning development, 6) innovation and educational information technology, and 7) measurement and evaluation of learning and quality assurance. The second dimension was professional knowledge and industrial capacity which consisted of 5 indicators, i.e., 1) career knowledge, 2) computer and information for career, 3) basic technical drawing, 4) industrial supplies, and 5) work practice skills. 2. The G2 value and the AIC of a multidimensional model of the four tests were smallest compared to the unidimensional model and consecutive model. The EAP reliability of the third tests were the highest, followed by the first, the second, and the fourth tests, respectively. The EAP reliability of the first dimension were .835, .797, .794, and .755, whereas the EAP reliability of the second dimension were .815, .807, .696, and. 694 respectively. Three hundred and ninety seven test items had OUTFIT MNSQ and INFIT MNSQ within the criteria. 3. There were 234 items (58.94 percent) in the item pools for the first dimension. Among these numbers of items, there were 42, 148, and 44 items in the easy, moderate, and difficult modules, respectively. There were 163 items (41.06 percent) in the item pools for the second dimension. Among these numbers of items, there were 28, 107, and 28 items in the easy, moderate, and difficult modules, respectively. 4. The development of multi-stage computerized adaptive testing for measuring multidimensional knowledge competency of vocational technical teachers program was divided into 4 major stages, i.e., 1) initial stage, 2) ability estimation and item selection, 3) stopping criteria, and 4) test reports. It was found that the majority of students had the average score of 49.85 in the first dimension, while the second dimension score was 50.00 points. 5. The majority of students were satisfied with the testing program at the highest level (M = 4.66, SD = .57).
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
บุญศรี, สุกัญญา, "การพัฒนาการทดสอบแบบปรับเหมาะแบบหลายขั้นตอนด้วยคอมพิวเตอร์เพื่อวัดสมรรถนะความรู้วิชาชีพพหุมิติของครูช่างอุตสาหกรรม" (2017). Chulalongkorn University Theses and Dissertations (Chula ETD). 1222.
https://digital.car.chula.ac.th/chulaetd/1222