Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
DEVELOPMENT OF A COMPUTER-BASED TESTING SYSTEM WITH IMMEDIATE FEEDBACK FOR DIFFERENT STUDENTS ABILITY LEVELS : APPLICATION OF RASCH SIRT MODEL
Year (A.D.)
2017
Document Type
Thesis
First Advisor
โชติกา ภาษีผล
Second Advisor
กมลวรรณ ตังธนกานนท์
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2017.721
Abstract
งานวิจัยนี้มีวัตถุประสงค์เพื่อ (1) พัฒนาระบบการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ (2) ศึกษาผลการใช้ระบบการทดสอบมีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ ระหว่างผู้เรียนที่มีระดับความสามารถและได้รับข้อมูลย้อนกลับแตกต่างกัน (3) ประเมินคุณภาพระบบการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ และ (4) ปรับปรุงระบบการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ ตัวอย่างในการวิจัย คือ นักเรียนชั้นมัธยมศึกษาปีที่ 6 ภาคเรียนที่ 1 ปีการศึกษา 2560 แผนการเรียนวิทยาศาสตร์-คณิตศาสตร์ จากโรงเรียนในเขตพื้นที่การศึกษากรุงเทพมหานคร จำนวน 7 โรงเรียน จำนวน 728 คน เครื่องมือที่ใช้ในการวิจัยคือแบบทดสอบและแบบประเมินซึ่งเป็นปัจจัยนำเข้าของระบบการทดสอบฯ วิเคราะห์ข้อมูลโดยใช้ 1) สถิติเชิงบรรยาย ได้แก่ ค่าเฉลี่ย และส่วนเบี่ยงเบนมาตรฐาน 2) สถิติเชิงอนุมาน ได้แก่ การทดสอบค่าเฉลี่ยของตัวอย่าง 2 กลุ่มแบบไม่เป็นอิสระต่อกัน การวิเคราะห์ความแปรปรวนแบบสองทาง และการวิเคราะห์ความแปรปรวนร่วมแบบสองทาง โดยผลการวิจัยพบว่า 1. ผลการออกแบบและพัฒนาของระบบการทดสอบประกอบด้วย (1) ด้านปัจจัยนำเข้า ประกอบด้วย 1) แบบทดสอบความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์ก่อนและหลังการทดสอบฯ 2) แบบประเมินตนเองด้านความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์ก่อนและหลังการทดสอบฯ และ 3) แบบทดสอบความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์ที่มีการให้ข้อมูลย้อนกลับทันที (2) ด้านกระบวนการ ประกอบด้วย 3 กระบวนการ ดังนี้ 1) กระบวนการลงทะเบียน 2) กระบวนการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ 3) กระบวนการประมวลผลการตอบ และ (3) ด้านผลลัพธ์ ประกอบด้วย 1) คะแนนความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์ก่อนการทดสอบฯ 2) คะแนนความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์หลังการทดสอบฯ 3) คะแนนความสามารถในการแก้โจทย์ปัญหาเมื่อได้รับข้อมูลย้อนกลับทันที 4) คะแนนการประเมินตนเองด้านความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์ก่อนการทดสอบฯ และ 5) คะแนนการประเมินตนเองด้านความสามารถในการแก้โจทย์ปัญหาทางด้านพันธุศาสตร์หลังการทดสอบฯ 2. ผลการใช้ระบบการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์ภายหลังจากการปรับปรุงระบบฯพบว่า ผู้เรียนทุกระดับความสามารถมีความสามารถในการแก้โจทย์ปัญหาหลังการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีสูงกว่าก่อนการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 โดยผู้เรียนที่มีระดับความสามารถต่ำมีความสามารถในการแก้โจทย์ฯเมื่อได้รับข้อมูลย้อนกลับแบบบางส่วนโดยใช้การชี้แนะ (PDF) สูงกว่ารูปแบบอื่น ขณะที่ผู้เรียนกลุ่มปานกลางมีความสามารถในการแก้โจทย์ฯเมื่อได้รับข้อมูลย้อนกลับแบบบางส่วนโดยใช้การชี้แนะ (PDF) และแบบบอกผลการตอบ (KORF) สูงกว่าแบบสมบูรณ์โดยใช้การยกตัวอย่าง (FWF) และผู้เรียนกลุ่มสูงมีความสามารถในการแก้โจทย์ฯเมื่อได้รับข้อมูลย้อนกลับแบบบอกผลการตอบ (KORF) สูงกว่าแบบสมบูรณ์โดยใช้การยกตัวอย่าง (FWF) อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 และรูปแบบข้อสอบแบบเลือกตอบ (MC) ผู้เรียนมีความน่าจะเป็นในการตอบถูกสูงว่าแบบสร้างคำตอบ (CR) สำหรับทุกความพยายามในการตอบอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 3.ผลการประเมินคุณภาพของระบบการทดสอบตามมาตรฐาน 4 ด้าน พบว่า ทุกด้านมีระดับคุณภาพดีทั้งหมด โดยด้านที่มีผลคะแนนเฉลี่ยมากที่สุดคือ ด้านความถูกต้อง (M=3.87, SD=1.110) รองลงมาอันดับสองคือ ด้านความเป็นไปได้ (M=3.70, SD=0.997) รองลงมาอันดับสามคือ ด้านอรรถประโยชน์ (M=3.69, SD=1.062) และลำดับสุดท้าย คือ ด้านความเหมาะสม (M=3.65, SD=0.748)
Other Abstract (Other language abstract of ETD)
The purposes of this study were to (1) develop computer-based testing system with immediate feedback, (2) study the effectiveness of computer-based testing system with immediate feedback applied to learners with different ability levels and different types of feedback, (3) evaluate the quality of computer-based testing system with immediate feedback, and (4) improve computer-based testing system with immediate feedback. Participants were 728 twelfth grade students in mathematics-science program from 7 schools in Bangkok educational service area. The instruments were form of genetics problem solving ability test and form of self-evaluative test of genetics problem solving ability as seen the design and development phase of the developed system. Data analysis was conducted by using descriptive statistics (mean and standard deviation), and inferential statistics (Paired Sample T-Test, Two-way ANOVA and Two-way ANCOVA). Findings were as follows: 1.The developed system consisted of 3 factors (input factor, testing process and consequence process). (1) The input factors consisted of 1) pretest and post-test of genetics problem solving ability, 2) self-evaluative pretest and post-test of genetics problem solving ability, and 3) test of genetics problem solving ability with immediate feedback. (2) The testing process had 3 phases; i.e. 1) registration, 2) computer-based testing system with immediate feedback, and 3) Computing, Finally, (3) the consequence process consisted of 1) the result of pretest of genetics problem ability, 2) the result of post-test of genetics problem solving ability, 3) the result of computer-based testing with immediate feedback, 4) the result of pretest of self-evaluation of genetics problem solving ability, and 5) the result of post-test of self-evaluation of genetics problem solving ability. 2. After the improvement of computer-based testing system with immediate feedback, learners from all ability ranges (poor, moderate, and excellent) exhibited considerably higher mean of post-test of genetics problem solving ability compared to former system at statistical significance level of .05. (1) Learners with low ability level as known as poor group exhibited higher mean of genetics problem solving ability when they were provided with full directive feedback (FDF) compared to other types of feedback at statistical significance level of .05. (2) Learners with moderate ability level as known as moderate group exhibited higher mean of genetics problem solving ability when they were provided with partial directive feedback (PDF) and knowledge of results feedback (KORF) compared to full worked example feedback (FWF) at statistical significance level of .05. (3) Learners with high ability level as known as excellent group exhibited higher mean of genetics problem solving ability when they were provided with KORF compared to FWF at statistical significance level of .05. In term of test items, multiple-choice (MC) test item had higher probability of correct response than constructed-response (CR) test item in every number of attempts at statistical significance level of .05. 3. Quality of the developed testing system had 4 determinants (accuracy, feasibility, utility and property). The highest quality was determinant of accuracy (M=3.87, SD=1.062). The determinant of feasibility was the second (M=3.70, SD=0.997). The third was determinant of utility (M=3.69, SD=0.997) and the last one was determinant of property (M=3.65, SD=0.748).
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
มาสันเทียะ, จุฑาภรณ์, "การพัฒนาระบบการทดสอบที่มีการให้ข้อมูลย้อนกลับทันทีโดยใช้ระบบคอมพิวเตอร์สำหรับผู้เรียนที่มีระดับความสามารถแตกต่างกัน: การประยุกต์ใช้โมเดลการตอบสนองข้อสอบแบบต่อเนื่องของราสซ์" (2017). Chulalongkorn University Theses and Dissertations (Chula ETD). 1211.
https://digital.car.chula.ac.th/chulaetd/1211