Chulalongkorn University Theses and Dissertations (Chula ETD)

ประสิทธิภาพการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบในวิธีถดถอยโลจิสติก โดยใช้เกณฑ์ขนาดอิทธิพล 2 วิธี สำหรับข้อสอบที่มีรูปแบบการตรวจให้คะแนนแบบทวิวิภาค : ข้อมูลจำลองและข้อมูลเชิงประจักษ์

Other Title (Parallel Title in Other Language of ETD)

Efficacy of detection DIF in logistic regression by using two effect size criteria for dichotomously scored items : simulation and empirical data

Year (A.D.)

2011

Document Type

Thesis

First Advisor

โชติกา ภาษีผล

Second Advisor

ศิริชัย กาญจนวาสี

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาเอก

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2011.22

Abstract

การศึกษาครั้งนี้มีวัตถุประสงค์เพื่อเปรียบเทียบอัตราความถูกต้องและอัตราความคลาดเคลื่อนประเภทที่ 1 ของการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบที่มีรูปแบบการให้คะแนนแบบทวิวิภาค โดยการจำลองข้อมูลและ ข้อมูลเชิงประจักษ์ ในวิธีถดถอยโลจิสติก ระหว่างการวัดขนาดอิทธิพลตามเกณฑ์ Jodoin and Gierl กับเกณฑ์ Zumbo and Thomas การศึกษาครั้งนี้จำลองข้อมูลภายใต้ทฤษฎีการตอบสนองข้อสอบแบบสองพารามิเตอร์ จำลองผลการตอบภายใต้ปัจจัยที่แปรเปลี่ยน 4 ปัจจัย รวมข้อมูลที่ศึกษาทั้งหมด 24 เงื่อนไข (2 x 3 x 2 x 2) คือ รูปแบบของข้อสอบที่ทำหน้าที่ต่างกัน (อเนกรูป และ เอกรูป) ขนาดของการทำหน้าที่ต่างกัน (0.1, 0.2 และ 0.4) จำนวนข้อสอบที่ทำหน้าที่ต่างกัน (ทั้งฉบับคิดเป็นร้อยละ 10 และ 20) และความยาวของแบบสอบทั้งฉบับ (40 และ 50 ข้อ) ในทุกเงื่อนไขจำลองข้อมูลซ้ำ 25 ครั้ง วิเคราะห์ข้อมูลในแต่ละเงื่อนไขด้วยวิธีถดถอยโลจิสติก ระหว่างการวัดขนาดอิทธิพลตามเกณฑ์ Jodoin and Gierl และเกณฑ์ Zumbo and Thomas การวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบทั้งหมดใช้ระดับนัยสำคัญ .05 ผลการวิจัยสรุปได้ดังนี้ 1. วิธีถดถอยโลจิสติก โดยการวัดขนาดอิทธิพลตามเกณฑ์ Jodoin and Gierl มีอัตราความถูกต้องในการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบสูงกว่าเกณฑ์ Zumbo and Thomas ภายใต้เกือบทุกเงื่อนไข 2. ข้อสอบที่ทำหน้าที่ต่างกันแบบอเนกรูปมีอัตราความถูกต้องจากการวัดขนาดอิทธิพลทั้ง 2 เกณฑ์สูงกว่าแบบเอกรูป แบบสอบที่มีจำนวนข้อสอบทำหน้าที่ต่างกันทั้งฉบับคิดเป็นร้อยละ 20 มีอัตราความถูกต้องจากการวัดขนาดอิทธิพลทั้ง 2 เกณฑ์สูงกว่าในแบบสอบที่มีจำนวนข้อสอบที่ทำหน้าที่ต่างกันทั้งฉบับคิดเป็นร้อยละ 10 และเมื่อขนาดอิทธิพลของข้อสอบที่การทำหน้าที่ต่างกันเพิ่มขึ้น มีผลทำให้อัตราความถูกต้องจากการวัดขนาดอิทธิพลทั้ง 2 เกณฑ์เพิ่มขึ้นภายใต้เกือบทุกเงื่อนไข 3. ผลการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบในข้อมูลเชิงประจักษ์ พบว่าขนาดอิทธิพลตามเกณฑ์ Jodoin and Gierl ให้อัตราความถูกต้องสูงกว่า และ มีอัตราความคลาดเคลื่อนประเภทที่ 1 ต่ำกว่าเกณฑ์ของ Zumbo and Thomas เมื่อข้อมูลเชิงประจักษ์มีประชากรขนาดใหญ่สามารถตรวจพบข้อสอบที่ทำหน้าที่ต่างกันด้วยการทดสอบระดับนัยสำคัญอย่างมีนัยสำคัญ ส่งผลให้ความคลาดเคลื่อนประเภทที่ 1 มีแนวโน้มสูงขึ้น ข้อเสนอแนะ : ภายใต้การตรวจสอบการทำหน้าที่ต่างกันของข้อสอบด้วยวิธีถดถอยโลจิสติก นักวิจัยควรใช้ผลการทดสอบระดับนัยสำคัญในการตัดสินข้อสอบที่ทำหน้าที่ต่างกันร่วมกับผลของการวัดขนาดอิทธิพล

Other Abstract (Other language abstract of ETD)

The objectives of this study were to compare correct identification and Type I error rate of DIF with dichotomously scored items by simulation and empirical data in logistic regression procedure between effect size measures of Jodoin and Gierl’s criteria and Zumbo and Thomas’s criteria. In this study, the data was simulated under the IRT theory of two-parameter item response, simulating dichotomous response under the condition of 4 varied factors. The total of data studied was 24 conditions (2 x 3 x 2 x 2); 2 forms of DIF Type (Nonuniform and Uniform), 3 amounts of DIF (0.1, 0.2 and 0.4), 2 numbers of items with DIF (10% and 20%), and 2 sizes of Test length (40 and 50 items). The data was replicated 25 times for each condition. In each condition, the data was analyzed with effect size measures of Jodoin and Gierl’s criteria and Zumbo and Thomas’s criteria. Significance .05 was used in the analysis of all DIF. The research results were as follows: 1. Logistic regression procedure with effect size measures of Jodoin and Gierl’s criteria had higher correct identification of DIF than of Zumbo and Thomas’s criteria under almost conditions. 2. Nonuniform DIF had higher correct identification from effect size measures with both criteria than uniform DIF. All items with DIF at 20 percent had higher correct identification from effect size measures with both criteria than all items with DIF at 10 percent. And when the effect size of DIF increased, the correct identification from effect size measured with both criteria increased as well under almost conditions. 3. The detection result of DIF in empirical data revealed that the effect size of Jodoin and Gierl’s criteria yielded higher correct identification and lower Type I error rate than of Zumbo and Thomas’s criteria. When big size of population was studied in an empirical data, DIF could be detected by significantly testing significance which tended to increase deviation type 1 error rate. Suggesstion: Under the detection with logistic regression procedure, the result of significance test should be used along with the result of effect size to detect DIF.

Link to Full Text

Share

COinS