Chulalongkorn University Theses and Dissertations (Chula ETD)

ประสิทธิภาพของการประมาณค่าดัชนีการจำแนกประเภทตามทฤษฎีการตอบสนองข้อสอบภายใต้เงื่อนไขที่แตกต่างกัน

Other Title (Parallel Title in Other Language of ETD)

THE EFFICIENCY OF CLASSIFICATION INDICES ESTIMATIONS BASED ON ITEM RESPONSE THEORY UNDER DIFFERENT CONDITIONS

Year (A.D.)

2016

Document Type

Thesis

First Advisor

ณัฏฐภรณ์ หลาวทอง

Second Advisor

ศิริชัย กาญจนวาสี

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาเอก

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2016.202

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อประมาณค่าและเปรียบเทียบประสิทธิภาพของวิธีการประมาณค่าดัชนีการจำแนกประเภทระหว่างวิธีการประมาณค่าดัชนีการจำแนกประเภทตามทฤษฎีการตอบสนองข้อสอบสามวิธี คือ วิธีการของ Rudner (2005) วิธีการของ Guo (2006) และวิธีการของ Lee (2010) ดำเนินการวิจัยโดยการจำลองข้อมูลด้วยโปรแกรม WINGEN ภายใต้เงื่อนไขของตัวแปรต้น 3 ตัวแปร ได้แก่ ความยาวของแบบสอบ (25, 50 ข้อ) โมเดลการวัด (1PL, 2PL, 3PL) และความไม่เหมาะสมของโมเดลการวัดกับข้อสอบ (10%, 20%) ทำการประมาณค่าดัชนีด้วยโปรแกรม R และพิจารณาประสิทธิภาพของวิธีการประมาณค่าจากค่าเฉลี่ยดัชนีการจำแนกประเภทจากการทำซ้ำ 100 รอบ นอกจากนี้ยังนำวิธีการประมาณค่าดัชนีการจำแนกประเภททั้งสามวิธีไปใช้กับข้อมูลเชิงประจักษ์ คือ คะแนนสอบของนักเรียนชั้นมัธยมศึกษาปีที่ 3 จากการสอบ O-NET ปีการศึกษา 2556 จำนวน 8,000 คน เพื่อประมาณค่าดัชนีการจำแนกประเภทและหาประสิทธิภาพของวิธีการต่อไป ผลการวิจัยสรุปได้ดังนี้ 1. ผลจากการจำลองข้อมูลภายใต้สถานการณ์เงื่อนไขทั้งหมดพบว่า วิธีการของ Rudner มีค่าดัชนีความถูกต้องสูง (0.8234-0.9086) และดัชนีความสอดคล้องค่อนข้างสูง (0.7550-0.8749) วิธีการของ Guo มีค่าดัชนีความถูกต้องสูง (0.9987- 1) และดัชนีความสอดคล้องสูง (0.9982- 1) และวิธีการของ Lee มีค่าดัชนีความถูกต้องค่อนข้างสูง (0.6285- 0.7496) และดัชนีความสอดคล้องปานกลาง (0.5372- 0.6938) 2. ผลการเปรียบเทียบประสิทธิภาพของวิธีการประมาณค่าดัชนีการจำแนกประเภทพบว่า วิธีการของ Guo เป็นวิธีการที่มีประสิทธิภาพสูงกว่าวิธีการของ Rudner และวิธีการของ Lee อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 โดยวิธีการประมาณค่า ความยาวของแบบสอบ โมเดลการวัด และความไม่เหมาะสมของโมเดลการวัดกับข้อสอบมีอิทธิพลร่วมกันต่อดัชนีความถูกต้องและดัชนีความสอดคล้องอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 ด้วยขนาดอิทธิพล .624 และ .656 ตามลำดับ 3. ผลจากการนำไปใช้กับข้อมูลเชิงประจักษ์พบว่า วิธีการของ Rudner มีค่าดัชนีความถูกต้องค่อนข้างสูง (0.6676-0.7581) และดัชนีความสอดคล้องค่อนข้างสูง (0.5579-0.6628) วิธีการของ Guo มีค่าดัชนีความถูกต้องสูงมีค่าเท่ากับ 1 และดัชนีความสอดคล้องสูงมีค่าเท่ากับ 1 และวิธีการของ Lee มีค่าดัชนีความถูกต้องค่อนข้างสูง (0.6223-0.6445) และดัชนีความสอดคล้องปานกลาง (0.5173- 0.5570) ผลการเปรียบเทียบประสิทธิภาพของวิธีการประมาณค่าดัชนีการจำแนกประเภทพบว่า วิธีการของ Guo เป็นวิธีการที่มีประสิทธิภาพสูงกว่าวิธีการของ Rudner และวิธีการของ Lee อย่างมีนัยสำคัญทางสถิติที่ระดับ .05

Other Abstract (Other language abstract of ETD)

This study purposed to estimate the classification indices with three methods (Rudner, Guo, Lee) based on Item Response Theory (IRT) and to compare the efficiency of those. The data was simulated with WINGEN program under different experimental conditions: test length (25, 50 items), measurement model (1PL, 2PL, 3PL) and model misfit (10%, 20%). R program was used to estimate the classification indices. The efficiency of classification methods was evaluated through mean of classification indices over the 100 replications. In addition, three methods were applied to the empirical data --O-NET Examination-- purposing to estimate the classification indices and to investigate the efficiency of those. The results indicated that: 1. In simulation study, it was found that Rudner’s method was effectiveness as high level of classification accuracy (0.8234-0.9086) and classification consistency (0.7550-0.8749), Guo’s method was effectiveness as high level of classification accuracy (0.9987- 1) and classification consistency (0.9982- 1) and Lee’s method effectiveness rather high level of classification accuracy (0.6285- 0.7496) and as moderate classification consistency (0.5372- 0.6938). 2. The comparison results for three methods were found that Guo’s method had higher effectively than Rudner’s method and Lee’s method of .05 as statistical significance level. Test length, measurement model and model misfit had interaction influence to accuracy and consistency classification indices of .05 as statistical level with effect size .624 and .656 respectively. 3. For empirical data, it was found that Rudner’s method was effectiveness rather high level of classification accuracy (0.6676-0.7581) and classification consistency (0.5579-0.6628), Guo’s method was effectiveness as high level of classification accuracy (1) and classification consistency (1) and Lee’s method effectiveness rather high level of classification accuracy (0.6223-0.6445) and as moderate classification consistency (0.5173- 0.5570). The comparison results for three methods were found that Guo’s method had higher effectively than Rudner’s method and Lee’s method of .05 as statistical significance level.

Link to Full Text

Share

COinS