Chulalongkorn University Theses and Dissertations (Chula ETD)

คุณสมบัติของตัวประมาณค่าความเข้มของอิทธิพล : การเปรียบเทียบระหว่างทฤษฎีการทดสอบแบบดั้งเดิมและทฤษฎีการตอบสนองข้อสอบ

Other Title (Parallel Title in Other Language of ETD)

Effect magnitude estimators' properties : a comparison between classical test theory and item response theory

Year (A.D.)

2004

Document Type

Thesis

First Advisor

สุชาดา บวรกิติวงศ์

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2004.38

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์ 4 ข้อ ได้แก่ (1) เพื่อเปรียบเทียบคุณสมบัติของตัวประมาณค่าในด้านความลำเอียง ความคงเส้นคงวา และประสิทธิภาพสัมพัทธ์ระหว่างขนาดอิทธิพลที่ได้จากทฤษฎีการทดสอบแบบดั้งเดิม (d[subscript CTT]) ขนาดอิทธิพลที่ได้จากทฤษฎีการตอบสนองข้อสอบที่โมเดลประมาณค่าสอดคล้องกับข้อมูล (d[subscript IRT1]) สัมประสิทธิ์สหสัมพันธ์ที่ได้จากทฤษฎีการทดสอบแบบดั้งเดิม (r[IRT1) และสัมประสิทธิ์สหสัมพันธ์ที่ได้จากทฤษฎีการตอบสนองข้อสอบที่โมเดลประมาณค่าไม่สอดคล้องกับข้อมูล (r[subscript IRT2]) (2) เพื่อเปรียบเทียบค่าเฉลี่ยระหว่าง d[subscript CTT], d[subscript IRT1] และ d[subscript IRT2] และระหว่าง r[subscript CTT], r[subscript IRT1] และ r[IRT2] (3) เพื่อศึกษาความสัมพันธ์ระหว่าง d[subscript CTT] และ d[subscript IRT1] และสร้างสมการถดถอยของ d[subscript IRT1] บน d[subscript CTT] และ (4) เพื่อศึกษาความสัมพันธ์ระหว่าง r[subscript CTT] และ r[subscript IRT1] และสร้างสมการถดถอยของ r[subscript IRT1] บน r[subscript CTT] ภายใต้สถานการณ์การสอบ 540 สถานการณ์ ตามเงื่อนไขของค่าความเข้มของอิทธิพลที่แท้จริง (.2, .5, .8, 1.2, 2.6) ขนาดกลุ่มตัวอย่าง (20, 50, 500, 2,000) ความยาวแบบสอบ (10, 50, 90) โมเดลฐาน (โมเดลโลจิสติกแบบหนึ่ง, สอง และสามพารามิเตอร์) และโมเดลประมาณค่า (โมเดลการทดสอบแบบดั้งเดิม โมเดลการตอบสนองข้อสอบที่สอดคล้องกับข้อมูล และโมเดลการตอบสนองข้อสอบที่ไม่สอดคล้องกับข้อมูล) ผลการวิจัยโดยสรุปพบว่า (1) ในภาพรวมตัวประมาณค่าที่มีความลำเอียงต่ำที่สุดคือ r[subscript IRT1] นอกจากนี้ r[subscript IRT1] ยังเป็นตัวประมาณค่าที่มีคุณสมบัติทุกด้านเป็นที่น่าพอใจที่สุด (2) ค่าเฉลี่ยของ d[subscript CTT], d[subscript IRT1] และ d[subscript IRT2] มีความแตกต่างกันอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 โดย d[subscript CTT] มีค่าเฉลี่ยสูงสุด เช่นเดียวกับค่าเฉลี่ยของ r[subscript CTT], r[subscript IRT1] และ r[subscript IRT2] ที่แตกต่างกันอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 โดย r[subscript CTT] มีค่าเฉลี่ยสูงสุด (3) สัมประสิทธิ์สหสัมพันธ์ระหว่าง d[subscript CTT] และ d[subscript IRT1] มีค่า .626 และมีนัยสำคัญทางสถิติที่ระดับ .05 สมการถดถอยของ d[subscript IRT1] บน d[subscript CTT] ในรูปคะแนนดิบ คือ d[subscript IRT1] = .004 + .065d[subscript CTT] สมการในรูปคะแนนมาตรฐาน คือ Z[subscript d][subscript IRT1] = .626Z[subscript d][subscript CTT] (4) สัมประสิทธิ์สหสัมพันธ์ระหว่าง r[subscript CTT] และ r[subscript IRT1] มีค่า .570 และมีนัยสำคัญทางสถิติที่ระดับ .05 สมการถดถอยของ r[subscript IRT1] บน r[subscript CTT] ในรูปคะแนนดิบ คือ r[subscript IRT1] = .003 + .079[subscript r][subscript CTT] และสมการในรูปคะแนนมาตรฐาน คือ Z[subscript r][subscript IRT1] = .570Z[subscript r][subscript CTT]

Other Abstract (Other language abstract of ETD)

There were 4 objectives for this research: (1) to compare the estimators’ properties in biasedness, consistency, and relative efficiency aspects among the effect size derived from Classical Test Theory (d[subscript CTT]), effect size derived from Item Response Theory which estimation models fit for the data (d[subscript IRT1]), effect size derived from Item Response Theory which estimation models unfit for the data (d[subscript IRT2]), correlation coefficient derived from Classical Test Theory (r[subscript CTT]), correlation coefficient derived from Item Response Theory which estimation models fit for the data (r[subscript IRT1]), and correlation coefficient derived from Item Response Theory which estimation models unfit for the data (r[subscript IRT2]); (2) to compare the means among d[subscript CTT], d[subscript IRT1], and d[subscript IRT2] as well as among r[subscript CTT], r[subscript IRT1], and r[subscript IRT2]; (3) to study the relationship between d[subscript CTT] and d[subscipt IRT1] and express the regression equation of d[subscript IRT1] on d[subscirpt CTT]; (4) to study the relationship between r[subscript CTT] and r[subscript IRT1] and express the regression equation of r[subscript IRT1] on r[subscript CTT]. The 540 examination situations were built up from the conditions of the true effect magnitudes (.2, .5, .8, 1.2, 2.6), sample sizes (20, 50, 500, 2,000), test lengths (10, 50, 90), based models (one-, two-, and three-parameter logistic model), and estimation models (classical test model, item response models which fit for the data, item response models which unfit for the data). The summarized findings were: (1) in the overview, the lowest biased estimator was r[subscript IRT1], the highest consistency estimator was r[subscript CTT], and the highest relative efficiency estimator was r[subscript IRT1], in addition, r[subscript IRT1] was the most appropriate estimator for all properties; (2) the means of d[subscript CTT], d[subscript IRT1], and d[subscript IRT] were different at the .05 significance level, in fact, the mean of d[subscript CTT] was the highest, in the same way, the means of r[subscript CTT], r[subscript IRT1], and r[subscript IRT] were different at the .05 significance level and the mean of r[subscript CTT] was the highest; (3) the correlation coefficient between d[subscript CTT] and d[subscript IRT1] was .626 and significant at the .05 level, the regression of d[subscript IRT] on d[subscript CTT] could be expressed by d[subscript IRT1] = .004 + .065d[subscript CTT] for the raw scores and Z=.626Z[subscript d][subscript CTT] for the standardized scores; (4) the correlation coefficient between r[subscript CTT] and r[subscript IRT1] was .570 and significant at the .05 level, the regression of r[subscript IRT1] on r[subscript CTT] could be expressed by r[subscript IRT1] = .003 + .079r[subscript CTT] for the raw scores and Z[subscript r][subscript IRT1] = .570Z[subscript r][subscript CTT] for the standardized scores.

Link to Full Text

Share

COinS