Chulalongkorn University Theses and Dissertations (Chula ETD)

การวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบแบบ 2 ทางด้วยโมเดลเชิงเส้นตรงทั่วไประดับลดหลั่น : การประมาณค่าพารามิเตอร์

Other Title (Parallel Title in Other Language of ETD)

Two-way differential item functioning analysis using hierarchical generalized linear model : a parameter estimation

Year (A.D.)

2010

Document Type

Thesis

First Advisor

ศิริชัย กาญจนวาสี

Second Advisor

Kamata, Akihito

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาเอก

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2010.40

Abstract

ศึกษาคุณภาพของการประมาณค่าพารามิเตอร์ของโมเดลการทำหน้าที่ต่างกันของข้อสอบแบบ 2 ทาง เมื่อตัวแปรหนึ่งเป็นตัวแปรระดับกลุ่ม และเปรียบเทียบประสิทธิภาพของ โมเดลการทำหน้าที่ต่างกันของข้อสอบทั้ง 4 โมเดลว่าโมเดลไหนมีประสิทธิภาพในการประมาณค่าพารามิเตอร์ได้ดีที่สุด เมื่อมีเงื่อนไขที่แตกต่างกัน 3 ด้าน คือ จำนวนนักเรียนในแต่ละโรงเรียน (the number of student in each school) ขนาดการทำหน้าที่ต่างกัน ระดับกลุ่ม (CLDIF) และขนาดปฏิสัมพันธ์แบบ 2 ทาง (2WAYINT) โดยการ จำลองข้อมูลด้วยเงื่อนไขที่แตกต่างกัน 18 เงื่อนไข (2 x 3 x 3) นั่นคือ 1) จำนวนนักเรียนในแต่ละโรงเรียน (the number of student in each school) 2 ระดับ คือ โรงเรียนละ 50 คนและโรงเรียนละ 100 คน 2) ขนาดการทำหน้าที่ต่างกันระดับกลุ่ม (CLDIF) 3 ระดับ คือ 0.2, 0.4 และ 0.6 และ 3) ขนาดปฏิสัมพันธ์แบบ 2 ทาง (2WAYINT) 3 ระดับ คือ 0.1, 0.2 และ 0.3 มีโมเดลการทำหน้าที่ต่างกันของข้อสอบ 4 โมเดลประกอบไปด้วย 1) โมเดลเต็มรูป 2) โมเดลไม่เต็มรูปที่ไม่มีพารามิเตอร์ปฏิสัมพันธ์แบบ 2 ทาง 3) โมเดลไม่เต็มรูปที่ไม่มีพารามิเตอร์การทำหน้าที่ต่างกันระดับกลุ่ม และ 4) โมเดลไม่เต็มรูปที่ไม่มีทั้งพารามิเตอร์ปฏิสัมพันธ์แบบ 2 ทางและพารามิเตอร์การทำหน้าที่ต่างกันระดับกลุ่ม และกำหนดจำนวนการทำซ้ำในแต่ละเงื่อนไขจำนวน 200 รอบ ผู้วิจัยมีเกณฑ์การคัดสรรโมเดล 5 เกณฑ์ ได้แก่ ดัชนี AIC, ดัชนี BIC, ดัชนี ABIC, ดัชนี 2 of 3 และดัชนี p-value และมีเกณฑ์การประเมินในการประมาณค่าพารามิเตอร์ 3 เกณฑ์ คือ ค่าความลำเอียง (BIAS) ค่าความคลาดเคลื่อนมาตรฐาน (SE) และค่ารากที่สองของความคลาดเคลื่อน ยกกำลังสองเฉลี่ย (RMSE) โดยจำลองข้อมูลด้วยโปรแกรม R ประมาณค่าพารามิเตอร์ด้วยโปรแกรม Mplus ผลการศึกษาสรุปได้ดังนี้ 1. ค่าพารามิเตอร์ปฏิสัมพันธ์แบบ 3 ทาง (3WAYINT) และพารามิเตอร์การทำหน้าที่ต่างกันระดับบุคคล (ILDIF) แตกต่างจากค่าจริงในทุกเงื่อนไข 2. เมื่อใช้ดัชนี AIC และดัชนี p-value เป็นเกณฑ์การคัดสรรโมเดล พบว่า โมเดลเต็มรูปเป็นโมเดลที่ดีที่สุด ในขณะที่เมื่อใช้ดัชนี BIC ดัชนี ABIC และดัชนี 2 of 3 เป็นเกณฑ์การคัดสรรโมเดลได้ผลที่สอดคล้องกันคือ โมเดลไม่เต็มรูปที่ไม่มีทั้งพารามิเตอร์ปฏิสัมพันธ์แบบ 2 ทางและพารามิเตอร์การทำหน้าที่ต่างกันระดับกลุ่ม เป็นโมเดลที่ดีที่สุด ในทุกเงื่อนไข ข้อเสนอแนะ: นักวิจัยควรเลือกใช้โมเดลเต็มรูป เมื่อต้องการศึกษาทุกพารามิเตอร์ในโมเดล HGLM หรือ เลือกใช้โมเดลไม่เต็มรูปที่ไม่มีทั้งพารามิเตอร์ปฏิสัมพันธ์แบบ 2 ทางและพารามิเตอร์การทำหน้าที่ต่างกันระดับกลุ่ม เมื่อต้องการศึกษาด้วยโมเดลที่ประหยัดกว่า

Other Abstract (Other language abstract of ETD)

To 1) investigate the quality of parameter estimates for the two-way differential item functioning (two-way DIF) model, when one of the DIF factors was a group characteristics variable, and 2) compare the efficiency of 4 differential item functioning models, which one was the best model in order to investigate the quality of parameter estimates. This study was based on the different 18 simulation conditions (2 x 3 x 3) consisted of 1) the number of student in each school (50, 100) 2) the cluster-level DIF (0.2, 0.4, 0.6), and 3) the two-way interaction (0.1, 0.2, 0.3). 4 differential item functioning models were investigated: 1) the complete model, 2) the incomplete model without twoway interaction, 3) the incomplete model without cluster-level DIF, and 4) the incomplete model without both two-way interaction and cluster-level DIF. The simulation was replicated 200 times for each condition. 5 model selection criteria were used in this simulation study: AIC (Akaike’s information criterion), BIC (Bayesian information criterion), ABIC (Sample-Size Adjusted Bayesian information criterion), 2 of 3, and p-value. Also, 3 evaluation criteria were examined: BIAS, SE, and RMSE. R software was used to generate the data, and fitted the model by Mplus. The results were as follows: 1) The parameter estimate of the three-way interaction (3WAYINT) and the individual-level DIF (ILDIF) were different from the true value across conditions. 2) The complete model was the best model when AIC and p-value were selected as the model selection criteria. However, the incomplete model without both two-way interaction and cluster-level DIF was the best model when BIC, ABIC, and 2 of 3 were assumed as the model selection criteria. Suggesstion: Researches should use the complete model in case they would like to study all effects of HGLM moldel. On the other hand, they might use the incomplete model without both two-way interaction and cluster-level DIF which is simplier.

Link to Full Text

Share

COinS