Abstract
This research aimed to: 1) examine the inter-rater reliability of alignment between science items and indicators at the lower secondary level; and 2) evaluate the alignment between science items and indicators at the lower secondary level. Research subjects were 1,089 science test items used at the lower secondary level, chosen by using a multi-stage random sampling procedure. Analysis relied on 20 expert panelists to evaluate the alignment. The data were analyzed for inter-rater reliability by Fleiss? kappa statistic and the intra-class correlation (ICC), and mean scores of alignment between science test items and indices were calculated. The findings revealed that 1) in the cognitive complexity evaluation part, there was good inter-rater reliability, as demonstrated by the Fleiss? kappa statistic (Kf = 0.510), 2) in the evaluation of alignment between science test items, there was excellent inter-rater reliability, demonstrated by the intra-class correlation (ICC = 0.954, Sig. = .000), and 3) 92.93 percent of the items aligned with the specified indices by mean scores of 3.20-4.0(งานวิจัยนี้มีวัตถุประสงค์เพื่อ 1) ตรวจสอบความเที่ยงระหว่างผู้ประเมินของความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัดวิทยาศาสตร์ ระดับชั้นมัธยมศึกษาตอนต้น และ 2) ประเมินความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัดวิทยาศาสตร์ ระดับชั้นมัธยมศึกษาตอนต้น ตัวอย่างในการวิจัย ได้แก่ ข้อสอบรู้วิทยาศาสตร์ชั้นมัธยมศึกษาตอนต้นของโรงเรียนมัธยมศึกษา จำนวน 1,089 ข้อ ที่ได้จากการสุ่มแบบหลายขั้นตอน (multi-stage random sampling) และผู้เชี่ยวชาญในการประเมินความสอดคล้องฯ จำนวน 20 คน เครื่องมือการวิจัย คือ แบบประเมินความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัด วิเคราะห์ความเที่ยงระหว่างผู้ประเมิน (inter-rater reliability) ด้วยสถิติแคปปาของฟลีส (Fleiss? kappa statistic) และสหสัมพันธ์ภายในชั้น (intra-class correlation: ICC) และวิเคราะห์ค่าเฉลี่ยคะแนนความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัด ผลการวิจัย พบว่า 1) ในส่วนของการประเมินระดับความซับซ้อนทางปัญญา มีค่าความเที่ยงระหว่างผู้ประเมินที่วิเคราะห์ด้วยสถิติแคปปาของฟลีส (Fleiss? kappa statistic: Kf) อยู่ในระดับดี (Kf = 0.510) 2) ในส่วนของการประเมินระดับความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัด มีค่าความเที่ยงระหว่างผู้ประเมินที่วิเคราะห์ด้วยสถิติสหสัมพันธ์ภายในชั้น(intra-class correlation: ICC) อยู่ในระดับดีมาก (ICC = 0.954, Sig. = .000) และ 3) ข้อสอบร้อยละ 92.93 มีความสอดคล้องในแนวเดียวกันกับตัวชี้วัดที่ระบุ โดยมีค่าเฉลี่ยคะแนนความสอดคล้องฯ อยู่ระหว่าง 3.20?4.00)
Publisher
Faculty of Education, Chulalongkorn University
First Page
144
Last Page
163
Recommended Citation
Janprasert, Budsayarat; Lawthong, Nattaporn; and Ngudgratoke, Sungworn
(2020)
"Inter-rater Reliability of Alignment between Science Items and Indices(ความเที่ยงระหว่างผู้ประเมินของความสอดคล้องในแนวเดียวกันระหว่างข้อสอบกับตัวชี้วัดวิทยาศาสตร์),"
Journal of Education Studies: Vol. 48:
Iss.
3, Article 9.
Available at:
https://digital.car.chula.ac.th/educujournal/vol48/iss3/9
