Chulalongkorn University Theses and Dissertations (Chula ETD)

การศึกษาจำนวนผู้ประเมินและจำนวนงานเขียนที่เหมาะสมเมื่อใช้เกณฑ์การให้คะแนนที่ต่างกัน

Other Title (Parallel Title in Other Language of ETD)

A study of the optimal number of raters and number of writing tasks using different scoring rubrics

Year (A.D.)

2002

Document Type

Thesis

First Advisor

พวงแก้ว ปุณยกนก

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2002.39

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ 1) เปรียบเทียบความเที่ยงซึ่งแทนด้วยค่าสัมประสิทธิ์การสรุปอ้างอิงของคะแนนการประเมินงานเขียนจากผู้ประเมินจำนวน 4 คน เมื่อใช้เกณฑ์การให้คะแนนแบบภาพรวม (holistic scoring rubric) และผู้ประเมินจำนวน 4 คนที่ใช้เกณฑ์การให้คะแนนแบบแยกองค์ประกอบ (analytic scoring rubric) และ 2) เพื่อหาจำนวนผู้ประเมินและจำนวนงานเขียนที่เหมาะสมเมื่อใช้เกณฑ์การให้คะแนนแบบภาพรวม (holistic scoring rubric) หรือเกณฑ์การให้คะแนนแบบแยกองค์ประกอบ (analytic scoring rubric) กลุ่มตัวอย่างประกอบด้วย ผลงานการเขียนวิชาภาษาไทยของนักเรียนชั้นประถมศึกษาปีที่ 5 จำนวน 117 ผลงาน และผู้ประเมินจำนวน 8 คน ที่ใช้เกณฑ์การให้คะแนนแบบภาพรวม และเกณฑ์การให้คะแนนแบบแยก องค์ประกอบ การวิจัยนี้คำนวณค่าความเที่ยงจากค่าสัมประสิทธิ์การสรุปอ้างอิงด้วยโปรแกรมสำเร็จรูป GENOVA ผลการวิจัยพบว่า ภายใต้ชิ้นงานจำนวน 117 ชิ้น ผู้ประเมินจำนวน 4 คน เมื่อใช้เกณฑ์การให้คะแนนแบบภาพรวม ค่าสัมประสิทธิ์การสรุปอ้างอิงเท่ากับ 0.71484 และเมื่อใช้เกณฑ์การให้คะแนนแบบแยกองค์ประกอบ ค่าสัมประสิทธิ์การสรุปอ้างอิงเท่ากับ 0.81410 2. ถ้าต้องการใช้ผู้ประเมิน 1 คน และกำหนดให้ค่าสัมประสิทธิ์การสรุปอ้างอิงของเกณฑ์การให้คะแนนแบบภาพรวมเป็น 0.2, 0.4, 0.6 และ 0.8 ใช้จำนวนชิ้นงานอย่างน้อย 4, 8, 16 และ 28 ชิ้น ตามลำดับ ส่วนเกณฑ์การให้คะแนนแบบแยกองค์ประกอบ เมื่อกำหนดค่าสัมประสิทธิ์การสรุปอ้างอิงเป็น 0.2 และ 0.4 ใช้จำนวนชิ้นงานน้อยกว่า 4 ชิ้น เมื่อกำหนดค่าสัมประสิทธิ์การสรุปอ้างอิงเป็น 0.6 ใช้จำนวนชิ้นงานอย่างน้อย 8 ชิ้น และเมื่อกำหนดค่าสัมประสิทธิ์การสรุปอ้างอิงเป็น 0.8 ใช้ชิ้นงานอย่างน้อย 12 ชิ้น ทั้งนี้ขึ้นอยู่กับผู้ปฏิบัติ ว่าจะเลือกใช้เกณฑ์การให้คะแนนให้เหมาะสมกับการเรียนการสอน

Other Abstract (Other language abstract of ETD)

The purposes of this research were 1) to compare the reliability from generalizability coefficient of writing task assessment based on 4 raters who used holistic scoring rubric and 4 raters who used anaytic scoring rubric 2) to study the optimal number of raters and the number of writing tasks when using holistic scoring rubric or anaytic scoring rubric. The sample consisted of 117 students' writing in Thai subject, phathomsuksa V and 8 raters who scored tasks by using different scoring methods; holistic scoring rubric and anaytic scoring rubric. The reliability of scoring was analysed by using GENOVA program.The research findings were as follows: For 117 writing tasks and 4 raters, the Generalizability Coefficients of holistic scoring rubric was 0.71484 and the Generalizability Coefficients of analytic scoring rubric was 0.81410 . If using 1 rater and a Generaliability Coefficient of holistic scoring rubric was set at 0.2, 0.4, 0.6 and 0.8 the number of writings should be more than 4, 8, 16 and 28 pieces respectively. If using 1 rater and a Generaliability Coefficient of analytic scoring rubric was set at 0.2 and 0.4 the number of writings should be less than 4 pieces. If a Generaliability Coefficient was set at 0.6 the number of writings should be more than 8 pieces. If a Generaliability Coefficient was set at 0.8 the number of writings should be more than 12 pieces. Selection appropriate scoring rubric for instruction depends on user.

Link to Full Text

Share

COinS