Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of automated scoring system for Thai writing ability test of primary education level
Year (A.D.)
2020
Document Type
Thesis
First Advisor
กมลวรรณ ตังธนกานนท์
Second Advisor
ณภัทร ชัยมงคล
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรดุษฎีบัณฑิต
Degree Level
ปริญญาเอก
Degree Discipline
การวัดและประเมินผลการศึกษา
DOI
10.58837/CHULA.THE.2020.596
Abstract
การวิจัยและพัฒนานี้มีวัตถุประสงค์เพื่อ (1) พัฒนาแบบสอบ และเกณฑ์การตรวจให้คะแนนอัตโนมัติสำหรับแบบสอบการเขียนภาษาไทยระดับประถมศึกษา (2) พัฒนาระบบการตรวจให้คะแนนอัตโนมัติสำหรับแบบสอบการเขียนภาษาไทยระดับประถมศึกษา และ (3) ประเมินประสิทธิภาพระบบการตรวจให้คะแนนอัตโนมัติสำหรับแบบสอบการเขียนภาษาไทยระดับประถมศึกษา ตัวอย่างวิจัยคือ นักเรียนชั้นประถมศึกษาปีที่ 6 จำนวน 287 คน ใช้วิธีการเลือกแบบเจาะจง เครื่องมือการวิจัย ได้แก่ แบบสอบเขียนตอบ แบบประเมิน 3 ฉบับ และระบบออนไลน์พัฒนาจากภาษา PHP ฐานข้อมูล MySQL ผลการวิจัยพบว่า 1. แบบสอบเขียนตอบการเขียนภาษาไทยระดับชั้นประถมศึกษา ตามหลักสูตรในกลุ่มสาระการเรียนรู้ภาษาไทย สาระที่ 2 การเขียน ตัวชี้วัดที่ ป.6/5 เขียนย่อความจากเรื่องที่อ่าน มีจำนวน 6 ข้อ คะแนนเต็ม 160 คะแนน ผลการตรวจสอบคุณภาพของแบบสอบเป็นไปตามเกณฑ์ที่กำหนด ได้แก่ จุดประสงค์การวัด พฤติกรรมการเรียนรู้ สถานการณ์ คำถาม ใจความสำคัญ คำในบทอ่าน เกณฑ์การให้คะแนน และน้ำหนักคะแนน มีเกณฑ์การให้คะแนนอัตโนมัติการสรุปความ 3 ด้าน 11 รายการ และการย่อความ 5 ด้าน 14 รายการ ความเที่ยงภายในผู้ตรวจและความเที่ยงระหว่างผู้ตรวจมีความสัมพันธ์กันในระดับค่อนข้างสูงถึงระดับสูง (rxy = 0.72 ถึง 0.97) ข้อสอบมีความยากระดับปานกลางและอำนาจจำแนกระดับดีมาก 2. ระบบการตรวจให้คะแนนอัตโนมัติสำหรับแบบสอบการเขียนภาษาไทยระดับประถมศึกษา เป็นระบบออนไลน์ใช้โปรแกรมภาษา PHP และฐานข้อมูล MySQL มีกระบวนการทำงาน 5 ขั้นตอน ได้แก่ การเข้าสู่ระบบสอบ การระบุข้อมูลผู้ใช้ การดำเนินการสอบ การประเมินความพึงพอใจ และการรายงานผลคะแนนสอบ 3. การประเมินประสิทธิภาพของระบบจากแบบประเมินทั้ง 3 ฉบับ พบว่า ผู้ประเมินมีความพึงพอใจต่อการใช้งานระบบอยู่ในระดับมากที่สุด สำหรับการประเมินความแม่นยำของคะแนนพบว่า เกณฑ์การตรวจให้คะแนนอัตโนมัติสามารถทำนายคะแนนสอบได้อย่างมีนัยสำคัญทางสถิติที่ระดับ 0.05 โดยมีค่าสัมประสิทธิ์การพยากรณ์เท่ากับร้อยละ 66.3 ถึง 89.9 มีความสอดคล้องของการให้คะแนนอยู่ในระดับดี (ICC = 0.88) และมีค่าความผิดพลาดกำลังสองเฉลี่ยไม่เกิน 3.38 คะแนน
Other Abstract (Other language abstract of ETD)
This research and development aimed to (1) develop the test and the automated scoring rubric for Thai writing ability test of primary education level. (2) develop the automated scoring rubric system for the Thai writing test of primary education level, and (3) evaluate the efficiency of the automated scoring rubric system for the Thai writing of primary education level. Sample were 287 sixth grade students selected by purposive sampling technique. Instruments consisted of the subjective test, three evaluation forms, and the online system developed by PHP language and MySQL database. Results were as follows: 1.The developed Thai writing subjective test was created according to the Thai Language learning standard 2 Writing, indicator p.6/5, i.e., Write synopses from what has been read. The test consisted of 6 questions with full score of 160. Results of the quality of the test follows the specified criteria including objective of measurement, learning behaviors, situations, questions, main ideal, word in reading, scoring rubric, and weighted scoring. The automated scoring rubrics of the summaries were 11 items of 3 elements and the synopses were 14 items of 5 elements. Intra-rater reliability and inter-rater reliability were correlation in quite high to high level. (rxy = 0.72 to 0.97) Difficulty of the test were in the moderate level and discrimination power were in the very good level. 2.The automated scoring rubric system for the Thai writing test of primary education level was an online system comprised of 5 steps, i.e., system login, identification of student profile, examination, satisfaction evaluation, and score reporting. The testing system found that the score was mean of 71.97 and standard deviation of 16.07 3. The efficiency evaluation of the system by using three evaluations forms revealed that evaluators agreed with the system which had the highest agreement. The automated scoring rubric was able to predict the scores test at 0.05 level of statistical significant, R2 = 66.3 to 89.9 percent. The consistency of the score were good (ICC = 0.88) and was with RMSE ≤ 3.38.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
ทองศิลป์, อัศนีย์, "การพัฒนาระบบการตรวจให้คะแนนอัตโนมัติสำหรับแบบสอบการเขียนภาษาไทยระดับประถมศึกษา" (2020). Chulalongkorn University Theses and Dissertations (Chula ETD). 4143.
https://digital.car.chula.ac.th/chulaetd/4143