Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of automated scoring system for English graphic explanation writing
Year (A.D.)
2024
Document Type
Thesis
First Advisor
ณัฏฐภรณ์ หลาวทอง
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิธีวิทยาการพัฒนานวัตกรรมทางการศึกษา
DOI
10.58837/CHULA.THE.2024.1330
Abstract
การศึกษาวิจัยในครั้งนี้มีวัตถุประสงค์ เพื่อ 1) พัฒนาระบบการตรวจให้คะแนนการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษแบบอัตโนมัติ และ 2) ประเมินคุณภาพระบบการตรวจให้คะแนนการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษแบบอัตโนมัติ โดยมีตัวอย่างวิจัย คือ นิสิตนักศึกษาระดับปริญญาบัณฑิต คณะครุศาสตร์ ศึกษาศาสตร์ ระดับชั้นปีที่ 3 ปีการศึกษา 2567 จำนวน 103 คน จาก 5 มหาวิทยาลัย โดยใช้การเลือกแบบเจาะจง เครื่องมือวิจัย คือ ระบบการตรวจให้คะแนนการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษแบบอัตโนมัติ และทำการวิเคราะห์ข้อมูลเพื่อหาคุณภาพของระบบจาก 3 ตัวชี้วัด ได้แก่ ความสอดคล้องในการตรวจให้คะแนนระหว่างระบบและผู้ตรวจที่เป็นมนุษย์ ประสิทธิผลของระบบ ความพึงพอใจของผู้ใช้ต่อระบบ ซึ่งผลการวิจัยพบว่า 1. แบบสอบเขียนอธิบายความข้อมูลภาพภาษาอังกฤษที่พัฒนาขึ้น จำนวน 4 ข้อ มีการประยุกต์โครงการสร้างและรูปแบบมาจากข้อสอบเขียนประเภทที่ 1 ของ IELTS โดยมีการปรับบริบทและสถานการณ์ให้เหมาะสมกับการเป็นข้อสอบสำหรับนิสิต นักศึกษาคณะครุศาสตร์ ศึกษาศาสตร์ และมีการปรับใช้เกณฑ์ในการตรวจให้คะแนนของ IELTS เช่นเดียวกัน โดยเกณฑ์ที่ใช้ในการประเมินมีทั้งสิ้น 4 เกณฑ์ ได้แก่ การตอบสนองต่อโจทย์ (Task achievement) ความสอดคล้องต่อเนื่อง (Coherence and Cohesion) คำศัพท์ (Lexical Resource) และความถูกต้องและความเหมาะสมของไวยากรณ์ (Grammatical Range and Accuracy) ซึ่งเกณฑ์การประเมินถูกปรับเป็น 5 ระดับ (0-4 คะแนน) เพื่อความเหมาะสมกับความสามารถของผู้สอบ ซึ่งเมื่อตรวจสอบคุณภาพของข้อสอบพบว่า มีค่าความยากอยู่ระดับปานกลาง และมีอำนาจจำแนกที่ดี เมื่อตรวจสอบความเที่ยงของผลการวัดตามทฤษฎีสรุปอ้างอิงพบว่า ความเที่ยงแบบอิงเกณฑ์ โดยการตรวจให้คะแนนโดยผู้สอบ 2 คน ด้วยการออกแบบการวัดแบบไขว้อยู่ในระดับที่น่าเชื่อถือ (Absolute G-Coefficient=0.75) และสหสัมพันธ์ภายในชั้นของแต่ละข้ออยู่ในระดับที่มีความเห็นพ้องร่วมกันสูงมาก (.994 ถึง 1.000) 2. ระบบการตรวจให้คะแนนการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษแบบอัตโนมัติ ที่พัฒนาขึ้นด้วยภาษา JavaScript โดยมีระบบการทำงานแบบเบ็ดเสร็จในระบบ (Standalone) ซึ่งภายในประกอบไปด้วยข้อสอบวัดทักษะการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษ จำนวน 4 ข้อ และแบบประเมินความพึงพอใจของผู้ใช้ต่อระบบ จำนวน 30 ข้อ โดยมีกระบวนการในการใช้ระบบ คือ ลงทะเบียนผู้ใช้ เข้าสู่ระบบ เริ่มต้นการทดสอบ รับผลการทดสอบ และประเมินความพึงพอใจต่อระบบ ซึ่งภายหลังจากการทดลองใช้ระบบพบว่า ระบบมีความสอดคล้องกับการประเมินโดยมนุษย์ในระดับพอใช้ได้ถึงสูงมาก และมีความคลาดเคลื่อนขนาดต่ำมากถึงปานกลาง (0.572≤QWK≤1.000, 0.000≤RMSE≤0.661) เมื่อพิจารณาประสิทธิผลของระบบพบว่า ระบบสามารถตรวจให้คะแนนคำตอบได้ถูกต้องและแม่นยำค่อนข้างสูง โดยมีเกณฑ์ที่มีความคลาดเคลื่อนสูงที่สุด คือ เกณฑ์ความสอดคล้องต่อเนื่องในการเขียน (Coherence and Cohesion) และมีเกณฑ์ที่สามารถตรวจให้คะแนนได้แม่นยำที่สุด คือ เกณฑ์การตอบสนองต่อโจทย์ (Task achievement) โดยระดับคะแนนที่ตรวจได้แม่นยำที่สุด คือ ที่ระดับ 0 และ 1 คะแนน ส่วนคะแนนที่ตรวจได้แม่นยำน้อยที่สุด คือ ระดับ 4 คะแนน และเมื่อพิจารณาความพึงพอใจของผู้ใช้ต่อระบบพบว่า ในภาพรวม ผู้ใช้มีความพึงพอใจต่อระบบในระดับพึงพอใจมากที่สุด (MUX=4.558, SDUX=0.557; MUI=4.790, SDUI=0.286)
Other Abstract (Other language abstract of ETD)
This research study aimed to 1) develop an automated scoring system for English graphic explanation writing, and 2) evaluate the quality of the developed system. The participants were 103 third-year undergraduate students in the faculty of education from five universities in the 2024 academic year, selected through purposive sampling. The research instruments included the automated scoring system, with data analyzed based on three key quality indicators: consistency between automated and human scoring, system effectiveness, and user satisfaction. The findings can be summarized as follows: 1. The English graphic explanation writing tasks were adapted from IELTS Writing Task one type, contextualized to suit education students. The scoring rubric was also adapted from IELTS, focusing on four criteria: task achievement, coherence and cohesion, lexical resource, and grammatical range and accuracy. The rubric was modified to a 5-point scale (0–4) to suit the ability level of the target group. Item analysis indicated that the difficulty level was moderate with acceptable discrimination index. Reliability analysis using Generalizability Theory (G Theory), with a crossed design of two human raters, showed acceptable absolute decision reliability (Absolute G-Coefficient=0.75), and very high inter-rater agreement (ICC = .994 to 1.000). 2. The automated scoring system, developed using JavaScript in a standalone system, included four writing tasks and a 30-item user satisfaction questionnaire. The developed system comprised of the following steps: user registration, login, testing, score reporting, and post-test feedback. After implementation, the system demonstrated moderate to high agreement with human raters (0.572≤QWK≤1.000) and low to moderate error (0.000≤RMSE≤0.661). Among the scoring criteria, the system was most accurate in assessing task achievement, and at 2-point levels, 0 and 1 score, while the most challenging criterion was coherence and cohesion, and at the 4-point level. In terms of user satisfaction, the system received the highest level of satisfaction (MUX=4.558, SDUX=0.557; MUI=4.790, SDUI=0.286).
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
แก้วเพ็ชร, กวินนา, "การพัฒนาระบบการตรวจให้คะแนนการเขียนอธิบายความข้อมูลภาพภาษาอังกฤษแบบอัตโนมัติ" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 75341.
https://digital.car.chula.ac.th/chulaetd/75341