Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of Thai sign language recognition model using deep learning for communication between student teachers and students with special needs: application of CNN and RNN models
Year (A.D.)
2024
Document Type
Thesis
First Advisor
สิวะโชติ ศรีสุทธิยากร
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิธีวิทยาการพัฒนานวัตกรรมทางการศึกษา
DOI
10.58837/CHULA.THE.2024.535
Abstract
การวิจัยนี้มีวัตถุประสงค์ 1) เพื่อวิเคราะห์ภาษามือไทยที่ครูใช้สื่อสารกับนักเรียนที่มีความต้องการพิเศษในชั้นเรียน 2) เพื่อพัฒนาและประเมินประสิทธิภาพโมเดลรู้จำภาษามือไทยโดยใช้การเรียนรู้เชิงลึก และ 3) เพื่อวิเคราะห์ผลการใช้โมเดลรู้จำภาษามือไทยเพื่อสนับสนุนการสื่อสารระหว่างนิสิตครูกับนักเรียนที่มีความต้องการพิเศษ การวิจัยแบ่งเป็น 3 ตอน ตอนที่ 1 การวิเคราะห์ภาษามือไทยที่ครูใช้สื่อสารกับนักเรียนที่มีความต้องการพิเศษในชั้นเรียน ตัวอย่างวิจัยคือครูการศึกษาพิเศษในโรงเรียนสอนคนหนูหนวก เครื่องมือวิจัยคือแบบสอบถามความถี่การใช้งานประโยคภาษามือ และวิเคราะห์ข้อมูลจากแบบสอบถามโดยใช้ค่าเฉลี่ยและร้อยละ ตอนที่ 2 การพัฒนาและประเมินประสิทธิภาพโมเดลรู้จำภาษามือไทยโดยใช้การเรียนรู้เชิงลึก ตัวอย่างวิจัยคืออาสาสมัครที่มีความสามารถในการใช้ภาษามือ การวิเคราะห์ข้อมูลผู้วิจัยเลือกใช้โมเดลการเรียนรู้เชิงลึก convolutional neural network (CNN) ร่วมกับ recurrent neural network (RNN) จำนวน 4 โมเดล ในการพัฒนาโมเดลรู้จำภาษามือไทยจำนวน 20 ประโยค โดยใช้ข้อมูลจากวิดีโอที่ถ่ายทำกับอาสาสมัคร จากนั้นเปรียบเทียบประสิทธิภาพของโมเดลโดยพิจารณาจากความถูกต้อง ขนาดของโมเดล เวลาที่ใช้ในการฝึกสอนโมเดล และเวลาที่ใช้ในการทำนาย เพื่อนำโมเดลที่มีประสิทธิภาพสูงสุดไปใช้ประเมินประสิทธิภาพของโมเดลในการจำแนกประโยคภาษามือในภาพรวมและในแต่ละประโยคโดยใช้ค่า accuracy precision recall และ F1-score ตอนที่ 3 การวิเคราะห์ผลการใช้โมเดลรู้จำภาษามือไทยเพื่อสนับสนุนการสื่อสารระหว่างนิสิตครูกับนักเรียนที่มีความต้องการพิเศษ ตัวอย่างวิจัยคือนิสิตครู เครื่องมือวิจัยคือแบบสอบถามการใช้โมเดลรู้จำภาษามือไทย และวิเคราะห์ข้อมูลจากแบบสอบถามโดยใช้ค่าเฉลี่ย ผลการวิจัยพบว่า 1) ภาษามือที่ใช้ในชั้นเรียนมักเป็นประโยคที่สั้นและกะทัดรัดมากกว่าภาษาพูด และภาษามือที่ใช้มากที่สุดจัดอยู่ในหมวดการเสริมแรง 2) การพัฒนาโมเดลรู้จำภาษามือไทยโดยใช้โมเดล EfficientNetB0 ร่วมกับ GRU สามารถจำแนกประโยคภาษามือได้มีประสิทธิภาพสูงสุดทั้งในด้านความถูกต้อง ขนาดของโมเดล เวลาที่ใช้ในการฝึกสอนโมเดล และเวลาที่ใช้ในการทำนาย และ 3) การประเมินประสิทธิภาพของโมเดลรู้จำภาษามือไทยโดยใช้ข้อมูลชุดทดสอบ โมเดลมีค่า accuracy เท่ากับ 0.78 ค่าเฉลี่ย precision เท่ากับ 0.79 ค่าเฉลี่ย recall เท่ากับ 0.78 และค่าเฉลี่ย F1-score เท่ากับ 0.78 โดยประโยคที่โมเดลสามารถจำแนกได้ดี ได้แก่ พร้อมยัง เข้าใจ และรู้ไหม และประโยคที่โมเดลจำแนกได้ไม่ดี ได้แก่ งานสวย ทำได้ไหม และถูกหรือผิด 4) การใช้โมเดลรู้จำภาษามือไทยสามารถช่วยสนับสนุนการสื่อสารระหว่างนิสิตครูกับนักเรียนที่มีความต้องการพิเศษได้ในระดับปานกลาง
Other Abstract (Other language abstract of ETD)
This research aims to 1) analyze the Thai sign language used by teachers to communicate with students with special needs in the classroom, 2) develop and evaluate the performance of a Thai sign language recognition model using deep learning, and 3) analyze the outcomes of applying the Thai sign language recognition model to support communication between student teachers and students with special needs. The research is divided into three parts. Part 1 involves analyzing Thai sign language used by teachers to communicate with students with special needs. The research sample consists of special education teachers from schools for the deaf. The research instrument is a questionnaire measuring the frequency of sign language sentence usage, and the data are analyzed using mean and percentage. Part 2 focuses on developing and evaluating the performance of a Thai sign language recognition model using deep learning. The research sample includes volunteers proficient in sign language. The analysis utilizes deep learning models, specifically Convolutional Neural Networks (CNN) combined with Recurrent Neural Networks (RNN), to develop four models for recognizing 20 Thai sign language sentences from video data collected from the volunteers. Model performance is compared based on accuracy, model size, training time, and inference time. The best-performing model is further evaluated for its overall and individual sentence recognition efficiency using accuracy, precision, recall, and F1-score. Part 3 examines the results of applying the Thai sign language recognition model to support communication between student teachers and students with special needs. The research sample consists of student teachers. A questionnaire on the use of a Thai sign language recognition model was used as the research instrument, and the questionnaire data were analyzed using the mean. The research findings revealed that 1) the sign language used in the classroom tends to be shorter and more concise than spoken language, with reinforcement phrases being the most commonly used; 2) the development of a Thai sign language recognition model using the EfficientNetB0 combined with GRU achieved the highest performance in terms of accuracy, model size, training time, and inference time; 3) the evaluation of the Thai sign language recognition model's performance using a test dataset showed an accuracy of 0.78, an average precision of 0.79, an average recall of 0.78, and an average F1-score of 0.78. Sentences that the model recognized well included "are you ready?" "understand," and "did you know?" while sentences it struggled with included "beautiful work," "can you do it?" and "right or wrong"; and 4) the use of the Thai sign language recognition model can moderately support communication between student teachers and students with special needs.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
คะรานรัมย์, ธีรวิชญ์, "การพัฒนาโมเดลรู้จำภาษามือไทยโดยใช้การเรียนรู้เชิงลึกเพื่อการสื่อสารระหว่างนิสิตครูกับนักเรียนที่มีความต้องการพิเศษ : การประยุกต์โมเดลซีเอ็นเอ็นร่วมกับอาร์เอ็นเอ็น" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 74373.
https://digital.car.chula.ac.th/chulaetd/74373