Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of Thai sign language interpretation with MediaPipe Library
Year (A.D.)
2022
Document Type
Thesis
First Advisor
สุรีย์ พุ่มรินทร์
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
วิศวกรรมศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิศวกรรมไฟฟ้า
DOI
10.58837/CHULA.THE.2022.848
Abstract
การใช้คอมพิวเตอร์วิทัศน์เพื่อแปลภาษามือไทยได้รับการพัฒนามาอย่างต่อเนื่อง ทั้งนี้เพื่อช่วยลดปัญหาในการสื่อสารกับผู้พิการหรือบกพร่องทางการได้ยิน ในการศึกษานี้เป็นการประยุกต์ใช้คลังโปรแกรมมีเดียไพพ์เพื่อแปลภาษามือไทยโดยใช้การจับภาพท่ามือของภาษามือไทยด้วยกล้องเว็บแคมและระบุตำแหน่งสำคัญบนฝ่ามือด้วยคลังโปรแกรมมีเดียไพพ์ เปรียบเทียบผลลัพธ์ที่ได้กับแฟ้มข้อความในรูปแบบตารางที่ได้บันทึกตำแหน่งสำคัญและคำศัพท์ไว้จำนวน 35 คำ ใช้ขั้นตอนวิธีการค้นหาเพื่อนบ้านที่ใกล้ที่สุด K ตัว เพื่อเลือกคำศัพท์ที่ใกล้เคียงกับท่ามือมากที่สุด ประมวลผลด้วยชุดคำสั่งภาษาไพทอนและแสดงผลการแปลบนจอภาพในทันที การประมวลผลใช้เพียงหน่วยประมวลผลกลางของคอมพิวเตอร์ทั่วไปจึงไม่จำเป็นต้องใช้ระบบคอมพิวเตอร์ที่มีประสิทธิภาพสูง พบว่าระบบสามารถตรวจจับตำแหน่งสำคัญและแสดงผลการแปลได้อย่างมีประสิทธิภาพ มีความแม่นร้อยละ 85.71
Other Abstract (Other language abstract of ETD)
To communicate with hearing impaired persons uncomplicatedly, using the computer vision to interpret the Thai Sign Language has been developing continuously. In this study, applying MediaPipe to interpret the Thai Sign Language is the main feature. The movements of hand gesture were captured by a web camera and the landmarks are located by MediaPipe. The results were compared with the comma-separated values file that stored a set of 35 training landmarks and vocabularies. K-nearest neighbor algorithm was applied to choose the most appropriate vocabularies. The output processed by Python was displayed on the screen in real time. A high-performance computer is not required as the processing use only the central processing unit of a general computer. This system can detect the landmarks and display the output effectively with the accuracy of 85.71%
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
สุทธิแพทย์, จักรพันธ์, "การพัฒนาการแปลภาษามือไทยด้วยคลังโปรแกรมมีเดียไพพ์" (2022). Chulalongkorn University Theses and Dissertations (Chula ETD). 6558.
https://digital.car.chula.ac.th/chulaetd/6558