Chulalongkorn University Theses and Dissertations (Chula ETD)

การตรวจจับและสกัดคุณลักษณะสำคัญของมือจากวีดิทัศน์สำหรับการสะกดนิ้วมือภาษามือไทย

Other Title (Parallel Title in Other Language of ETD)

Hand detection and feature extraction from video for thai finger-spelling sign language

Year (A.D.)

2012

Document Type

Thesis

First Advisor

ธนารัตน์ ชลิดาพงศ์

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

วิศวกรรมศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิศวกรรมคอมพิวเตอร์

DOI

10.58837/CHULA.THE.2012.1258

Abstract

วิทยานิพนธ์ฉบับนี้ได้นำเสนอกรอบงานตลอดจนขั้นตอนวิธีการตรวจจับและสกัด คุณลักษณะสำคัญของมือ สำหรับระบบรู้จำภาษามือไทย โดยมีข้อมูลนำเข้าเป็นวีดิทัศน์ล่าม ภาษามือไทย ระบบต้นแบบที่ได้พัฒนาสามารถทำงานได้อย่างอัตโนมัติและมีประสิทธิภาพ เพียงพอต่อการนำไปประยุกต์ใช้แบบทันกาล กรอบงานที่นำเสนอประกอบไปด้วย 6 ขั้นตอน คือ การสกัดบริเวณส่วนที่เป็นสีของผิวหนัง การติดตามการเคลื่อนไหวของมือ การแยกสถานะของการแสดงท่ามือ การหาคีย์เฟรมของท่ามือ การสกัดคุณลักษณะสำคัญของรูปร่าง และการนำคุณลักษณะสำคัญของรูปร่างมือที่สกัดได้มาทำ การรู้จำท่ามือ ซึ่งขั้นตอนของการสกัดบริเวณส่วนที่เป็นสีของผิวหนังจะเป็นขั้นตอนในการค้นหา บริเวณส่วนที่เป็นมือและใบหน้าของล่ามผู้แสดงภาษามือเพื่อกำหนดเป็นค่าเริ่มต้นในการติดตาม ตำแหน่งของมือในขั้นตอนของการติดตามการเคลื่อนไหวของมือ หลังจากทำการติดตามตำแหน่ง ของมือแล้วจึงทำการแยกแยะสถานะของการแสดงท่ามือโดยพิจารณาความเร็วในการเคลื่อนที่ ของมือ และพิจารณาอัตราการเปลี่ยนแปลงของรูปร่างมือเพื่อใช้ในการสกัดคีย์เฟรมของท่ามือ และจากคีย์เฟรมที่สกัดได้จึงพิจารณารูปร่างของมือและสกัดคุณลักษณะสำคัญของมือ ได้แก่ จุดสำคัญของรูปร่าง ค่าฮูโมเมนต์ (Hu Moment) ของรูปร่างมือ ค่าความหนาแน่นของขอบภาพ (Edge density) และตำแหน่งของส่วนภาพมือ เพื่อใช้ในขั้น ตอนของการรู้จำท่ามือ ผลการทดลองพบว่ากรอบงานที่นำเสนอสำหรับตรวจจับและสกัดคุณลักษณะสำคัญของ มือสำหรับระบบรู้จำภาษามือไทยนั้น สามารถทำงานแบบทันกาล ภายใต้สภาวะแวดล้อมที่กำหนด โดยมีความแม่นยำอยู่ที่ 77.78 %

Other Abstract (Other language abstract of ETD)

This thesis proposes framework for hand detection and feature extraction from videos of Thai finger-spelling Sign Language. The system prototype was developed and shows that it works well and efficient enough for real-time applications. The proposed framework consists of 6 steps, skin color segmentation, hand tracking, state determination, key frame extraction, hand feature extraction, and recognition. In skin color segmentation step, we segment skin color from input image to obtain face and hand regions and use face and hand region position for tracking in tracking step. In state determination step, we calculate hand motion from centroids of hand regions. Hand motions are classified into 3 states including Neutral state, Transition state and Sign state. After extracting Sign state, key frames will be extracted by considering shape difference from the previous frames. After getting sign key frame, we then find some salient convex hull points that from the hand shape. Then, we use these points to recognize the hand gestures. The experimental results show that the system is able to detect, track, and extract hand features for recognition in real-time with 77.78% accuracy.

Link to Full Text

Share

COinS