Chulalongkorn University Theses and Dissertations (Chula ETD)

การตรวจหาและติดตามใบหน้าและมือมนุษย์สำหรับวีดิทัศน์ภาษามือ

Other Title (Parallel Title in Other Language of ETD)

Human face and hands detection and tracking for sign language

Year (A.D.)

2004

Document Type

Thesis

First Advisor

สุภาวดี อร่ามวิทย์

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

วิศวกรรมศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิศวกรรมไฟฟ้า

DOI

10.58837/CHULA.THE.2004.1422

Abstract

วิทยานิพนธ์นี้เสนอการตรวจหาและติดตามใบหน้าและมือมนุษย์สำหรับภาษามือ ขั้นแรกทำการ คัดเลือกปริภูมิสีที่มีความเหมาะสมจาก 3 ปริภูมิสีย่อย คือ rg, HS และ CbCr โดยใช้วิธีของแบบจำลอง ชนิดไม่มีตัวแปร พบว่าปริภูมิสีย่อย CbCr มีความเหมาะสมมากที่สุดต่อการแยกสีผิวมนุษย์ โครงสร้าง ระบบแบ่งออกเป็น 2 ส่วน คือ ส่วนเริ่มต้นและส่วนการติดตาม ส่วนเริ่มต้นจะใช้คุณลักษณะสีผิวในการหา ตำแหน่งใบหน้าและมือของผู้แปลภาษามือ และเสนอให้ใช้แบบจำลองวงรีบนปริภูมิสีย่อย CbCr ในการ แยกส่วนสีผิวเพื่อลดความซับซ้อนในการคำนวณ เมื่อแยกส่วนสีผิวออกมาแล้วจะใช้คุณลักษณะของขนาด และองค์ประกอบสำคัญบนใบหน้ามาทำการกำหนดว่าบล็อบนั้นเป็นใบหน้าหรือมือ และจากสมมติฐาน ที่ว่าใบหน้ามีการเคลื่อนไหวน้อยกว่ามือมากในส่วนการติดตามการประมาณการเคลื่อนที่จะถูกใช้สำหรับบล็อบบริเวณมือเพียงอย่างเดียวเท่านั้น ซึ่งอนุพันธ์อันดับหนึ่งและสองถูกนำมาคำนวณเพื่อทำนาย ตำแหน่งของมือ สังเกตพบว่าค่าผิดพลาดจะเกิดกรณีที่มือมีการเปลี่ยนตำแหน่งอย่างทันทีทันใดระหว่าง 2 เฟรมที่อยู่ติดกัน เพื่อเพิ่มประสิทธิภาพของการติดตามจึงเสนอวิธีชดเชยความผิดพลาดจากตำแหน่งของ การติดตาม โดยใช้การปรับตัวของขอบเขตการค้นหาและทำการคำนวณซ้ำอีกครั้ง ผลที่ได้แสดงให้เห็นว่า ขั้นตอนวิธีที่นำเสนอสามารถติดตามมือได้อย่างแม่นยำ โดยใช้เวลาในการคำนวณเพิ่มขึ้นอีกเล็กน้อย เท่านั้น

Other Abstract (Other language abstract of ETD)

This thesis proposed human face and hands detection and tracking for sign language. Firstly we performed preliminary evaluation on three color subspaces (rg, HS and CbCr) using non-parametric model approach, and found that CbCr color subspace is the most suitable one for human skin color segmentation. The system is divided into two stages; the initial and tracking stages. เท initial stage, we use skin feature to localize face and hands of signer. The ellipse model on CbCr color subspace is used to detect skin color such that the complexity of the detection algorithm could be reduced. After the skin regions have been segmented, face and hand blobs are defined by using size and facial feature with the assumption that the movement of face is less than that of hands in this signing scenario. In tracking stage, the motion estimation is applied only hand blobs, in which first and second derivative are used to compute the position of prediction of hands. We observe from the simulations that there are errors in the value of tracking position between two consecutive frames in which location has changed abruptly. To improve the tracking performance, the proposed algorithm compensates the error of tracking position by using adaptive search area to re-compute the hand blobs. Simulation results indicate our proposed algorithm can track face and hand with higher precision with negligible computational complexity increase.

Link to Full Text

Share

COinS