Chulalongkorn University Theses and Dissertations (Chula ETD)

FACIAL EXPRESSION RECOGNITION FOR THAI SIGN LANGUAGE IMAGE

Other Title (Parallel Title in Other Language of ETD)

การรู้จำการแสดงออกทางสีหน้าสำหรับภาพภาษามือไทย

Year (A.D.)

2015

Document Type

Thesis

First Advisor

Supavadee Aramvith

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

Master of Engineering

Degree Level

Master's Degree

Degree Discipline

Electrical Engineering

DOI

10.58837/CHULA.THE.2015.1457

Abstract

This thesis presents an algorithm for facial expression recognition to help the interpretation of the meaning of Thai sign language image by adding sentimental information. Facial expressions are the facial changes in response to the signer’s internal emotional states. Some facial changes are similar. This similarity may cause the reduction in the facial expression recognition rate. We thus propose facial expression recognition framework in this thesis. The framework consists of the three components: face detection, facial features extraction and facial expression recognition. The face region is first automatically detected from input images by using Viola-Jones algorithm. The face components such as eyes and mouth are then extracted and normalized. Then, these features are combined to form feature vectors that will be used in the recognition. In the recognition step, K-Nearest Neighbors (KNN) and Support Vector Machine (SVM) are used to classify the facial expressions. In our algorithm, there are three datasets: positive, negative and neutral. For the dataset, we select the images that have the dissimilar facial changes as the input images. Positive dataset based on the positive expression that is identified by the facial changes: raising of the eyebrows and pulling of the mouth corner. For negative dataset, lowering of the eyebrows and puckering of the mouth are chosen to identify negative expression. For neutral dataset, expressionless facial changes are selected as the neutral expression. In this paper, we compare the classification accuracy by recognizing the single facial change and the combination of the facial changes for facial expression recognition. The experimental results show that the classification accuracy of the mouth is better than that of other parts of the face.

Other Abstract (Other language abstract of ETD)

งานวิทยานิพนธ์นี้แสดงขั้นตอนวิธีสำหรับการรู้จำการแสดงออกทางสีหน้า ที่ช่วยในการตีความหมายภาพภาษามือไทยโดยเพิ่มข้อมูลการแสดงอารมณ์เข้าไปด้วย ซึ่งการแสดงออกทางสีหน้านั้นสามารถแสดงให้เห็นถึงสภาพตอบสนองทางอารมณ์ภายในซึ่งบางสีหน้าที่เปลี่ยนไปอาจจะมีความคล้ายคลึงกัน โดยความคล้ายคลึงนั้นสามารถลดอัตราการรู้จำการแสดงออกทางสีหน้าได้ ดังนั้นขอบเขตของวิทยานิพนธ์นี้ คือ เสนอวิธีการรู้จำการแสดงออกทางสีหน้า ซึ่งประกอบไปด้วยสามขั้นตอน คือ การตรวจจับใบหน้า การแยกคุณลักษณะของใบหน้าและการรู้จำการแสดงออกทางสีหน้า บริเวณใบหน้าจะถูกตรวจจับโดยอัตโนมัติจากข้อมูลภาพขาเข้าโดยใช้ขั้นตอนวิธีไวโอลาร์-โจน์ ส่วนของใบหน้าจะถูกแบ่งออกเป็น ตาและปากโดยใช้วิธีการบรรทัดฐาน รวมกับคุณลักษณะจากรูปแบบเวกเตอร์ และขั้นตอนสุดท้าย คือ การรู้จำจะใช้ขั้นตอนวิธีการเพื่อนบ้านที่ใกล้ที่สุด และวิธีซัพพอร์ตเวกเตอร์แมชชีนมาใช้ในการจัดประเภทของการแสดงออกทางสีหน้า ในขั้นตอนวิธีของจะแบ่งชุดข้อมูลภาพออกเป็นสามกลุ่ม ได้แก่ ชุดข้อมูลภาพเชิงบวก ชุดข้อมูลภาพเชิงลบ และชุดข้อมูลภาพทั่วไป โดยจะเลือกภาพที่มีการเปลี่ยนแปลงการแสดงออกทางสีหน้าที่ไม่มีความคล้ายคลึงกันเป็นภาพขาเข้า โดยชุดข้อมูลภาพเชิงบวกภายใต้การแสดงออกเชิงบวก โดยจะเลือกภาพจากการขยับคิ้วขึ้นและการขยับมุมปากบนใบหน้า สำหรับชุดข้อมูลภาพเชิงลบ จะเลือกภาพจากการขยับคิ้วลงและการจีบปาก และชุดข้อมูลภาพทั่วไป จะเลือกภาพที่มีการแสดงออกทางใบหน้าที่เป็นปกติหรือเป็นธรรมชาติ โดยในงานวิทยานิพนธ์นี้ ได้เปรียบเทียบความถูกต้องของการรู้จำใบหน้าเดียว และการรู้จำใบหน้าที่รวมการแสดงออกทางสีหน้าที่เปลี่ยนไป ซึ่งผลการทดลองจะแสดงให้เห็นความถูกต้องของการจัดประเภทของปากจะมีค่าความถูกต้องที่มากกว่าส่วนอื่นๆ บนใบหน้า

Link to Full Text

Share

COinS