Chulalongkorn University Theses and Dissertations (Chula ETD)

การรู้จำการอ่านริมฝีปากโดยการใช้เทคนิคการวิเคราะห์สัญญาณแปรตามเวลาและนิวรอลเน็ตเวิร์ก

Other Title (Parallel Title in Other Language of ETD)

Lipreading recognition using time-varying signal analysis and neural networks

Year (A.D.)

2000

Document Type

Thesis

First Advisor

บุญเสริม กิจศิริกุล

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

วิทยาศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิทยาศาสตร์คอมพิวเตอร์

DOI

10.58837/CHULA.THE.2000.1006

Abstract

งานวิจัยนี้เสนอวิธีการสำหรับการรู้จำการอ่านริมฝีปาก (Lipreading Recognition) โดยใช้ข้อมูลที่เป็นลำดับภาพที่ได้จากภาพเทาของริมฝีปากของผู้พูด โดยในขั้นตอนการรู้จำมีการดึงข้อมูลของแต่ละภาพนำมาเข้าโมเดลโดยการใช้ การเปลี่ยนแปลงของความเข้มของแต่ละจุดเทียบกับเวลาเป็นสัญญาณหลัก และมีการใช้การแปลงแบบฟูเรียร์ (fourier transform) เพื่อแทนสัญญาณ จากนั้นจะดึงค่าสัมประสิทธิ์ฟูเรียร์ (Fourier coefficients) เพื่อใช้เป็นคุณลักษณะ (feature) ให้กับนิวรอลเน็ตเวิร์ก (Neural Networks) สำหรับขั้นตอนการรู้จำ เราทำการทดลองกับฐานข้อมูล 2 ชุด คือชุดตัวเลขและชุดตัวอักษรภาษาอังกฤษ ผลการทดลองแสดงให้เห็นถึงประสิทธิผลของวิธีที่นำเสนอ

Other Abstract (Other language abstract of ETD)

This thesis presents an approach for lipreading recognition based on visual features extracted from gray level image sequences of the speaker's lips. The recognition is done by extracting visual information from each image, and the extracted information is modeled by using the intensity curve of pixels along the time axis as the primary signal. Fourier transform is then applied to this signal. Therefore, the fourier coefficients of a signal curve encode the motion information in a compact manner and are used as features to neural networks for the recognition. We run experiments on two databases of English digits and letters. The results show the effectiveness of our method.

Link to Full Text

Share

COinS