Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การตรวจจับความงุนงงจากการแสดงออกบนใบหน้าโดยใช้โครงข่ายประสาทเทียมเชิงลึก
Year (A.D.)
2020
Document Type
Thesis
First Advisor
Thanarat Chalidabhongse
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
Master of Science
Degree Level
Master's Degree
Degree Discipline
Computer Science
DOI
10.58837/CHULA.THE.2020.138
Abstract
Confusion is the most frequently observed emotion in daily life and can greatly affect the effectiveness and efficiency of communication. Detecting the confusion from learners and resolving timely is critical for achieving successful teaching in education. Most Facial Expression Recognition (FER) research works focus only on detecting six basic emotions: happiness, sadness, anger, fear, disgust, and surprise. Even though the confusion detection problem gains more attention from researchers recently, analysis of both spatial and temporal information with sufficient data is still short. In this study, we present a spatial-temporal network for confusion detection on video level which was trained on BAUM-1 database, as far as we know, this is the largest public video dataset which confusion is labeled. The model includes ResNet-18 Convolutional Neural Network (CNN), and Long-Short Term Memory (LSTM) recurrent neural network (RNN). By cascading these two deep learning structures, our method yields 73% accuracy which outperforms the baseline LSTM network that yields 67% on the same BAUM-1s dataset. We also test our proposed method with our confusion video dataset which was collected by recording 15 participants under uncontrolled environment. The model was able to predict 1 instance of 30 consecutive facial images within 0.04 seconds and got 66% of accuracy.
Other Abstract (Other language abstract of ETD)
ความงุนงงเป็นอารมณ์ซึ่งถูกสังเกตได้บ่อยที่สุดในชีวิตประจำวัน และสามารถส่งผลอย่างมากต่อประสิทธิภาพและประสิทธิผลของการสื่อสารโดยเฉพาะในการเรียนการสอน การตรวจจับความงุนงงจากผู้เรียนและแก้ไขได้อย่างทันเวลานั้นมีความสำคัญต่อความสำเร็จในการสอนมาก งานวิจัยเกี่ยวกับการรับรู้จากการแสดงออกทางสีหน้าส่วนใหญ่เน้นไปที่การตรวจจับเฉพาะหกอารมณ์พื้นฐานได้แก่ มีความสุข เศร้า โกรธ กลัว รังเกียจ ประหลาดใจ ถึงแม้เมื่อเร็วๆนี้โจทย์การตรวจจับความงุนงงจะได้รับความสนใจมากขึ้นจากนักวิจัยแล้วก็ตาม แต่การวิเคราะห์ทั้งข้อมูลเชิงพื้นที่และข้อมูลเชิงเวลาจากชุดข้อมูลที่มีปริมาณเพียงพอนั้นยังคงขาดแคลนอยู่ ในงานวิจัยนี้เรานำเสนอโครงข่ายเชิงพื้นที่และเวลาสำหรับตรวจจับความงุนงงจากวีดิทัศน์โดยเรียนรู้จากชุดข้อมูล BAUM-1 ซึ่งเป็นชุดข้อมูลวีดิทัศน์สาธารณะใหญ่ที่สุดเท่าที่เราทราบว่ามีการระบุความงุนงง โดยโครงข่ายนั้นประกอบด้วย ResNet-18 Convolutional Neural Network (CNN) และ Long-Short Term Memory (LSTM) recurrent neural network (RNN) จากการนำโครงข่ายประสาทเทียมเชิงลึกทั้งสองนี้มาเรียงต่อกัน ทำให้ได้ผลลัพธ์ที่แม่นยำถึง 73% บนชุดข้อมูล BAUM-1s ซึ่งมากกว่าแบบจำลองสำหรับเปรียบเทียบซึ่งใช้โครงสร้าง LSTM ที่ 67% และเราได้ทดสอบแบบจำลองที่นำเสนอกับชุดข้อมูลวีดิทัศน์ความงุนงงที่รวบรวมจากการบันทึกภาพใบหน้าในระหว่างรับชมวีดิทัศน์ที่น่างุนงงของผู้เข้าร่วมการทดลองจำนวน 15 คนในสภาพแวดล้อมที่ไม่มีการควบคุม โดยแบบจำลองสามารถทำนาย 1 ตัวอย่างซึ่งประกอบด้วยรูปภาพใบหน้าที่ต่อเนื่องกันจำนวน 30 รูปได้ภายในเวลา 0.04 วินาที และได้ความแม่นยำที่ 66%
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Vanichkul, Nun, "Confusion Detection from Facial Expression using Deep Neural Network" (2020). Chulalongkorn University Theses and Dissertations (Chula ETD). 159.
https://digital.car.chula.ac.th/chulaetd/159