Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การรู้จำอารมณ์ผ่านการผสมผสานสัญญาณขั้นสูงและเครือข่ายโคลโมโกรอฟ-อาร์โนลด์
Year (A.D.)
2024
Document Type
Thesis
First Advisor
Thap Panitanarak
Faculty/College
Faculty of Science (คณะวิทยาศาสตร์)
Department (if any)
Department of Mathematics and Computer Science (ภาควิชาคณิตศาสตร์และวิทยาการคอมพิวเตอร์)
Degree Name
Master of Science
Degree Level
Master's Degree
Degree Discipline
Computer Science and Information Technology
DOI
10.58837/CHULA.THE.2024.884
Abstract
Emotion recognition is an important aspect of affective computing that has many applications including human computer interaction and mental health care. In this thesis, Kolmogorov-Arnold Networks (KANs) are explored for the purpose of multimodal emotion recognition from EEG (Electroencephalogram) and eye movement signals of the SEED-V dataset. Both modalities were represented by Differential Entropy (DE) features and a two-branch KAN architecture was used which composed of seven KAN variants, namely, Efficient KAN, Jacobi KAN, Hermite KAN, Fourier KAN, Chebyshev KAN, RBF KAN, and Wavelet KAN (with different wavelet types including DOG, Morlet, Mexican hat, and Meyer). The strengths of two modalities were combined through late fusion for the final classification. The results show that Wavelet KANs outperformed other variants and Wavelet KAN (DOG) and Wavelet KAN (Morlet) achieved accuracies higher than 96%. The KAN models effectively identified the localized and transient feautres in EEG and eye movement signals, which was also reflected in the smooth training convergence and nearly diagonal confusion matrices. Poor performance was observed with Fourier KAN while polynomial-based and RBF KANs gave fairly good results. Efficient KAN had good accuracy but had some problems with validation instability. This work also shows that flexible non-linear, multi scale models are needed for modeling non-stationary physiological signals. The findings also indicate that future work should consider hybrid KAN architectures and more sophisticated fusion strategies to improve the robustness of emotion recognition systems. The proposed framework emphasizes the potential of wavelet-based KANs as a foundation for more adaptive, accurate affective computing solutions.
Other Abstract (Other language abstract of ETD)
การจดจำอารมณ์เป็นองค์ประกอบสำคัญของการคำนวณเชิงอารมณ์ (affective computing) ซึ่งมีการประยุกต์ใช้ในหลายด้าน เช่น ปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์และการดูแลสุขภาพจิต ในงานวิจัยนี้ เราได้ศึกษา เครือข่ายโคลโมโกรอฟ-อาร์โนลด์ (KANs) สำหรับการจดจำอารมณ์แบบหลายรู ปแบบ (multimodal) จากสัญญาณ คลื่นสมอง (EEG) และการเคลื่อนไหวดวงตาในชุดข้อมูล SEED-V โดยทั้งสองรูปแบบถูกแทนคุณลักษณะด้วย เอนโทรปีเชิงอนุพันธ์ (Differential Entropy: DE) และใช้สถาปัตยกรรม KAN สองสาขา ซึ่งประกอบด้วย KAN 7 แบบ ได้แก่ Efficient KAN, Jacobi KAN, Hermite KAN, Fourier KAN, Chebyshev KAN, RBF KAN และ Wavelet KAN (ที่มีเวฟเล็ตหลายประ เภท เช่น DOG, Morlet, Mexican hat และ Meyer) โดยรวมจุดแข็งของทั้งสองรูปแบบด้วยการรวมข้อมูล แบบปลายทาง (late fusion) เพื่อการจำแนกชั้นผลลัพธ์ ผลการทดลองแสดงว่า Wavelet KANs ทำได้ดีกว่าแบบอื่น โดย Wavelet KAN (DOG) และ Wavelet KAN (Morlet) ได้ความแม่นยำสูงกว่า 96% โมเดล KAN สามารถระบุคุณลักษณะเฉพาะที่และชั่วคราวในสัญญาณ EEG และการเคลื่อนไหวดวงตา ได้อย่างมีประสิทธิภาพ ซึ่งสะท้อนให้เห็นจากการลู่เข้าของการฝึกที่ราบรื่นและเมทริกซ์ความสับสน (confusion matrix) ที่เกือบจะเป็นแนวทแยง ในทางตรงกันข้าม Fourier KAN ให้ผลลัพธ์ต่ำ ในขณะที KAN แบบพหุนาม (polynomial-based) และ RBF KAN ให้ผลค่อนข้างดี ส่วน Efficient KAN มีความแ ม่นยำสูงแต่ประสบปัญหาเรื่องความไม่เสถียรในการตรวจสอบ (validation instability) งานวิจัยนี้ยังชี้ให้เ ห็นว่า จำเป็นต้องใช้โมเดลแบบไม่เชิงเส้นและหลายระดับ (multi-scale) ที่มีความยืดหยุ่น เพื่อจำลองสัญญ าณทางสรีรวิทยาที่ไม่คงที่ (non-stationary) นอกจากนี้ ผลการศึกษาชี้ว่าในอนาคตควรพิจารณา สถาปัตย กรรม KAN แบบผสมผสาน (hybrid) และกลยุทธ์การรวมข้อมูล (fusion) ที่ซับซ้อนยิ่งขึ้น เพื่อเพิ่มความแข็ งแกร่งของระบบจดจำอารมณ์ กรอบงานที่เสนอเน้น ศักยภาพของ Wavelet-based KANs ในฐานะพื้นฐาน สำหรับโซลูชันการคำนวณเชิงอารมณ์ที่ปรับตัวได้และแม่นยำยิ่งขึ้น
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Thant, Aung Myo, "Emotion recognition through advanced signal fusion and kolmogorov-arnold networks" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 74722.
https://digital.car.chula.ac.th/chulaetd/74722