Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Patient aid notification system based on hand gesture tracking and modified haar-like algorithm
Year (A.D.)
2019
Document Type
Thesis
First Advisor
สุรีย์ พุ่มรินทร์
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
วิศวกรรมศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิศวกรรมไฟฟ้า
DOI
10.58837/CHULA.THE.2019.1240
Abstract
ในปัจจุบันการปฏิสัมพันธ์ระหว่างมนุษย์และคอมพิวเตอร์ (Human-Computer Interaction: HCI) ได้เข้ามามีบทบาทสำคัญอย่างมากในชีวิตประจำวันของเรา โดยหนึ่งในการประยุกต์ใช้ที่สำคัญคือการใช้งานด้านการแพทย์ งานวิจัยชิ้นนี้มุ่งเน้นไปที่การออกแบบระบบที่ช่วยให้ผู้ป่วยที่มีปัญหาด้วยการสื่อสารด้วยเสียงสามารถติดต่อกับผู้ดูแลได้โดยง่ายโดยใช้การแสดงท่าทางมือ ซึ่งได้ใช้อุปกรณ์เป็น Raspberry Pi ซึ่งเป็นอุปกรณ์ขนาดเล็กและราคาถูกเพื่อที่จะสามารถเข้าถึงผู้ใช้งานได้โดยง่าย สำหรับการทำงานของระบบนั้นได้ถูกแบ่งเป็น 2 ส่วนหลัก ในส่วนแรกระบบจะตรวจหาท่ากำมือเพื่อใช้เป็นสัญญาณในการเริ่มระบบแจ้งเตือน ซึ่งได้ใช้กระบวนวิธีแบบฮาร์สำหรับการตรวจจับ ผลการทดลองพบว่ามีความแม่นยำในการตรวจจับสูงโดยมีค่า F1-Score อยู่ที่ 0.991 ส่วนที่สองระบบจะรับภาพที่ได้จากการตรวจจับในตอนแรกเพื่อกำหนดพื้นที่และทำการแบ่งส่วนพื้นผิวมนุษย์ (Human Skin Segmentation) เพื่อลดความซับซ้อนของข้อมูลภาพ ก่อนที่จะส่งภาพไปยังโครงข่ายประสาทแบบคอนโวลูชั่นเพื่อจำแนกท่าทางนิ้วมือ 1 - 5 นิ้ว โดยในงานวิจัยนี้ได้ใช้สถาปัตยกรรมแบบ MobileNetV2 ที่มีความเร็วในการประมวลผลสูงสำหรับการจำแนก และได้ใช้ภาพมือขาว/ดำจำนวน 19,000 ภาพสำหรับการฝึกสอนโมเดล โดยผลลัพธ์จากการจำแนกท่ามือมีความถูกต้องมากกว่า 96% ผลลัพธ์ที่ได้จากการจำแนกท่ามือจะถูกแปลเป็นข้อความตามที่ได้กำหนดไว้และส่งไปยังแอพพลิเคชั่น LINE ของผู้ดูแลต่อไป วิธีการนี้ช่วยให้ผู้ป่วยสามารถสือสารกับผู้ดูแลได้โดยง่ายและยังช่วยลดความตึงเครียดของผู้ดูเลเนื่องจากไม่จำเป็นต้องอยู่กับผู้ป่วยตลอดเวลา
Other Abstract (Other language abstract of ETD)
Human-Computer Interaction (HCI) has an important role in our everyday lives. One of the important applications is using in the medical field. This research aims to create a monitoring system that help patients with speaking problem to communicate with their caregiver with an ease using hand gesture. Raspberry Pi is used as a hardware due to its small size and low price which make it easier to use for the patient. The algorithm contains 2 main phases. The first phase, system detects patient's fist as a signal to turn on a notification system. Haar-like features are applied as a detection process. The result shows high accuracy with F1-Score = 0.991. For the second phase, the image from phase 1 is used to limit region of interest and segment human skin to reduce complexity of the image. The segmented image is used as an input for Convolutional Neural Network to classify hand gesture from 1 to 5 fingers. MobileNetV2 architecture has been chosen for this work due to its low latency. The model is trained using 19,000 binary images of hand gesture as dataset. The experimental results show more than 96% accuracy. The labels from classification are then translated to messages and send to caregiver's LINE application. This method allows patients to communicate with their caregiver easier and reduces the stress of caregiver since it is not necessary for them to stay with the patients all the time.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
รัชธร, ธนภัทร, "ระบบแจ้งเตือนการช่วยเหลือผู้ป่วยบนพื้นฐานการติดตามท่ามือและขั้นตอนวิธีเหมือนฮาร์ที่ถูกดัดแปร" (2019). Chulalongkorn University Theses and Dissertations (Chula ETD). 9616.
https://digital.car.chula.ac.th/chulaetd/9616