Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)

BCI-integrated game control for action FPS games

Year (A.D.)

2020

Document Type

Thesis

First Advisor

เศรษฐา ปานงาม

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Department (if any)

Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)

Degree Name

วิศวกรรมศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิศวกรรมคอมพิวเตอร์

DOI

10.58837/CHULA.THE.2020.1135

Abstract

เทคโนโลยีการต่อประสานระหว่างสมองกับคอมพิวเตอร์ (Brain Computer Interface: BCI) ที่ใช้สัญญาณ Electroencephalogram (EEG) เป็นเทคโนโลยี BCI ที่เหมาะกับการนำมาใช้ควบคุมเกมที่สุดเพราะความสะดวกและปลอดภัยต่อผู้ใช้ แต่แม้ว่าจะมีการศึกษาประเด็นนี้กันมานานหลายปี การออกแบบเกม BCI ก็ยังไม่สามารถก้าวข้ามจุดอ่อนพื้นฐานของสัญญาณ EEG ได้ ส่งผลให้ตัวเกมที่ออกมาขาดระบบการเล่นที่น่าสนใจเมื่อเทียบกับเกมอื่นในท้องตลาด งานวิจัยชิ้นนี้จึงเสนอระบบควบคุมแบบใหม่ที่นำระบบ BCI ที่ใช้วิธีการจำแนก Steady-State Visually Evoked Potential (SSVEP) ที่ดีที่สุดในปัจจุบันอย่าง Riemannian มารวมกับอุปกรณ์ควบคุมอีก 3 อย่าง ได้แก่ คีย์บอร์ด (Keyboard) เมาส์ (Mouse) และเครื่องตรวจจับตำแหน่งการมอง (Eye Tracker) นอกจากนั้นงานวิจัยชิ้นนี้ยังเสนอเกมแอคชั่นแนวยิงมุมมองบุคคลที่หนึ่ง (Action First-person Shooter: Action FPS) ที่ถูกพัฒนามาให้ทำงานร่วมกับระบบควบคุมดังกล่าวเพื่อสร้างประสบการณ์การเล่นเกมด้วยระบบ BCI ที่ดียิ่งขึ้น โดยตัวเกมจะมี 3 ฟีเจอร์ (Features) สำคัญ ได้แก่ การชะลอเวลา การไฮไลต์ตัวกระตุ้น SSVEP ที่ถูกมองอยู่ และการออกคำสั่ง SSVEP ให้โดยอัตโนมัติเมื่อผู้เล่นไม่สามารถใช้ได้แลกกับการไม่ได้รับของรางวัลบางอย่าง จากผลการทดสอบของผู้ร่วมทดสอบ 10 คนพบว่า ผู้ร่วมทดสอบทุกคนสามารถใช้คำสั่งผ่านเครื่องตรวจจับตำแหน่งการมองได้ดีในช่วงแรก แต่เมื่อเวลาผ่านไปกลับใช้คำสั่งได้ไม่ดีเท่าเดิม ส่วนการใช้คำสั่งผ่าน SSVEP ผลที่ออกมาแตกต่างกันอย่างมากในแต่ละคำสั่ง คำสั่งที่ผู้ร่วมทดสอบใช้สำเร็จด้วยตัวเองมากที่สุดมีโอกาสใช้สำเร็จอยู่ที่ 71% ส่วนคำสั่งที่ผู้ร่วมทดสอบใช้สำเร็จด้วยตัวเองน้อยที่สุดมีโอกาสเพียง 49% เท่านั้น โดยรวมแล้วระบบควบคุมนี้ถือว่ามีความสามารถเพียงพอที่จะนำไปใช้ควบคุมเกมแนว FPS ได้ แต่ยังต้องปรับปรุงเรื่องความคงที่ของประสิทธิภาพของระบบ BCI และทางเลือกเกี่ยวกับการควบคุมด้วยเครื่องตรวจจับตำแหน่งการมอง และถึงแม้ว่าปัญหาเหล่านี้จะส่งผลให้ผู้ร่วมทดสอบไม่ได้รับความสะดวกสบายในการเล่นอยู่บ้าง แต่ผู้ร่วมทดสอบ 90% ก็ยังคงสนุกกับตัวเกมอยู่ เนื่องจากฟีเจอร์ของตัวเกมมีส่วนช่วยให้ผู้ร่วมทดสอบรู้สึกว่ายังสามารถควบคุมเกมได้

Other Abstract (Other language abstract of ETD)

Brain Computer Interface (BCI) that utilizes Electroencephalography (EEG) is the most suitable type of BCI for gaming application since it is easy and safe to use. However, despite years of research, the fundamental issues of EEG remain one of the most prominent problems for BCI game design, resulting in BCI games that look very lacking compared to other games in the market. This paper presents a new hybrid game control that combines a BCI that utilizes a state-of-the-art Riemannian-based classifier for Steady-State Visually Evoked Potential (SSVEP) classification with a mouse, a keyboard and an eye tracker. This paper also presents an action First-Person-Shooting (FPS) game that works together with the control to improve BCI game experience. This game features 3 essential mechanics: slowing down time, highlighting an SSVEP stimulus that is being looked at and activating an SSVEP command automatically if players fail to do so in exchange for not receiving some rewards. From the test result from 10 subjects, we found that all subjects can use eye tracker commands adequately at first, but the performance degraded over time. For SSVEP commands, the results vary greatly. The command that performed best had 71% manual activation rate, while the worst had merely 49%. Overall, the hybrid game control can be used to control FPS games, but the consistency of BCI’s performance needs to be improved and more options regarding the eye tracker control need to be added. Although these issues caused some inconveniences for the subjects, 90% of them still found the game enjoyable since the game features helped them feel more in control.

Share

COinS
 
 

To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.