Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
User experience classification and assessment from mobile application user reviews using machine learning
Year (A.D.)
2024
Document Type
Thesis
First Advisor
ทวิตีย์ เสนีวงศ์ ณ อยุธยา
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
วิทยาศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิศวกรรมคอมพิวเตอร์
DOI
10.58837/CHULA.THE.2024.1046
Abstract
การทำความเข้าใจประสบการณ์ของผู้ใช้ เป็นสิ่งสำคัญต่อความสำเร็จและการพัฒนาอย่างต่อเนื่องของโมไบล์แอปพลิเคชัน งานวิจัยนี้นำเสนอวิธีการจำแนกบทวิจารณ์ของผู้ใช้ตามลักษณะของประสบการณ์ผู้ใช้ที่มีต่อโมไบล์แอปพลิเคชัน โดยใช้ทั้งอัลกอริทึมการเรียนรู้ของเครื่อง และการเรียนรู้เชิงลึก บทวิจารณ์ของผู้ใช้ถูกจำแนกตามมิติของประสบการณ์ผู้ใช้ในด้านการปฏิบัติและประสบการณ์ผู้ใช้ในด้านความเพลิดเพลิน ซึ่งประกอบด้วยลักษณะของประสบการณ์ผู้ใช้ทั้งหมด 8 รายการ ตามที่นิยามไว้ในแบบสอบถามประสบการณ์ผู้ใช้แบบสั้น ผลลัพธ์การจำแนกบทวิจารณ์ของผู้ใช้สามารถนำไปใช้ร่วมกับการวิเคราะห์ความรู้สึกจากบทวิจารณ์ เพื่อประเมินคะแนนประสบการณ์ผู้ใช้โดยรวมของโมไบล์แอปพลิเคชันได้อย่างอัตโนมัติ จากการทดลองประเมินประสิทธิภาพของโมเดลพบว่าเบิร์ต มีประสิทธิภาพดีกว่าซัพพอร์ตเวกเตอร์แมชีน แรนดอมฟอเรสต์ และ ลอจิสติกรีเกรสชัน โดยมีค่าความเที่ยง เท่ากับ 80%, ค่าเรียกคืน เท่ากับ 74%, ค่าเอฟวัน เท่ากับ 76%, ค่าความแม่น เท่ากับ 78% และค่าเอยูซี เท่ากับ 0.94 นอกจากนี้ค่าคะแนนประสบการณ์ผู้ใช้โดยรวมของโมไบล์แอปพลิเคชันที่คำนวณได้มีค่าสหสัมพันธ์เชิงบวกในระดับปานกลางถึงสูงเป็น 0.68 กับค่าคะแนนการจัดอันดับบนแอปสโตร์ ผลการศึกษานี้ชี้ให้เห็นถึงศักยภาพของการวิเคราะห์และประเมินคะแนนประสบการณ์ผู้ใช้อย่างอัตโนมัติในการเสริมสร้างคุณภาพของโมไบล์แอปพลิเคชันและความพึงพอใจของผู้ใช้
Other Abstract (Other language abstract of ETD)
Understanding user experience (UX) is critical to the success and continuous improvement of mobile applications. This research presents a method for classifying user experience dimensions from mobile application user reviews using both machine learning and deep learning algorithms. User reviews are classified according to the pragmatic and hedonic quality dimensions, comprising eight UX items, defined by the short version of the User Experience Questionnaire (UEQ-S). The classification results can also be combined with sentiment analysis on user reviews for automated assessment of overall UX scores of the applications. In an experiment, the performance evaluation of the classification models showed that BERT outperformed Support Vector Machine, Random Forest, and Logistic Regression, having the Precision of 80%, Recall of 74%, F1 of 76%, Accuracy of 78%, and AUC of 0.94. In addition, the calculated overall UX scores of mobile applications had a moderate to strong positive correlation of 0.68 with their star ratings on app stores. The results of this study highlight the potential of automated UX analysis and assessment in enhancing mobile application quality and user satisfaction.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
รามจุล, จิราพร, "การจำแนกและการประเมินประสบการณ์ผู้ใช้จากบทวิจารณ์ของผู้ใช้โมไบล์แอปพลิเคชันโดยใช้การเรียนรู้ของเครื่อง" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 74013.
https://digital.car.chula.ac.th/chulaetd/74013