Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)

ความเเม่นยำในการวินิจฉัยภาวะไซนัสอักเสบเรื้อรังชนิดมีก้อนเชื้อราในไซนัสบริเวณโหนกเเก้ม จากเอ็กซเรย์คอมพิวเตอร์ของโพรงไซนัส ด้วยโมเดลเรียนรู้เชิงลึก

Year (A.D.)

2023

Document Type

Thesis

First Advisor

Kornkiat Snidvongs

Faculty/College

Faculty of Medicine (คณะแพทยศาสตร์)

Degree Name

Master of Science

Degree Level

Master's Degree

Degree Discipline

Clinical Sciences

DOI

10.58837/CHULA.THE.2023.1473

Abstract

Purpose: This study aimed to assess the accuracy of deep learning models for the diagnosis of maxillary fungal ball rhinosinusitis (MFB) in paranasal sinus computed tomography and to compare the accuracy, sensitivity, specificity, precision, F1-score with thoses of rhinologists. Methods: We collected all adult chronic rhinosinusitis (CRS) patients who underwent paranasal sinus cone-beam computed tomography (CT) in the Department of Otolaryngology, King Chulalongkorn Memorial Hospital (KCMH), Thailand between 2014 and 2021. Cone-beam CT images were constructed and labeled to form the deep learning models from overall dataset consisted of 254 maxillary fungal ball (MFB) cases and 1285 other CRS subtypes (non- MFB) cases, divided into 70% for training models and 30% for testing both models and 2 rhinologists. We proposed the AI-based classifier in 2 stages, a whole image analysis, instance segmentation analysis using the YOLOv8-Seg to perform detailed pixel-wise segmentation of the image. A powerful setup comprising an Intel Core i5-11400 CPU and dual NVIDIA GeForce GTX 2080 Ti GPU X 2 was employed to train and test the model. PyTorch 1.6 with Python 3.7 was utilized for processing. The ROC curve and the area under ROC curve and statistical evaluations were then conducted to compare the models and rhinologists using accuracy, sensitivity (also referred to as recall), specificity, precision, and F1-score. Kappa agreement was calculated for inter-rater reliability and the more accurate rhinologist was selected to compare the performance with the models. Results: From total 1539 CRS patients, the MFB group consisted of older individuals and had a higher proportion of females. 70% dataset comprising 484 MFB and 2402 non-MFB images were for training the models. During internal validation, the AI whole image analysis showed lower precision (74.4%), recall (76.8%), and F1-score (74.9%) compared to higher precision (84.2%), recall (83.5%), and F1-score (82.6%) in instance segmentation. The AI exhibited AROC curve of 0.86 for whole image analysis and 0.88 for instance segmentation. In the 30% testing dataset, comprising 381 non-MFB and 78 MFB patient whole images, the AI showed high sensitivity (93.6%) but lower specificity (77.7%), accuracy (85.7%), precision (80.8%), and F1-score (86.7%). The instance segmentation in the testing dataset yielded 95% accuracy, 97.11% specificity, 84.62% sensitivity, 85.71% precision, and 85.16% F1-score. Kappa agreement of two rhinologists were 0.898 and a 95% CI of 0.846 - 0.950., the higher performance rhinologists demonstrating 84.62% sensitivity, 95.28% specificity, 93.46% accuracy, 78.57% precision, and 81.48% F1-score Conclusion: Utilizing 2D cone-beam paranasal sinus CT imaging with enhanced localization and constructive instance segmentation in deep learning models can be the practical promising deep learning system in assisting physicians especially in the distant, work-loaded hospital decreasing the misdiagnosis and early detection of maxillary fungal ball apart from other usual CRS. The function of whole image analysis with its high sensitivity and accuracy, could help in screening purpose. While instance segmentation with great specificity and accuracy, demonstrate excellent performance in diagnosing MFB comparable to the trained rhinologist.

Other Abstract (Other language abstract of ETD)

วัตถุประสงค์ การศึกษานี้มุ่งเน้นการประเมินความแม่นยำของโมเดลการเรียนรู้ลึกในการวินิจฉัยโรคไซนัสอักเสบเรื้อรังชนิดมีก้อนเชื้อราในไซนัสบริเวณโหนกแก้มจากการทำเอ็กซเรย์คอมพิวเตอร์บริเวณจมูกและไซนัส และเปรียบเทียบความแม่นยำ, ความไว, ความพิเศษ, ความแม่นยำที่สูง, และ F1-score กับการวินิจฉัยของแพทย์เฉพาะทางด้านจมูกและไซนัส วิธีการ เราเก็บข้อมูลจากผู้ป่วยไซนัสอักเสบเรื้อรัง ที่เข้ารับการทำเอ็กซเรย์คอมพิวเตอร์บริเวณจมูกและไซนัส ด้วยเครื่อง CT cone-beam ที่ศุนย์เฉพาะทางการส่องกล้องไซนัสที่โรงพยาบาลจุฬาลงกรณ์ ประเทศไทย ระหว่างปี ค.ศ.2014-2021 โดยนำภาพ CT มาเลเบลภาพเพื่อสร้างโมเดลการเรียนรู้ลึก ชุดข้อมูลประกอบด้วยกลุ่มมีก้อนเชื้อรา(MFB) จำนวน 254 ราย และ ไซนัสอักเสบชนิดอื่น (non-MFB) จำนวน 1285 ราย ซึ่งถูกแบ่งออกเป็นส่วน 70% สำหรับการฝึกสอนโมเดลการเรียนรู้ลึกและ 30% สำหรับการทดสอบโมเดลและแพทย์เฉพาะทางจมูกไซนัส โดย โมเดลใช้ 2 ขั้นตอน คือการวิเคราะห์ภาพโดยรวม และการใช้เทคนิคเเบ่งกลุ่ม (constructive instance segmentation/CIS) ด้วยโปรแกรม YOLOv8-Seg เพื่อทำการแยกแยะแบบรายพิกเซล เพื่อแยกแยะและประมวลผล ใช้ระบบที่มีประสิทธิภาพ ประกอบด้วย Intel Core i5-11400 CPU และ NVIDIA GeForce GTX 2080 Ti GPU สองตัว สำหรับการฝึกและทดสอบโมเดล การประมวลภาพและการเรียนรู้ลึก ใช้ PyTorch 1.6 กับ Python 3.7 มีการใช้ ROC curve, พื้นที่ใต้ ROC curve ประเมินความแม่นยำ, ความไว , ความจำเพาะ, ความเที่ยงตรง, และ F1-score อีกทั้งค่าความเข้ากันได้ Kappa agreement เพื่อตรวจสอบความเชื่อถือได้ระหว่างแพทย์เฉพาะทาง เเละใช้ผู้มีความแม่นยำมากกว่าเพื่อเปรียบเทียบประสิทธิภาพกับโมเดล ผลการวิจัย จากผู้ป่วย CRS ทั้งหมด 1539 ราย กลุ่ม MFB ประกอบด้วยบุคคลที่มีอายุมากขึ้นและมีส่วนสูงของผู้หญิงสูงกว่า ชุดข้อมูล 70% ประกอบด้วยภาพ MFB 484 รูปและภาพ non-MFB 2402 รูป ใช้สำหรับการฝึกโมเดลการเรียนรู้ลึก ระหว่างการตรวจสอบภายใน การวิเคราะห์ภาพทั้งหมดของ AI แสดงความแม่นยำที่ต่ำ (74.4%) ความรู้สึก (76.8%) และ F1-score (74.9%) ซึ่งค่าที่ได้ต่ำกว่า วิธีการแบ่งกลุ่มเพื่อวิเคราะห์ ที่มีความแม่นยำที่สูง (84.2%) ความรู้สึก (83.5%) และ F1-score (82.6%) ในการใช้เทคนิคการแบ่งกลุ่มเพื่อวิเคราะห์ AI แสดงพื้นที่ใต้เส้นโค้ง ROC ของ 0.86 สำหรับการวิเคราะห์ภาพทั้งหมด และ 0.88 สำหรับในชุดข้อมูลการทดสอบ 30% ประกอบด้วยภาพทั้งหมดของผู้ป่วย non-MFB 381 รูป และ MFB 78 รูป AI แสดงความไวสูง (93.6%) แต่ความพิเศษต่ำ (77.7%) ความแม่นยำ (85.7%) ความแม่นยำ (80.8%) และ F1-score (86.7%) การแบ่งกลุ่มเพื่อวิเคราะห์ในชุดข้อมูลการทดสอบนี้ ได้ให้ความแม่นยำ 95%, ความพิเศษ 97.11%, ความไว 84.62%, ความแม่นยำ 85.71% และ F1-score 85.16% ความสัมพันธ์ Kappa ของ 2 คน คือ 0.898 และ CI 95% คือ 0.846 - 0.950 ส่วนเเพทย์เฉพาะทางที่สถิติสูงกว่า มีค่าความไว 84.62% ความพิเศษ 95.28% ความแม่นยำ 93.46% ความแม่นยำ 78.57% และ F1-score 81.48% สรุปผลการวิจัย การใช้ระบบการเรียนรู้เชิงลึกที่ใช้ ภาพ CT จาก 2D cone-beam โดยมีการพัฒนาการระบุตำแหน่งและการแบ่งกลุ่ม (instance segmentation) สามารถช่วยเหลือแพทย์โดยเฉพาะในโรงพยาบาลที่ห่างไกลและมีภาระงานมาก โดยลดการวินิจฉัยผิดพลาดและการตรวจหาไซนัสอักเสบจากก้อนเชื้อราในไซนัสโพรง เนื่องจากระบบใช้ภาพรวม มีความไวและความแม่นยำสูง สามารถใช้คัดกรองผู้ป่วย ส่วนการแบ่งกลุ่ม (CIS) มีความแม่นยำและจำเพาะสูง ประสิทธิภาพในการวินิจฉัย เทียบเท่ากับแพทย์เฉพาะทางด้านจมูกและไซนัส

Download

Share

COinS
 
 

To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.