Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การเรียนรู้เชิงลึกแบบกึ่งมีผู้สอนด้วยมาลิกเน็ตสำหรับการแบ่งส่วนตัวอย่างรอยโรคที่กระดูกโดยใช้ภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์
Year (A.D.)
2019
Document Type
Thesis
First Advisor
Ekapol Chuangsuwanich
Second Advisor
Yothin Rakvongthai
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
Master of Engineering
Degree Level
Master's Degree
Degree Discipline
Computer Engineering
DOI
10.58837/CHULA.THE.2019.159
Abstract
One challenge in applying deep learning to medical imaging is the lack of labeled data. Although large amounts of clinical data are available, acquiring labeled image data is difficult, especially for bone scintigraphy (i.e., 2D bone imaging) images. Bone scintigraphy images are generally noisy, and ground-truth or gold standard information from surgical or pathological reports may not be available. We propose a novel neural network model that can segment abnormal hotspots and classify bone cancer metastases in the chest area in a semi-supervised manner. Our proposed model, called MaligNet, is an instance segmentation model that incorporates ladder networks to harness both labeled and unlabeled data. Unlike deep learning segmentation models that classify each instance independently, MaligNet utilizes global information via an additional connection from the core network. To evaluate the performance of our model, we created a dataset for bone lesion instance segmentation using labeled and unlabeled example data from 544 and 9,280 patients, respectively. Our proposed model achieved mean precision, mean sensitivity, and mean F1-score of 0.852, 0.856, and 0.848, respectively, and outperformed the baseline mask region-based convolutional neural network (Mask R-CNN) by 3.92%. Further analysis showed that incorporating global information also helps the model classify specific instances that require information from other regions. On the metastasis classification task, our model achieves a sensitivity of 0.657 and a specificity of 0.857, demonstrating its great potential for automated diagnosis using bone scintigraphy in clinical practice.
Other Abstract (Other language abstract of ETD)
หนึ่งในความท้าทายของการประยุกต์ใช้การเรียนรู้เชิงลึกกับภาพถ่ายทางการแพทย์คือการขาดข้อมูลที่มีผลเฉลยที่ชัดเจน แม้ว่าจะมีข้อมูลทางการแพทย์จำนวนมากก็ตามแต่ก็เป็นเรื่องที่ยากที่จะระบุผลเฉลยของข้อมูลนั้นโดยเฉพาะถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์ซึ่งเป็นภาพถ่ายสแกนกระดูกแบบ 2 มิติ โดยปกติภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์จะมีสิ่งรบกวนและการบดบัง ผลเฉลยของข้อมูลและผลเฉลยที่ใช้อ้างอิง (gold standard) มักจะได้มาจากการผ่าตัดหรือการวินิจฉัยทางการแพทย์ซึ่งไม่สามารถหาได้จากการวิเคราะห์เบื้องต้น ผมจึงเสนอโมเดลโครงข่ายประสาทเทียมแบบใหม่ที่สามารถแบ่งส่วนบริเวณจุดสว่างที่ผิดปกติและแบ่งประเภทรอยโรคที่บริเวณหน้าอกด้วยวิธีการเรียนรู้แบบกึ่งมีผู้สอน โมเดลของผมเรียกว่า "มาลิกเน็ต" เป็นโมเดลสำหรับแบ่งส่วนตัวอย่างที่ผสมผสานโมเดลขั้นบันไดจัดการกับข้อมูลที่มีผลเฉลยและไม่มีผลเฉลย แตกต่างกับโมเดลการเรียนรู้เชิงลึกสำหรับแบ่งส่วนประเภทอื่นๆที่จะแบ่งประเภทแต่ละตัวอย่างอย่างอิสระ มาลิกเน็ตใช้ประโยชน์จากข้อมูลองค์รวมผ่านทางการเชื่อมต่อเพิ่มเติมจากแกนนำของโครงข่ายประสาทเทียม ในการประเมินประสิทธิภาพของโมเดล ผมสร้างชุดข้อมูลสำหรับแบ่งส่วนรอยโรคบนกระดูกโดยใช้ข้อมูลที่มีผลเฉลยและไม่มีผลเฉลยของคนไข้จำนวน 544 และ 9,280 คนตามลำดับ โมเดลที่ผมนำเสนอมีค่าเฉลี่ยพรีซิชัน (precision), ค่าเฉลี่ยรีคอล (recall), และค่าเฉลี่ยเอฟวัน (f1-score) เฉลี่ยอยู่ที่ 0.852, 0.856, และ 0.848 ตามลำดับ มีประสิทธิภาพเหนือกว่าโมเดลพื้นฐาน (Mask R-CNN) 3.92% โดยสัมพัทธ์ ผลการวิเคราะห์แสดงให้เห็นว่าการนำข้อมูลโดยรวมมาใช้นั้นช่วยให้โมเดลสามารถแบ่งประเภทตัวอย่างรอยโรคที่มีความเฉพาะเจาะจงที่ซึ่งต้องการข้อมูลจากบริเวณอื่นๆ สำหรับโจทย์การแบ่งประเภทการแพร่กระจายของมะเร็งกระดูก โมเดลบรรลุค่ารีคอล (recall) ที่ 0.657 และ ค่าเฉพาะเจาะจง (specificity) ที่ 0.857 แสดงให้เห็นถึงศักยภาพที่ยอดเยี่ยมสำหรับการตรวจวินิจฉัยโดยใช้ภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์ในทางปฏิบัติทางคลินิก
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Apiparakoon, Terapap, "Semi-supervised deep learning with malignet for bone lesion instance segmentation using bone scintigraphy" (2019). Chulalongkorn University Theses and Dissertations (Chula ETD). 8535.
https://digital.car.chula.ac.th/chulaetd/8535