Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การหาทอพอโลยีเหมาะที่สุดสำหรับซีเอ็นเอ็นโดยใช้วิวัฒนาการทางประสาท
Year (A.D.)
2021
Document Type
Thesis
First Advisor
Wanchalerm Pora
Second Advisor
Iba, Hitoshi
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
Doctor of Engineering
Degree Level
Doctoral Degree
Degree Discipline
Electrical Engineering
DOI
10.58837/CHULA.THE.2021.130
Abstract
In the recent years, the architecture of the convolutional neural networks has become much deeper and more complex to improve their performance. Consequently, they require large datasets and a considerable amount of computational resources. However, in some applications such as medical imaging analysis, datasets are scarce and difficult to collect. In these cases, deep networks cannot be trained enough, which makes them susceptible to overfitting. Moreover, not all institutions have access to abundant computational resources. Designing a small network that performs as well as a deep network requires expertise and a great effort. Neuroevolution is therefore proposed to automatically discover an optimal convolutional neural network architecture for a given dataset. Neuroevolution is a method inspired by natural selection and previously applied in artificial neural networks to optimize their architecture. With meticulous implementation, neuroevolution can find small convolutional neural network architectures that are on par with deep architectures. The experiments conducted confirm that different proposed neuroevolution implementation can achieve accuracies comparable to those of deep architectures as observed in the accuracies of the generic neuroevolution, steady-state neuroevolution, and ResNet-34 (91.59%, 91.00% and 89.25% respectively). In addition, the neuroevolution performed in a specific object detection application with a limited dataset (i.e., dangerous objects X-ray) has demonstrated that it can find architectures that have modest depths but have performances similar to the deep network. In an experiment, the YOLOv3 with neuroevolution backbone has 47 blocks and 63.8% accuracy, whereas the original YOLOv3 has 106 blocks and 52.9% accuracy. Conclusively, the proposed neuroevolution methods can achieve all the objectives of this dissertation as they effectively aid in creating alternative to deep networks but without performance loss.
Other Abstract (Other language abstract of ETD)
ในช่วงไม่กี่ปีที่ผ่านมามีการพัฒนาสถาปัตยกรรมโครงข่ายประสาทเทียมให้มีความลึกและซับซ้อนขึ้นมากเพื่อประสิทธิภาพของมันโครงข่ายลึกต้องการชุดข้อมูลขนาดใหญ่และทรัพยากรการคำนวณสูงมาก อย่างไรก็ตามในบางแอพปลิเคชัน เช่น การวิเคราะห์ภาพทางการแพทย์ชุดข้อมูลมีจำนวนจำกัดและจัดหาได้ยาก ในกรณีนี้โครงข่ายลึกอาจไม่สามารถถูกฝึกได้มากเพียงพอ ซึ่งทำให้เสี่ยงต่อการที่ทำให้มันเข้ากับข้อมูลเกินไป (overfitting) นอกจากนี้ไม่ใช่ทุกคนที่สามารถเข้าถึงทรัพยากรการคำนวณขั้นสูงได้ การออกแบบโครงข่ายขนาดเล็กแต่มีประสิทธิภาพเทียบเคียงกับโครงข่ายลึกนั้นต้องใช้ความเชี่ยวชาญและความพยายามลองผิดลองถูกอย่างมาก วิทยานิพนธ์นี้จึงขอนำเสนอให้ปรับปรุงวิธีวิวัฒนาการทางประสาทเพื่อค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียมที่เหมาะสมที่สุดโดยอัตโนมัติสำหรับชุดข้อมูลที่กำหนด วิวัฒนาการทางประสาทเป็นวิธีที่ได้รับแรงบันดาลใจจากการคัดเลือกโดยธรรมชาติ และเคยถูกนำไปใช้กับโครงข่ายประสาทเทียมเพื่อเพิ่มประสิทธิภาพสถาปัตยกรรมโดยไม่มีข้อจำกัดด้านปริมาณข้อมูลแล้ว ด้วยการปรับปรุงอย่างพิถีพิถัน วิวัฒนาการทางประสาทสามารถค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียมขนาดเล็กที่เทียบเท่ากับสถาปัตยกรรมเชิงลึกได้ การทดลองที่ได้ดำเนินการยืนยันว่าการใช้วิวัฒนาการทางระบบประสาทที่ปรับปรุงขึ้นหลากหลายรูปแบบสามารถบรรลุความแม่นยำเทียบเท่ากับสถาปัตยกรรมวิวัฒนาการทางประสาททั่วไป สถาปัตยกรรมวิวัฒนาการทางประสาทคงตัว และ RestNet-34 (91.59%, 91.00% and 89.25% ตามลำดับ) จากการทดลอง YOLOv3 ที่ได้รับการวิวัฒนาการมีความลึกเพียง 47 ชั้น มีความแม่นยำ 63.8% ในขณะที่ YOLOv3 ดั้งเดิมมีความลึก 106 ชั้น แต่มีความแม่นยำเพียง 52.9% นอกจากนี้ สรุปได้ว่าวิวัฒนาการทางประสาทที่นำเสนอสามารถบรรลุวัตถุประสงค์ทั้งหมดของวิทยานิพนธ์ฉบับนี้ เนื่องจากช่วยในการสร้างสถาปัตยกรรมทางเลือกให้กับโครงข่ายลึก แต่ไม่สูญเสียประสิทธิภาพ
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Operiano, Kevin Richard G., "Topology optimization for CNN using neuroevolution" (2021). Chulalongkorn University Theses and Dissertations (Chula ETD). 4672.
https://digital.car.chula.ac.th/chulaetd/4672