Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การลดขนาดบนฐานของการเลื่อนค่าน้ำหนักสำหรับโครงข่ายประสาทคอนโวลูชัน
Year (A.D.)
2024
Document Type
Thesis
First Advisor
Chidchanok Lursinsap
Faculty/College
Faculty of Science (คณะวิทยาศาสตร์)
Department (if any)
Department of Mathematics and Computer Science (ภาควิชาคณิตศาสตร์และวิทยาการคอมพิวเตอร์)
Degree Name
Master of Science
Degree Level
Master's Degree
Degree Discipline
Computer Science and Information Technology
DOI
10.58837/CHULA.THE.2024.273
Abstract
The paper presents an adaptation of the novel self-recovering technique known as weight shifting for application in the pruning of nodes from the fully-connected layers of convolutional neural networks. The proposed methodology involves a binary search strategy to identify the optimal subset of nodes for removal, facilitating efficient redistribution of node weights using the Moore-Penrose pseudo-inverse. The proposed methodology was evaluated by across multiple data sets, including CIFAR-100, Food101, Stanford Cars, and Flowers102. The experimental results demonstrated that the proposed methodology is able to maintain high accuracy and top-k categorical accuracy performance with minimal reductions even after pruning a significant percentage of nodes. The paper contributes to neural network compression and optimization by providing a versatile solution that enhances model efficiency without significantly compromising performance, offering potential benefits for applications in resource-constrained environments.
Other Abstract (Other language abstract of ETD)
งานวิจัยนี้นำเสนอการปรับใช้เทคนิคการฟื้นฟูโครงข่ายประสาทที่เรียกว่า การเลื่อนค่าน้ำหนัก (weight shifting) เพื่อการตัดโหนดในเลเยอร์เชื่อมต่อทั้งหมด (fully-connected layers) ของโครงข่ายประสาทแบบคอนโวลูชัน (CNNs) วิธีการที่นำเสนอประกอบด้วยการใช้กลยุทธ์การค้นหาแบบทวิภาคเพื่อระบุชุดย่อยของโหนดที่เหมาะสมที่สุดสำหรับการตัดทิ้ง และอำนวยความสะดวกในการแจกจ่ายน้ำหนักของโหนดที่ยังคงเหลืออย่างมีประสิทธิภาพด้วยการใช้ พีเซอูโดอินเวอร์สของมูร์-เพนโรส (Moore-Penrose pseudo-inverse) วิธีการที่เสนอถูกทดสอบกับชุดข้อมูลหลายชุด ได้แก่ CIFAR-100, Food101, Stanford Cars และ Flowers102 ผลการทดลองแสดงให้เห็นว่าวิธีการที่นำเสนอนี้สามารถรักษาความแม่นยำและประสิทธิภาพความแม่นยำแบบ Top-K ในการจัดหมวดหมู่ไว้ได้สูง โดยมีการลดลงเพียงเล็กน้อย แม้จะตัดโหนดออกเป็นสัดส่วนจำนวนมากก็ตาม งานวิจัยนี้มีส่วนช่วยในการลดขนาดและเพิ่มประสิทธิภาพของโครงข่ายประสาทเทียมโดยเสนอแนวทางที่ยืดหยุ่นในการเพิ่มประสิทธิภาพของโมเดลที่ไม่กระทบกับประสิทธิภาพโดยรวมมากนัก และสามารถนำไปใช้ในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรได้
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Threethanuchai, Panuwat, "Weight shifting based pruning for convolutional neural networks" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 11663.
https://digital.car.chula.ac.th/chulaetd/11663
