Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Impact of activation functions on the data efficiency of multi-response neural network
Year (A.D.)
2024
Document Type
Thesis
First Advisor
เสกสรร เกียรติสุไพบูลย์
Faculty/College
Faculty of Commerce and Accountancy (คณะพาณิชยศาสตร์และการบัญชี)
Department (if any)
Department of Statistics (ภาควิชาสถิติ)
Degree Name
วิทยาศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
สถิติและวิทยาการข้อมูล
DOI
10.58837/CHULA.THE.2024.720
Abstract
เครือข่ายประสาทเทียมแบบหลายผลลัพธ์เป็นหนึ่งในแนวทางที่มีศักยภาพในการเพิ่มประสิทธิภาพข้อมูล อย่างไรก็ตาม ผลการศึกษาก่อนหน้านี้พบว่า ผลลัพธ์ทางทฤษฎีจากการเปรียบเทียบประสิทธิภาพของเครือข่ายประสาทเทียมแบบหลายผลลัพธ์ที่มีข้อจำกัด กับ เครือข่ายประสาทเทียมแบบผลลัพธ์เดียว และผลลัพธ์เชิงปฏิบัติจากการเปรียบเทียบเครือข่ายประสาทเทียมแบบหลายผลลัพธ์ กับเครือข่ายประสาทเทียมแบบผลลัพธ์เดียวยังคงมีความแตกต่างกัน งานวิจัยนี้มุ่งศึกษาผลกระทบของฟังก์ชันกระตุ้นในชั้นซ่อนที่มีต่อประสิทธิภาพการใช้ข้อมูลของเครือข่ายประสาทเทียมในการจำแนกประเภทแบบไบนารี โดยทำการศึกษาในฟังก์ชันกระตุ้น 4 ชนิด ได้แก่ ฟังก์ชัน Sigmoid, ReLU, Leaky ReLU (LReLUs) และ Exponential Linear Units (ELUs) ภายใต้โครงสร้างประสาทเทียม 2 ประเภทที่ใช้เกณฑ์ในการกำหนดโหนดซ่อนแตกต่างกัน โดยจากผลการวิจัยพบว่า ฟังก์ชัน sigmoid เป็นฟังก์ชันกระตุ้นที่สามารถทำให้ประสิทธิภาพเชิงปฏิบัติมีค่าใกล้เคียงกับผลลัพธ์เชิงทฤษฎีมากที่สุดในโครงสร้างทั้ง 2 ประเภท
Other Abstract (Other language abstract of ETD)
The multi-response neural network is one of the potential approaches for improving data efficiency. However, previous studies have found that the theoretical results from comparing the performance of the constrained bi-response neural networks with the single-response neural networks and the practical results from comparing the performance of the regular bi-response neural networks with the single-response neural networks are still different. This research aims to study the effect of the hidden layer activation function on the data utilization performance of artificial neural networks in binary classification. The study is conducted on four activation functions: Sigmoid, ReLU, Leaky ReLU (LReLU), and Exponential Linear Units (ELUs) under two artificial neural structures with different criteria for defining hidden nodes. The results show that the sigmoid function is the activation function that can make the practical performance closest to the theoretical results in both structures.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
เจริญยิ่งไพศาล, จินจุ, "ผลกระทบของฟังก์ชันกระตุ้นต่อประสิทธิภาพการใช้ข้อมูลของเครือข่ายประสาทเทียมแบบหลายผลลัพธ์" (2024). Chulalongkorn University Theses and Dissertations (Chula ETD). 74558.
https://digital.car.chula.ac.th/chulaetd/74558