Chulalongkorn University Theses and Dissertations (Chula ETD)

Principles of convergent rate and generalization enhancement for feedforward sigmoid-like network

Other Title (Parallel Title in Other Language of ETD)

หลักการเพิ่มอัตราการลู่เข้าและการวางนัยทั่วไปสำหรับโครงข่ายป้อนไปข้างหน้าชนิดเซลล์ประสาทคล้ายซิกมอยด์

Year (A.D.)

2003

Document Type

Thesis

First Advisor

Chidchanok Lursinsap

Faculty/College

Faculty of Science (คณะวิทยาศาสตร์)

Degree Name

Doctor of Philosophy

Degree Level

Doctoral Degree

Degree Discipline

Computer Science

DOI

10.58837/CHULA.THE.2003.963

Abstract

This dissertation demonstrates how the p-recursive piecewise polynomial (p-RPP) generators and their derivatives are constructed. The feedforward computational time of a multilayer feedforward network can be reduced by using these functions as the activation functions. Three modifications of training algorithms are proposed. First, the modified error function is used so that the sigmoid prime factor for the updating rule of the output units is eliminated. Second, the input patterns are normalized in order to balance the dynamic range of the inputs. Third, a new penalty function is introduced to the hidden layer to get the anti-Hebbian rules providing information when the activation functions have zero sigmoid prime factor. The three modifications are combined with two versions of Rprop (Resilient propagation) algorithm. The proposed procedures achieved the excellent results without the need for careful selection of the training parameters. Not only the algorithm but also the shape of the activation function has important influence on the training performance.

Other Abstract (Other language abstract of ETD)

วิทยานิพนธ์ฉบับนี้แสดงการสร้างตัวก่อกำเนิดพหุนามเป็นช่วง ชนิด พี-รีเคอร์ซีฟ และอนุพันธ์ เวลาที่ใช้คำนวณการป้อนไปข้างหน้าของโครงข่ายชนิดป้อนไปข้างหน้าหลายชั้น สามารถทำให้ลดลงได้โดยการใช้ฟังก์ชันที่เสนอเป็นฟังก์ชันกระตุ้น มีการนำเสนอการปรับแต่งสามอย่างคือ (1) ฟังก์ชันผิดพลาดที่ปรับแต่งแล้วถูกใช้เพื่อขจัดตัวประกอบอนุพันธ์ซิกมอยด์ของการปรับค่าใหม่ที่หน่วยข้อมูลออก (2) รูปแบบข้อมูลเข้าถูกทำให้เป็นบรรทัดฐาน เพื่อทำให้พิสัยพลศาสตร์ของข้อมูลเข้ามีความสมดุล (3) ฟังก์ชันลงโทษใหม่ถูกเพิ่มให้แก่ชั้นซ่อน เพื่อให้ได้กฎ ปฏิ-เฮบเบียน ซึ่งจะให้ข้อมูลแก่ชั้นซ่อนในขณะที่ฟังก์ชันกระตุ้นมีตัวประกอบอนุพันธ์ซิกมอยด์เป็นศูนย์ การปรับแต่งทั้งสามอย่าง ถูกใช้ผสมกับขั้นตอนวิธี เอสเออาร์พรอพ กระบวนการที่ถูกเสนอให้ผลลัพธ์ที่ดีมาก โดยไม่ต้องระมัดระวังการเลือกพารามิเตอร์สำหรับการสอน ไม่ใช่เพียงขั้นตอนวิธีเท่านั้นแต่รูปร่างของฟังก์ชันกระตุ้นก็เช่นกันที่มีอิทธิพลอย่างมากต่อสมรรถนะการสอน

Link to Full Text

Share

COinS