Chulalongkorn University Theses and Dissertations (Chula ETD)

A new behavior-based cost function for manifold construction

Other Title (Parallel Title in Other Language of ETD)

คอสต์ฟังก์ชันชนิดใหม่ที่ขึ้นกับพฤติกรรมสำหรับการสร้างแมนิโฟลด์

Year (A.D.)

2007

Document Type

Thesis

First Advisor

Chidchanok Lursinsap

Second Advisor

Jack Asavanant

Faculty/College

Faculty of Science (คณะวิทยาศาสตร์)

Degree Name

Doctor of Philosophy

Degree Level

Doctoral Degree

Degree Discipline

Computer Science

DOI

10.58837/CHULA.THE.2007.974

Abstract

In backpropagation (BP) neural network learning algorithm, the mean squared error (MSE) has been used as a cost function. The cost function measures the squared difference between the target and the output. The real difference may be either positive or negative depending on whether the target is above or below the actual output. Obviously, the generated manifold obtained by the cost function does not preserve the real topology of the target manifold at any location. These disadvantages cause the slow convergent rate. Therefore, the results show an ineffective forecasting. The objective of this research is to propose a new behavior-based cost function to capture the parallel behavior between the target and the output. The method is based on the dot product between the target and the output vectors. If the dot product is sufficiently close to zero, then the training can be terminated. Therefore, the number of steps needed to train the network can be minimized. The proposed cost function is tested with the benchmarked test sets. The performance is evaluated by measuring the values of cosine between the actual target and the output. The accuracy of the proposed methodology is over 90%, and it can reduce the amount of the learning process at least two times. The difference of the proposed method and the standard methodology is also checked by the t-test value.

Other Abstract (Other language abstract of ETD)

ในการเรียนรู้ของอัลกอริทึมแบบแพร่ย้อนกลับ ค่าคลาดเคลื่อนกำลังสองถูกนำมาใช้เป็นคอสต์ฟังก์ชันสำหรับการปรับค่าน้ำหนักเพื่อคำนวณหาค่าความผิดพลาด คอสต์ฟังก์ชันแบบนี้เพียงวัดค่าผลต่างกำลังสองระหว่างค่าเป้าหมายและค่าผลลัพธ์ ซึ่งผลต่างแท้จริงที่ได้อาจให้ค่าที่เป็นบวกหรือลบขึ้นอยู่กับค่าผลลัพธ์ว่าอยู่สูงหรือต่ำกว่าค่าเป้าหมาย ดังนั้นแมนิโฟลด์ที่ถูกสร้างขึ้นจากคอสต์ฟังก์ชันแบบนี้จึงไม่สามารถรักษาลักษณะที่แท้จริงจากแมนิโฟลด์ของค่าเป้าหมายสำหรับทุกๆบริเวณของข้อมูลได้ จากข้อเสียที่กล่าวมาข้างต้นทำให้อัตราเร็วในการเรียนรู้ต่ำหรือทำให้โครงข่ายประสาทเทียมไม่สามารถเรียนรู้ข้อมูลได้ตามค่าความผิดพลาดที่ยอมรับได้ ซึ่งจะทำให้ผลลัพธ์ที่ได้จากการทำนายขาดประสิทธิภาพ ดังนั้นเป้าหมายของงานวิจัยนี้จึงเสนอคอสต์ฟังก์ชันตัวใหม่ที่สามารถเรียนรู้พฤติกรรมของค่าเป้าหมายและค่าผลลัพธ์ที่ได้จากโครงข่ายให้ไปในทิศทางเดียวกัน โดยใช้หลักการของผลคูณจุดระหว่างค่าเป้าหมายและผลลัพธ์ และจะหยุดการฝึกสอนเมื่อผลคูณจุดเข้าใกล้ศูนย์ ในงานวิจัยนี้ได้ทำการทดสอบคอสต์ฟังก์ชันที่สร้างขึ้นกับชุดข้อมูลมาตรฐาน การวัดประสิทธิภาพของคอสต์ฟังก์ชันนี้ทำโดยนำไปหาค่าโคไซน์ระกว่างเวกเตอร์ของค่าเป้าหมายและเวกเตอร์ของค่าผลลัพธ์ ซึ่งให้ค่าความถูกต้องมากกว่า 90 % และยังช่วยลดจำนวนรอบที่ใช้ในการเรียนรู้อย่างน้อยสองเท่าอีกด้วย นอกจากนี้ยังทำการเปรียบเทียบผลลัพธ์ของวิธีการที่นำเสนอกับวิธีพื้นฐานด้วยการวัดค่าทีเทสต์

Link to Full Text

Share

COinS