Chulalongkorn University Theses and Dissertations (Chula ETD)

การสร้างคุณลักษณะแบบเพิ่มสำหรับการเรียนรู้เชิงลึกโดยใช้ตัวเข้ารหัสอัตโนมัติ

Other Title (Parallel Title in Other Language of ETD)

Incremental feature construction for deep learning using auto-encoder

Year (A.D.)

2013

Document Type

Thesis

First Advisor

บุญเสริม กิจศิริกุล

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

วิทยาศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิทยาศาสตร์คอมพิวเตอร์

DOI

10.58837/CHULA.THE.2013.1054

Abstract

วิทยานิพนธ์ฉบับนี้เป็นการนำเสนอแนวคิดของวิธีการสร้างคุณลักษณะแบบเพิ่มสำหรับการเรียนรู้เชิงลึกโดยใช้ตัวเข้ารหัสอัตโนมัติ ซึ่งเป็นขั้นตอนวิธีใหม่สำหรับการเรียนรู้คุณลักษณะในแต่ละชั้นของเครือข่าย จากเดิมที่คุณลักษณะในแต่ละชั้นถูกสร้างพร้อมกันตั้งแต่เริ่มต้นฝึก เสนอแนวคิดใหม่ให้สร้างคุณลักษณะพื้นฐานขึ้นก่อนและเพิ่มคุณลักษณะเสริมเข้าไปจนครบตามจำนวนคุณลักษณะที่กำหนด จากการทดลองกับข้อมูล MNIST และข้อมูล CIFAR-10 พบว่าการเรียนรู้คุณลักษณะด้วยการสร้างแบบเพิ่มโดยใช้ตัวเข้ารหัสอัตโนมัติแบบเบาบางผสมกับแบบลดการรบกวนให้ค่าความแม่นยำที่ดีกว่าการเรียนรู้คุณลักษณะด้วยการสร้างแบบพร้อมกัน

Other Abstract (Other language abstract of ETD)

In this thesis we proposed incremental feature construction for deep learning using an auto-encoder which is a novel alternative method for learning features of each layer of a neural. In conventional auto-encoder training, all feature units are simultaneously constructed at the beginning. Our method incrementally constructs features by adding primitive/simple features first and then gradually learns finer/more complicated features. We run experiments on the MNIST and CIFAR-10 data sets. The experimental results show that feature learning by combine sparse auto-encoder with denoising auto-encoders using our incremental feature construction provides better accuracy than ones using the conventional feature construction.

Link to Full Text

Share

COinS