Chulalongkorn University Theses and Dissertations (Chula ETD)

Kernel functions for support vector machines

Other Title (Parallel Title in Other Language of ETD)

เคอร์เนลฟังก์ชันสำหรับซัพพอร์ตเวกเตอร์แมชชีน

Year (A.D.)

2008

Document Type

Thesis

First Advisor

Boonserm Kijsirikul

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

Doctor of Philosophy

Degree Level

Doctoral Degree

Degree Discipline

Computer Engineering

DOI

10.58837/CHULA.THE.2008.1572

Abstract

Kernel functions are used in support vector machines (SVMs) to compute inner product in a higher dimensional feature space. The performance of classification or approximation depends on the chosen kernel function. There are some popular kernel functions such as linear, polynomial, and radial basis function (RBF) kernels. However, these common kernel functions may not be sufficient for the complex or large problems. This research proposes to improve the performance of SVM by using the non-negative linear combination of these common kernel functions. The obtained kernel functions are more flexible and allow better discrimination or approximation in the feature space. Then, the evolutionary strategies (ESs) are used for adjusting the parameters of SVM and the proposed kernel functions. In order to avoid the overfitting problem, the objective function in the evolutionary process is carefully designed. Training error, subset cross-validation, the bound of generalization error, and the stability of SVM are considered to be objective functions, and their experimental results are compared in this research. The proposed methods are experimented on benchmark datasets and real world problems, i.e. sentiment classification and handwritten recognition. Moreover, more flexible combined kernel functions are represented as trees. An algorithm for creating these tree kernel functions is presented, called GPES. This algorithm applies the genetic programming (GP) and the evolutionary strategy (ES) for evolving the hybrid kernel functions and their parameters. The experimental results are compared with a standard SVM classifier using the polynomial and RBF kernels with various parameter settings.

Other Abstract (Other language abstract of ETD)

เคอร์เนลฟังก์ชันถูกนำมาใช้ในซัพพอร์ตเวกเตอร์แมชชีน เพื่อคำนวณค่าผลคูณภายในบนปริภูมิแต่งเติมที่มีมิติสูงขึ้น ประสิทธิภาพของการจำแนกประเภทหรือการประมาณค่านั้น จะขึ้นอยู่กับเคอร์-เนลฟังก์ชันที่เลือกใช้ มีเคอร์เนลฟังก์ชันอยู่จำนวนหนึ่งที่นิยมใช้กันมาก เช่น เคอร์เนลเชิงเส้น เคอร์-เนลพหุนาม และ เรเดียลเบสิสฟังก์ชัน อย่างไรก็ตาม เคอร์เนลฟังก์ชันที่รู้จักกันดีเหล่านี้ อาจไม่เหมาะสมพอสำหรับปัญหาที่มีความยุ่งยากซับซ้อน หรือปัญหาขนาดใหญ่ งานวิจัยนี้จึงได้เสนอที่จะปรับปรุงประสิทธิภาพของซัพพอร์ตเวกเตอร์แมชชีน โดยใช้การรวมเชิงเส้นแบบไม่เป็นลบของฟังก์ชันที่รู้จักกันดีเหล่านี้ เคอร์เนลฟังก์ชันที่ได้สามารถปรับให้เหมาะสมกับปัญหาที่กำลังสนใจ และให้ผลการจำแนก หรือการประมาณค่าที่ดีในปริภูมิแต่งเติม จากนั้น กลยุทธ์เชิงวิวัฒน์ ได้ถูกนำมาใช้เพื่อปรับค่าพารามิเตอร์ของซัพพอร์ตเวกเตอร์แมชชีน และ เคอร์เนลฟังก์ชันที่นำเสนอ เพื่อหลีกเลี่ยงปัญหาการสอดคล้องกับข้อมูลสอนมากเกินไป จึงได้ทำการออกแบบฟังก์ชันวัตถุประสงค์ในกระบวนการเชิงวิวัฒน์อย่างระมัดระวัง ฟังก์ชันวัตถุประสงค์ที่นำมาใช้ทดสอบและเปรียบเทียบในงานวิจัยนี้ ได้แก่ ความผิดพลาดบนข้อมูลสอน, การประเมินแบบไขว้บนข้อมูลที่แบ่งย่อย, การประมาณขอบเขตของความผิดพลาดที่แท้จริง, และ การใช้คุณสมบัติความเสถียรของซัพพอร์ตเวกเตอร์แมชชีน วิธีการต่างๆที่นำเสนอถูกทดสอบบนชุดข้อมูลมาตรฐานจำนวนหนึ่ง และยังได้ทำการทดสอบบนปัญหาจริง ซึ่งได้แก่ การจำแนกประเภทตามความรู้สึก และ การรู้จำลายมือเขียน ยิ่งไปกว่านั้น เคอร์เนลฟังก์ชันที่เกิดจากการรวมกันของหลายๆ เคอร์เนลที่มีความยืดหยุ่นมากขึ้นได้ถูกแทนในรูปแบบของต้นไม้ ขั้นตอนวิธีสำหรับสร้างเคอร์เนลฟังก์ชันในรูปแบบต้นไม้นี้มีชื่อเรียกว่า จีพีอีเอส ซึ่งประยุกต์การโปรแกรมเชิงพันธุกรรม และ กลยุทธ์เชิงวิวัฒน์ เพื่อสร้างเคอร์เนลฟังก์ชันแบบผสม และ หาค่าพารามิเตอร์ของเคอร์เนลฟังก์ชันนี้ วิธีการนี้ถูกทดสอบ และ เปรียบเทียบกับตัวจำแนกซัพพอร์ตเวกเตอร์แมชชีนมาตรฐานที่ใช้เคอร์เนลฟังก์ชันพหุนาม และ เรเดียลเบสิสฟังก์ชัน ที่มีการกำหนดค่าพารามิเตอร์หลายๆ แบบ

Link to Full Text

Share

COinS