Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การผสานบริบทเข้ากับนอนออโตรีเกรสซีฟโมเดลด้วยซีทีซีที่สามารถเรียนรู้บริบทสําหรับการติดป้ายตามลําดับ
Year (A.D.)
2021
Document Type
Thesis
First Advisor
Atiwong Suchato
Second Advisor
Ekapol Chuangsuwanich
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
Master of Engineering
Degree Level
Master's Degree
Degree Discipline
Computer Engineering
DOI
10.58837/CHULA.THE.2021.95
Abstract
Connectionist Temporal Classification (CTC) loss has become widely used in sequence modeling tasks such as Automatic Speech Recognition (ASR) and Handwritten Text Recognition (HTR) due to its ease of use. CTC itself has no architecture constraints, but it is commonly used with recurrent models that predict letters based on histories in order to relax the conditional independent assumption. However, recent sequence models that incorporate CTC loss have been focusing on speed by removing recurrent structures, hence losing important context information. This thesis presents Contextualized Connectionist Temporal Classification (CCTC) loss, which induces prediction dependencies in non-recurrent and non-autoregressive neural networks for sequence modeling. CCTC allows the model to implicitly learn the language model by predicting neighboring labels via multi-task learning. Experiments on ASR and HTR tasks in two different languages show that CCTC models offer improvements over CTC models by 2.2-8.4% relative without incurring extra inference costs.
Other Abstract (Other language abstract of ETD)
เนื่องจากความง่ายในการใช้งาน คอนเนคชันนิสเทมโปรอลคลาสสิฟิเคชัน (ซีทีซี) จึงถูกนำมา ใช้อย่างแพร่หลายในปัญหาการจําลองตามลําดับอาทิเช่นการรู้จำเสียงพูดอัตโนมัติและการรู้จำตัวอักษร ลายมือเขียน ซีทีซีนั้นสามารถใช้เพื่อฝึกฝนโมเดลโครงข่ายประสาทเทียมแบบใดก็ได้ แต่มักจะถูกใช้คู่กับ โมเดลโครงข่ายประสาทเทียมแบบเกิดซ้ำที่คำนึงถึงผลลัพธ์ในอดีตในการทำนายผลลัพธ์ในปัจจุบันเพื่อ ผ่อนคลายสมมติฐานของความน่าจะเป็นแบบเป็นอิสระของซีทีซี อย่างไรก็ตามงานวิจัยในช่วงหลังสนใจ การใช้งานซีทีซีคู่กับโมเดลแบบไม่เกิดซ้ำโดยมีวัตถุประสงค์ที่จะลดประสิทธิภาพที่เกิดจากความสามารถ ในจากการพึ่งพาบริบทเพื่อเพิ่มความเร็วในการทำนายผล วิทยานิพนธ์นี้ได้เสนอคอนเทคชัวไลซ์คอนเน คชันนิสเทมโปรอลคลาสสิฟิเคชัน (ซีซีทีซี) สำหรับฝึกฝนโมเดลแบบไม่เกิดซ้ำที่ใช้ในปัญหาการจําลอง ตามลําดับ ซีซีทีซีใช้ประโยชน์จากการเรียนรู้หลากหลายงานพร้อมกันในการทำให้โมเดลแบบไม่เกิดซ้ำมี โอกาสที่จะเรียนรู้บริบทสำหรับใช้ในการทำนายผลผ่านการทำนายผลลัพธ์ที่อยู่รอบข้างและการทำนาย ผลลัพธ์หลักไปพร้อมกัน ผลการทดลองในการรู้จำเสียงพูดอัติโนมัติและการรู้จำตัวอักษรลายมือเขียน สำหรับภาษาไทยและอังกฤษแสดงให้เห็นว่าซีซีทีซีมีประสิทธิภาพสัมพัทธ์สูงกว่าซีทีซี 2.2-8.4% โดยที่ ยังสามารถคงความเร็วในการทำนายผลไว้ได้เท่าซีทีซีแบบดั้งเดิม
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Naowarat, Burin, "Incorporating context into non-autoregressive model using contextualized CTC for sequence labelling" (2021). Chulalongkorn University Theses and Dissertations (Chula ETD). 4637.
https://digital.car.chula.ac.th/chulaetd/4637