Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)

End-to-end data characteristics monitoring for mlops MLOps

Year (A.D.)

2023

Document Type

Thesis

First Advisor

ณัฐวุฒิ หนูไพโรจน์

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Department (if any)

Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)

Degree Name

วิทยาศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิทยาศาสตร์คอมพิวเตอร์

DOI

10.58837/CHULA.THE.2023.984

Abstract

แบบจำลองการเรียนรู้ของเครื่องใช้ข้อมูลเพื่อรวบรวมข้อมูลเชิงลึก, ทำการตัดสินใจ และสร้างการทำนาย จากข้อมูลที่ถูกอนุมานที่ป้อนเข้าไปในแบบจำลองอาจคลาดเคลื่อนหรือเปลี่ยนแปลงเมื่อเวลาผ่านไป จึงอาจทำให้ประสิทธิภาพของแบบจำลองลดลง ด้วยเหตุนี้ แบบจำลองจึงต้องได้รับการฝึกอบรมใหม่ อย่างไรก็ตาม การประเมินแบบจำลองและการฝึกอบรมซ้ำบ่อยครั้งอาจมีค่าใช้จ่ายสูง เนื่องจากการติดฉลากผลเฉลยอาจมีค่าใช้จ่ายสูง ดังนั้น การติดตามคุณสมบัติของข้อมูลก่อนและหลังการปรับใช้ (deployment) แบบจำลองสามารถช่วยเลือกเวลาที่เหมาะสมในการฝึกอบรมแบบจำลองใหม่ได้ วิทยานิพนธ์นี้นำเสนอกรอบการทำงานของการติดตามคุณสมบัติข้อมูลแบบครบวงจร (end-to-end) ภายในปฏิบัติการการเรียนรู้ของเครื่อง (MLOps) เพื่อมอบแนวทางสำหรับการฝึกอบรมแบบจำลองอย่างชาญฉลาดโดยสามารถใช้เครื่องมือที่หลากหลาย เพื่อความสะดวกในการใช้งานและคุ้มค่า

Other Abstract (Other language abstract of ETD)

Machine learning models employ data for gathering insights, making decisions, and generating predictions. As inferenced data fed into the model may drift or shift over time, it may lead to model’s performance degradation. Consequently, a model would require re-training. However, model evaluation and frequent re-training might be costly as ground truth labeling can be expensive. Therefore, monitoring data characteristics before and after model deployment can help choosing the appropriate time to re-train the model. This paper proposes a framework of end-to-end data characteristics monitoring within MLOps to provide a solution for smart re-training using a variety of tools for ease of use and cost-effectiveness.

Share

COinS
 
 

To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.