Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การประยุกต์การเรียนรู้แบบเสริมแรงในคลาวด์กระแสข้อมูลลำดับภาพไร้สายซึ่งปรับตัวได้ข้ามชั้นสำหรับระบบเฝ้าสังเกตจราจรบนถนน
Year (A.D.)
2022
Document Type
Thesis
First Advisor
Chaodit Aswakul
Second Advisor
Ochiai Hideya
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
Doctor of Philosophy
Degree Level
Doctoral Degree
Degree Discipline
Electrical Engineering
DOI
10.58837/CHULA.THE.2022.1430
Abstract
This thesis focuses on designing and developing a deep reinforcement learning application for a cross-layered adaptive wireless image sequence streaming cloud in a road traffic monitoring system. The goal is to stream image sequences adaptively based on changing environmental outdoor conditions. The thesis has extended the previous research work that utilizes Apache Kafka for near real-time wireless image sequence streaming in a road traffic monitoring application. Real data measurements are collected from a Phaya Thai road segment, and a laboratory-based emulated outdoor software-defined wireless mesh network testbed is built to emulate the real outdoor deployment environment. Next, the thesis has proposed a single-agent deep reinforcement learning application, which has been tested to ensure the agent performs as intended. This serves as a preliminary code-verification test in a simplified problem complexity for the learning agent. To promote cooperation and fairness among agents in this thesis, a multi-agent system with independent learners is proposed. The social welfare function is used as the joint reward function to encourage cooperation and fairness among the agents. Hyperparameters are initially tuned with the joint reward function as the validation metric. The learning agent is trained and evaluated in various scenarios. The performance of the proposed system is compared to the system without any learning agent. From the reported experiments in this thesis, it is found that, through a sufficient training period, the proposed system with learning agents demonstrates superior performance compared to the system without any learning agent. After training, the pre-trained model is reloaded and tested in the emulated wireless network in controllable laboratory environments with dynamic changing in terms of wireless mesh node status being switched between up and down. Based on the reported results, the system with proposed learning agent is better than the system without a learning agent for at least 3.98% to at most 31.55% by considering the joint reward value.
Other Abstract (Other language abstract of ETD)
วิทยานิพนธ์ฉบับนี้มุ่งเน้นไปที่การออกแบบ และการพัฒนาการประยุกต์การเรียนรู้แบบเสริมแรงในคลาวด์กระแสข้อมูลลำดับภาพไร้สายซึ่งปรับตัวได้ข้ามชั้นสำหรับระบบเฝ้าสังเกตจราจร บนถนน เป้าหมายเพื่อรับส่งลำดับภาพแบบปรับตัวได้ ตามเงื่อนไขสภาพแวดล้อมกลางแจ้งที่มี การเปลี่ยนแปลง วิทยานิพนธ์ได้ขยายงานวิจัยก่อนหน้านี้ ที่ใช้อาปาเชคาฟคาสำหรับการ รับส่ง ลำดับภาพแบบไร้สายที่ใกล้เคียงกับเวลาจริง ในระบบเฝ้าสังเกตจราจรบนถนน ข้อมูลจริงถูกเก็บ รวบรวมจากช่วงหนึ่งของถนนพญาไท และระบบทดสอบโครงข่ายไร้สายแบบเมช ที่กำหนด โดยซอฟต์แวร์ได้ถูกสร้างขึ้นในห้องปฏิบัติการ เพื่อจำลองสภาพแวดล้อมการใช้งานกลางแจ้งจริง หลังจากนั้นวิทยานิพนธ์ได้นำเสนอการประยุกต์การเรียนรู้แบบเสริมแรงเชิงลึกแบบหน่วยเรียนรู้ เดี่ยวซึ่งได้รับการทดสอบ เพื่อให้แน่ใจว่าหน่วยเรียนรู้ดำเนินการตามที่ตั้งใจไว้ โดยเป็น การตรวจสอบรหัสคำสั่งเบื้องต้นในปัญหาที่ได้ลดความซับซ้อนไว้ก่อนสำหรับหน่วยเรียนรู้ จาก นั้นเพื่อส่งเสริมความร่วมมือ และความเป็นธรรมระหว่างหน่วยเรียนรู้ในวิทยานิพนธ์ฉบับนี้ได้ นำเสนอระบบหลายหน่วยเรียนรู้ ซึ่งเป็นอิสระต่อกันฟังก์ชันสวัสดิการสังคมถูกใช้เป็นฟังก์ชัน รางวัลร่วม เพื่อส่งเสริมความร่วมมือ และความเป็นธรรมระหว่างหน่วยเรียนรู้ไฮเปอร์พารามิเตอร์ ต่างๆ ได้ถูกปรับค่าตั้งแต่แรก เริ่มด้วยฟังก์ชันรางวัลร่วมเป็นมาตรวัดความถูกต้องหน่วยเรียน รู้ถูกฝึก และประเมินในหลากหลายสถานการณ์ ประสิทธิภาพของระบบเสนอขึ้นถูกนำไป เปรียบเทียบกับระบบที่ไม่มีหน่วยเรียนรู้ใดๆ จากการทดลองต่าง ๆ ในวิทยานิพนธ์นี้พบว่าหลัง จากผ่าน ช่วงการฝึกที่เพียงพอ ระบบที่นำเสนอซึ่งมีหน่วยเรียนรู้มีประสิทธิภาพที่เหนือกว่าระบบ ที่ไม่มีหน่วยเรียนรู้ใดๆ โดยหลังการฝึกอบรม แบบจำลองที่ผ่านการฝึกอบรมล่วงหน้าจะถูก น่ากลับมา และทดสอบในโครงข่ายไร้สายที่จำลองขึ้นในสภาพแวดล้อมของห้องปฏิบัติการ ที่ควบคุมได้ซึ่งมีการเปลี่ยนแปลงแบบพลวัต ในสถานะโนดในโครงข่ายไร้แบบเมชซึ่งสลับไป มาระหว่างเปิด และปิด จากผลการทดลองที่รายงานนั้น ระบบที่มีหน่วยเรียนรู้ดีกว่าระบบที่ไม่มี หน่วยเรียนรู้อย่างน้อย 3.98% ถึงมากสุดที่ 31.55% โดยพิจารณาจากฟังก์ชันมูลค่ารางวัลร่วม
Recommended Citation
Htut, Aung Myo, "Reinforcement learning application in cross-layered adaptive wireless image sequence streaming cloud for road traffic monitoring system" (2022). Chulalongkorn University Theses and Dissertations (Chula ETD). 74850.
https://digital.car.chula.ac.th/chulaetd/74850