Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
VISION-BASED BUS ROUTE NUMBER READER
Year (A.D.)
2017
Document Type
Thesis
First Advisor
ธนารัตน์ ชลิดาพงศ์
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
วิศวกรรมศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิศวกรรมคอมพิวเตอร์
DOI
10.58837/CHULA.THE.2017.1375
Abstract
จากข้อจำกัดในการเดินทางด้วยตนเองโดยใช้ระบบขนส่งสาธารณะของผู้พิการสายตาเลือนราง ที่มักมองเลขสายรถประจำทางไม่ชัดเจน จึงจำเป็นต้องอาศัยผู้ช่วยหรือสอบถามจากคนรอบข้าง จึงสร้างแรงบันดาลใจให้เกิดงานวิจัยชิ้นนี้ เพื่อช่วยให้ผู้พิการสายตาเลือนรางสามารถเดินทางโดยรถประจำทางได้อย่างอิสระยิ่งขึ้น งานวิจัยนี้นำเสนอระบบตรวจจับเลขสายรถประจำทางจากภาพ โดยใช้เทคนิคการเรียนรู้ของเครื่องที่สามารถเรียนรู้และสกัดคุณลักษณะจากชุดข้อมูลสอนได้ และใช้เทคนิคการประมวลผลภาพประกอบกับใช้ข้อมูลจีพีเอสของป้ายรถประจำทางที่มีข้อมูลบอกว่าป้ายรถประจำทางนั้นมีรถประจำทางสายใดผ่าน วิเคราะห์และประมวลผลจนได้เลขสายรถประจำทางออกมา โดยขั้นตอนของระบบตรวจจับเลขสายรถประจำทางจากภาพ ประกอบด้วย 4 ขั้นตอนหลัก คือ ขั้นตอนการตรวจจับบริเวณแผงด้านบนรถประจำทาง ขั้นตอนการตรวจหาบริเวณที่มีข้อความ ขั้นตอนการรู้จำข้อความ และขั้นตอนการประมวลผลหลังเพื่อปรับปรุงความแม่นยำ โดยขั้นตอนการตรวจจับบริเวณแผงด้านบนรถประจำทางจะใช้เทคนิคการเรียนรู้ของเครื่องวิธีการฟาสเตอร์อาร์ซีเอ็นเอ็น ในการเรียนรู้ตัวสกัดคุณลักษณะแผงด้านบนรถประจำทางจากชุดข้อมูลสอน และส่งต่อไปยังขั้นตอนการหาบริเวณที่มีข้อความโดยใช้เทคนิคการเรียนรู้ของเครื่องวิธีการฟาสเตอร์อาร์ซีเอ็นเอ็น จากนั้นนำเข้าสู่กระบวนการรู้จำข้อความกูเกิลคลาวด์วิชัน และตัวรู้จำข้อความวิธีหน่วยความจำระยะสั้นระยะยาว สุดท้ายนำผลลัพธ์ที่ได้เข้าสู่ขั้นตอนการประมวลผลหลังเพื่อปรับปรุงความแม่นยำ โดยทำการตัดตัวอักษรที่ไม่เกี่ยวข้อง และใช้ข้อมูลจีพีเอสป้ายรถประจำทาง ในการช่วยแก้ไขคำตอบที่ผิดจากวิธีรู้จำข้อความให้ถูกต้องมากขึ้น จากผลการทดลองในการอ่านสายรถประจำทางพบว่าสามารถอ่านเลขรถประจำทางได้ถูกต้อง 62 เปอร์เซ็นต์ โดยประเมินความถูกต้องจากจำนวนค่าความจริงของแผงรถประจำทาง และจำนวนเลขสายรถประจำทางที่อ่านได้ถูกต้องจากขั้นตอนวิธีที่นำเสนอ
Other Abstract (Other language abstract of ETD)
One of the major difficulties for low vision people is to commute independently using public transportation because they can blurry see and recognize buses that are approaching the bus stop but reading bus route number is still challenging to them. Many low vision people need care-takers to help them or ask other people about what route number the bus approaching. Without any assistance, they may get lost or get injured by an accident. This has inspired us to develop this research that assists the low vision people to maintain their independence for traveling using the public transportation. This research proposes a bus route number recognition system. The method uses machine learning, image processing techniques and the GPS information of the bus stops. The proposed method consists of 4 main steps: the bus panel detection, the text localization, the text recognition and post-processing. In the bus panel detection step, machine learning technique faster R-CNN is applied to build a bus panel detector which localizes the bus panel regions. Text localization based on faster R-CNN is applied to localize text areas. The Google Cloud Vision text recognition and text recognition based on LSTM are used to recognize text after text localization step. Finally, the post-processing is performed to cut the irrelevant characters as well as incorporate GPS information of the image and bus stop to refine the results. From our experiments, our bus route number recognition yields 62 percent of accuracy. This is from the validation by considering the number of correct bus route number recognition results against the ground truth.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
วงศ์ต๊ะ, พิชชากร, "การอ่านเลขสายรถประจำทางจากภาพ" (2017). Chulalongkorn University Theses and Dissertations (Chula ETD). 1865.
https://digital.car.chula.ac.th/chulaetd/1865