Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Mango object detection and counting using deep learning
Year (A.D.)
2023
Document Type
Thesis
First Advisor
พรรณราย ศิริเจริญ
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
วิทยาศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิศวกรรมคอมพิวเตอร์
DOI
10.58837/CHULA.THE.2023.1407
Abstract
มะม่วงเป็นสินค้าเกษตรส่งออกที่มีความสำคัญทางเศรษฐกิจของประเทศไทย จึงมีความต้องการคาดการณ์ผลผลิตเพื่อวางแผนขั้นตอนการเก็บเกี่ยวอย่างมีประสิทธิภาพ งานวิจัยนี้ ได้นำเสนอการตรวจจับผลมะม่วงบนลำต้นด้วยโมเดลการเรียนรู้เชิงลึก Mask R-CNN โดยใช้โครงข่ายแบบ RestNext-101-32x8d สำหรับสกัดคุณลักษณะ ทั้งได้พัฒนาการเพิ่มความหลากหลายของข้อมูลในการเรียนรู้โมเดลการลบวัตถุด้วยการบดบังบางส่วน Random Erasing with Partial Occlusion เพื่อเพิ่มประสิทธิภาพแก้ไขปัญหาการบดบังของวัตถุ โดยมีผลลัพธ์การตรวจจับ mAP@0.5 ที่ 0.879, Precision ที่ 0.944, Recall ที่ 0.790 และ F1-score ที่ 0.860 โดยมีค่า Precision, Recall, F1-score เพิ่มขึ้น 0.022, 0.004 และ 0.011 ตามลำดับ เนื่องจากโมเดลตรวจจับไม่สามารถที่จะคาดการณ์ผลผลิตได้ทั้งหมด พบว่าผลมะม่วงไม่ได้แสดงออกภายนอกต้นทั้งหมด มีจำนวนผลมะม่วงที่อยู่ภายในลำต้นจำนวนมาก งานวิจัยนี้ได้นำเสนอ การคาดการณ์ผลผลิตที่ได้ผลลัพธ์จากการตรวจจับผลมะม่วง ด้วยโมเดลการถดถอย ซึ่งวิเคราะห์การถดถอยของข้อมูลที่บันทึกได้จากการนับจริงบนลำต้น เทียบผลลัพธ์การนับจากโมเดลการตรวจจับ จากผลการทดลองดีที่สุด ผลลัพธ์การนับจากโมเดลตรวจจับ ของภาพถ่ายลำต้นมะม่วงในระดับสายตา ลักษณะเห็นทั้งต้นแบบ 2 ด้าน โดยการใช้ฟังก์ชันการถดถอยแบบพหุนามดีกรีสี่ และการประมาณค่าพารามิเตอร์แบบแกร่งด้วยฟังก์ชัน Huber ได้ผลลัพธ์ค่าเฉลี่ยของค่าสัมบูรณ์เปอร์เซ็นต์ความคลาดเคลื่อน (MAPE) ที่ 25.04% ต่อต้น ค่าเฉลี่ยผลต่างสัมบูรณ์ (MAE) ที่ 5.52 ผลต่อต้น จากการพัฒนา สามารถนำระบบปรับใช้งานกับสถานการณ์จริง เพื่อคาดการณ์ผลผลิตมะม่วงบนลำต้นได้
Other Abstract (Other language abstract of ETD)
Mango, an important agricultural crop in Thailand, requiring yield estimation in order to plan for the harvest stage effectively. This research proposed mango fruit detection on the tree canopy utilizing the deep learning model Mask R-CNN with RestNext-101-32x8d backbone for feature extraction. To enhance the efficiency of occlusion issues, we have introduced Random Erasing with Partial Occlusion in image augmentation process. The object detection model achieved outstanding results with a mAP@0.5 score of 0.879, a precision score of 0.944, a recall score of 0.790 and an F1-score of 0.860. Which is increased by 0.022, 0.004 and 0.011 for precision, recall and F1-score, respectively with partial occlusion technique. However, the detection model is unable to correctly predict the total yield. It was discovered that not all mango fruits were visible on the outside of the tree; there were several mango fruits hidden within the tree. This research demonstrates yield estimating using regression models. The method performs an analysis of data obtained from the actual of number of mangoes, comparing with a predicted number of mangoes by our model. The best result from the experiments is a combined result of detected fruits of the images captured from double-side from of the canopy tree, and the fourth-order polynomial utilizing the Huber regressor for actual amount of fruit estimation achieves the highest performance with a mean absolute percentage error (MAPE) of 25.04% per tree and mean absolute error (MAE) score of 5.52 per tree. The proposed detection and estimation can be implemented in applications.
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
จันทร์ดา, อภิศักดิ์, "การตรวจจับมะม่วงและนับผลผลิตด้วยการเรียนรู้เชิงลึก" (2023). Chulalongkorn University Theses and Dissertations (Chula ETD). 73913.
https://digital.car.chula.ac.th/chulaetd/73913