Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การตรวจจับและการระบุตำแหน่งเหตุการณ์ผิดปกติบนพื้นฐานการสร้างเครือข่ายปรปักษ์เชิงลึกสำหรับวิดีโอเฝ้าระวัง
Year (A.D.)
2020
Document Type
Thesis
First Advisor
Supavadee Aramvith
Second Advisor
Nicu Sebe
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
Doctor of Philosophy
Degree Level
Doctoral Degree
Degree Discipline
Electrical Engineering
DOI
10.58837/CHULA.THE.2020.155
Abstract
Anomaly detection is of great significance for intelligent surveillance videos. Current works typically struggle with object detection and localization problems due to crowded scenes and lack of sufficient prior information of the objects of interest during training, resulting in false-positive detection results. Thus, in this thesis, we propose two novel frameworks for video anomaly detection and localization. We first propose a Deep Spatiotemporal Translation Network (DSTN), a novel unsupervised anomaly detection and localization method based on Generative Adversarial Network (GAN) and Edge Wrapping (EW). In this work, we introduce (i) a novel fusion of background removal and real optical flow frames with (ii) a concatenation of the original and background removal frames. We improve the performance of anomaly localization in the pixel-level evaluation by proposing (iii) the Edge Wrapping to reduce the noise and suppress non-related edges of abnormal objects. DSTN is a successful approach, providing good performance regarding anomaly detection accuracy and time complexity for surveillance videos. However, the false-positive problem has still occurred in the scene. Thus, we continue to propose Deep Residual Spatiotemporal Translation Network (DR-STN), a novel unsupervised Deep Residual conditional Generative Adversarial Network (DR-cGAN) model with an Online Hard Negative Mining (OHNM) approach to specifically remove the false-positives. The proposed DR-cGAN provides a wider network to learn a mapping from spatial to temporal representations and enhance the perceptual quality of synthesized images from a generator. Our proposed methods have been tested on publicly available anomaly datasets, including UCSD pedestrian, UMN, and CUHK Avenue, demonstrating superior results over other state-of-the-art methods both in frame-level and pixel-level evaluations.
Other Abstract (Other language abstract of ETD)
การตรวจจับความผิดปกติมีความสำคัญอย่างยิ่งสำหรับวิดีโอเฝ้าระวังอัจฉริยะ งานวิจัยในปัจจุบันมักเจอกับปัญหาการตรวจจับและการระบุตำแหน่งวัตถุ เนื่องจากฉากที่แออัดและการไม่มีข้อมูลเบื้องต้นของวัตถุที่สนใจอย่างเพียงพอในระหว่างการเรียนรู้ของโมเดลซึ่งส่งผลให้ผลการตรวจจับเป็นเท็จ ดังนั้นในวิทยานิพนธ์นี้ จึงเสนอกรอบใหม่สองแบบสำหรับการตรวจจับและการระบุตำแหน่งความผิดปกติในวิดีโอ อันดับแรกเสนอเครือข่ายการแปลเวลาและพื้นที่เชิงลึก ซึ่งเป็นวิธีการตรวจจับและระบุตำแหน่งความผิดปกติแบบใหม่ที่ใช้การเรียนรู้แบบไม่มีผู้สอนบนพื้นฐานการสร้างเครือข่ายปรปักษ์เชิงลึกและการจับขอบ ในงานนี้ได้นำเสนอการรวมกันแบบใหม่ของภาพการลบพื้นหลังและภาพการเคลื่อนที่จริง โดยมีการต่อกันของภาพต้นฉบับและภาพการลบพื้นหลัง และปรับปรุงประสิทธิภาพของการระบุตำแหน่งความผิดปกติในการประเมินระดับพิกเซลโดยเสนอวิธีการจับขอบเพื่อลดสัญญาณรบกวนและลดขอบที่ไม่เกี่ยวข้องกับวัตถุที่ผิดปกติ เครือข่ายการแปลเวลาและพื้นที่เชิงลึกเป็นวิธีที่ประสบความสำเร็จโดยให้ประสิทธิภาพที่ดีเกี่ยวกับความแม่นยำในการตรวจจับความผิดปกติและความซับซ้อนของเวลาสำหรับวิดีโอเฝ้าระวัง อย่างไรก็ตามปัญหาการตรวจจับเป็นเท็จยังคงเกิดขึ้นในฉาก ดังนั้นจึงนำเสนอเครือข่ายการแปลเวลาและพื้นที่ที่เหลือเชิงลึก ซึ่งเป็นโมเดลเครือข่ายปรปักษ์เชิงลึกแบบมีเงื่อนไขที่เหลือแบบใหม่ที่ใช้การเรียนรู้แบบไม่มีผู้สอนด้วยวิธีการทำเหมืองเชิงลบอย่างมากแบบออนไลน์ เพื่อลบผลการตรวจจับที่เป็นเท็จโดยเฉพาะ เครือข่ายการแปลเวลาและพื้นที่ที่เหลือเชิงลึกนำเสนอเครือข่ายที่กว้างขึ้นเพื่อเรียนรู้การทำแผนที่จากการแสดงเชิงพื้นที่ไปจนถึงการแสดงเชิงเวลา และเพิ่มคุณภาพการรับรู้ของภาพที่สังเคราะห์จากเจเนอร์เรเตอร์ วิธีที่นำเสนอทั้งสองวิธีได้รับการทดสอบกับชุดข้อมูลความผิดปกติที่เปิดเผยต่อสาธารณะ ได้แก่ ชุดข้อมูลคนเดินเท้ายูซีเอสดี ชุดข้อมูลยูเอ็มเอ็น และ ชุดข้อมูลซียูเอชเค อเวนิว ซึ่งแสดงให้เห็นถึงผลลัพธ์ที่เหนือกว่าวิธีการแบบใหม่อื่น ๆ ทั้งในการประเมินระดับเฟรมและระดับพิกเซล
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Ganokratanaa, Thittaporn, "Anomalous Event Detection and Localization Based on Deep Generative Adversarial Networks for Surveillance Videos" (2020). Chulalongkorn University Theses and Dissertations (Chula ETD). 200.
https://digital.car.chula.ac.th/chulaetd/200