Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
โครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกสำหรับวีดิทัศน์ความละเอียดสูงยวดยิ่ง
Year (A.D.)
2022
Document Type
Thesis
First Advisor
Supavadee Aramvith
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
Master of Engineering
Degree Level
Master's Degree
Degree Discipline
Electrical Engineering
DOI
10.58837/CHULA.THE.2022.134
Abstract
In the video application, slow motion is visually attractive and gets more attention in video super resolution. To generate the high-resolution (HR) slow motion video frames from the low-resolution (LR) frames, two sub-tasks are required, including video super-resolution (VSR) and video frame interpolation (VFI). However, the interpolation approach is not successful to extract low level feature attention to get the maximum advantage from the property of space-time relation. To this extent, we propose a deep consecutive attention network-based method. The multi-head attention and an attentive temporal feature module are designed to achieve better prediction of interpolation feature frame. Bi-directional deformable ConvLSTM module aggregates and aligns with the information from the multi-head attention and temporal feature block to improve the quality of video frames. This method synthesizes the HR video frames from LR video frames. The experimental results in terms of PSNR show the proposed method of deep consecutive attention outperforms 0.27 dB and 0.31 dB for Vid4 and SPMC datasets respectively, in average of PSNR compared to state-of-the-art baseline method.
Other Abstract (Other language abstract of ETD)
งานด้านวีดิทัศน์ กระบวนการแสดงการเคลื่อนไหวช้าได้รับความสนใจมากในการสร้างวีดิทัศน์ความละเอียดสูงยวดยิ่ง กระบวนการสร้างวีดิทัศน์ความละเอียดสูงเคลื่อนไหวช้าจากเฟรมที่มีความละเอียดต่ำนี้ แบ่งออกเป็น 2 ส่วน ประกอบไปด้วยการสร้างวีดิทัศน์ความละเอียดสูงยวดยิ่งและการประมาณค่าเฟรมวีดิทัศน์ อย่างไรก็ดี แนวทางการประมาณค่าดังกล่าวนั้นไม่ประสบผลสำเร็จในการสกัดคุณลักษณะที่สนใจระดับต่ำ เพื่อให้ได้รับประโยชน์สูงสุดจากคุณสมบัติของความสัมพันธ์ของปริภูมิเชิงเวลา ในการแก้ไขปัญหาดังกล่าว เรานำเสนอวิธีการภายใต้การใช้โครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกสำหรับวีดิทัศน์ความละเอียดสูงยวดยิ่ง จากการใช้กลไกเน้นความสนใจหลายหัวและโมดูลเน้นความสนใจของคุณลักษณะเชิงเวลา เพื่อให้การคาดเดาการประมาณค่าคุณลักษณะเฟรมได้ดีขึ้น โมดูลคอนแอลเอสดีเอ็ม (ConvLSTM) ที่เปลี่ยนรูปได้แบบสองทิศทาง และจัดกับข้อมูลจากกลไกเน้นความสนใจหลายหัวและกลุ่มคุณลักษณะเชิงเวลาเพื่อเพิ่มคุณภาพของเฟรมวีดิทัศน์ วิธีการนี้สังเคราะห์เฟรมวีดิทัศน์ที่มีความละเอียดสูงขึ้นมาจากเฟรมวีดิทัศน์ที่มีความละเอียดต่ำ ผลการทดลองแสดงให้เห็นว่าวิธีการโครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกที่นำเสนอมีประสิทธิภาพในเชิงค่าพีเอสเอ็นอาร์สูงกว่า 0.27 เดซิเบลและ 0.31 เดซิเบลโดยเฉลี่ยสำหรับชุดข้อมูลทดสอบ Vid4 และ SPMC ตามลำดับ เมื่อเปรียบเทียบกับวิธีการทันสมัยที่เป็นพื้นฐานในปัจจุบัน
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Saleem, Talha, "Deep consecutive attention network for video super-resolution" (2022). Chulalongkorn University Theses and Dissertations (Chula ETD). 5845.
https://digital.car.chula.ac.th/chulaetd/5845