Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การสร้างคืนภาพความละเอียดสูงยิ่งยวดเวลาจริงสำหรับเอฟพีจีเอแบบชิปที่มีระบบประมวลผล
Year (A.D.)
2021
Document Type
Thesis
First Advisor
Supavadee Aramvith
Second Advisor
Takao Onoye
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Electrical Engineering (ภาควิชาวิศวกรรมไฟฟ้า)
Degree Name
Doctor of Philosophy
Degree Level
Doctoral Degree
Degree Discipline
Electrical Engineering
DOI
10.58837/CHULA.THE.2021.138
Abstract
In recent years, image super-resolution (SR) techniques based on Convolutional Neural Network (CNN) have achieved impressive attention from computer vision scholars and artificial intelligence (AI) companies. Due to the necessity of using the SR algorithms in real-world applications, designing an efficient and lightweight SR algorithm that improves the sharpness and visual quality of the SR results is a critical issue in real-time hardware implementation. To address these issues, we proposed the Multi-FusNet of Cross Channel Network (MFCC) network by constructing the groups of Residual-in-Residual architecture under the multi-path cascading framework. Additionally, a residual connection is used to transfer the low-level features of the early layer to the reconstructed SR image. The proposed SR model is initially trained with the GPU's training image dataset. To implement our trained model in System on Chip FPGA, the size of the proposed model is required to reduce. We convert the floating-point checkpoint into a fixed-point integer checkpoint in the quantization procedure. According to the experimental results, the proposed method reduces the number of network parameters significantly (8.4 times compared to RCAN), can execute fast in System On Chip FPGA, around 30 frames per second, and image accuracy of the proposed method in terms of PSNR value does not decrease over 1 dB.
Other Abstract (Other language abstract of ETD)
ในปัจจุบัน การสร้างคืนภาพความละเอียดสูงยิ่งยวดใช้เทคนิคภายใต้โครงข่ายประสาทเทียมแบบคอนโวลูชั่น ได้รับความสนใจอย่างมาก ในการใช้งานด้านคอมพิวเตอร์วิชชั่นและบริษัทที่ทำเกี่ยวกับปัญญาประดิษฐ์ อย่างไรตามวิธีการการสร้างคืนความละเอียดสูงยิ่งยวดต้องใช้ทรัพยากรในการประมวลที่ต้องใช้พลังงานสูง และการใช้หน่วยความจำจำนวนมาก ซึ่งปัญหาที่สำคัญ ในการนำไปใช้งานจริง คือ การออกแบบให้มีประสิทธิภาพและโมเดดมีขนาดเหมาะสม ปรับปรุงความคมชัดและคุณภาพของภาพไม่เสียไป โดยการแก้ไขดังกล่าว เราจึงเสนอโครงข่ายข้ามช่องสัญญาณตกค้างรวมหลายทาง จากการใช้สัญญาณตกค้างในสัญญาตกค้างภายใต้การเชื่อมต่อหลายทาง พร้อมทั้งคุณลักษณะพื้นฐานของชั้นข้อมูลก่อนหน้าในการสร้างคืนภาพความละเอียดสูง โดยใช้การฝึกฝนโมเดลกับฐานข้อมูลจากการใช้การ์ดประมวลผลภาพ และนำไปใช้งานกับเอฟพีจีเอแบบชิปที่มีระบบประมวลผลโดยการใช้เทคนิคการแบบนับ จากข้อมูลแบบอิงดรรชนีเป็นไม่อิงดรรชนีแบบจำนวนเต็ม ไปประมวลผลโดยใช้โมดูลดีพียู โดยผลการทดลองแสดงเห็นว่า วิธีการที่นำเสนอสามารถลดขนาดตัวแปรได้อย่างมีนัยสำคัญ (8.4 เท่าเมื่อเทียบกับวิธีการแบบอาร์ซ๊เอเอ็น) โดยที่รักษาคุณภาพของภาพและค่าพีเอสเอ็นอาร์กับเทคนิคทันสมัยต่างๆ อีกทั้งสามารถนำไปประมวลผลเอฟพีจีเอแบบชิปที่มีระบบประมวลผลด้วยความเร็ว 30 เฟรมต่อวินาที และภาพมีความถูกต้องในรูปแบบการวัดค่าแบบพีเอสเอ็นอาร์ไม่ลดลงน้อยกว่า 1 เดซิเบล
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Ruangsang, Watchara, "Real-time image super-resolution reconstruction for system on chip FPGA" (2021). Chulalongkorn University Theses and Dissertations (Chula ETD). 4680.
https://digital.car.chula.ac.th/chulaetd/4680