Chulalongkorn University Theses and Dissertations (Chula ETD)

Foreground rejection for parallax removal in video sequence stitching

Other Title (Parallel Title in Other Language of ETD)

การปฏิเสธพื้นหน้าเพื่อกำจัดปรากฏการณ์ภาพเหลื่อมในการเชื่อมต่อลำดับวีดิทัศน์

Year (A.D.)

2011

Document Type

Thesis

First Advisor

Supatana Auethavekiat

Second Advisor

Duangrat Gansawat

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

Master of Engineering

Degree Level

Master's Degree

Degree Discipline

Electrical Engineering

DOI

10.58837/CHULA.THE.2011.1822

Abstract

Parallax is a key challenge that leads to inaccurate registration and ghosting effect of objects in the result of panorama image stitching. A novel foreground rejection method is proposed in this thesis to remove parallax in video sequence stitching. Firstly, the global motion is estimated between two frames using SIFT feature matching. The foreground is obtained by applying the logical OR operators to the pixels that have high displaced frame difference. There are two groups of foreground: the near-frames and the far-frames groups. Then, voting scheme is applied in the way that only the near-frame foreground inside the area of far-frame foreground is considered as the actual foreground. The extracted foreground at this stage is mostly the edges of objects. Since the change of a foreground shape is very small, 2D translation motion from tracking algorithm is used to project foreground (edges) from other frames to the current frame. The edges from other frames are then used to refine the edge in the current frame. The 2-stage rendering is then applied to the extracted edge for the foreground area. The foreground area is refined by the foreground area of other frames mapped to the current frames by 2D translation model. The experimental results of 13 test video sequences indicated that the removal of parallax objects by the proposed foreground rejection method led to (1) more accurate registration, (2) the reduction of the ghosting effect, (3) sharper stitched result and (4) more background information in the results.

Other Abstract (Other language abstract of ETD)

การเกิดปรากฏการณ์ภาพเหลื่อมเป็นปัญหาสำคัญในกระบวนการเชื่อมต่อภาพเข้าด้วยกัน ปรากฏการณ์นี้ส่งผลให้เกิดความผิดพลาดในการปรับพิกัด และปรากฏการณ์ภาพหลอน ในงานวิจัยนี้ จึงนำเสนอวิธีแก้ปัญหาปรากฏการณ์ภาพเหลื่อมด้วยวิธีการปฏิเสธพื้นหน้า กระบวนการนี้เริ่มจาก การประมาณการเคลื่อนที่ของภาพระหว่าง 2 เฟรม โดยการจับคู่ลักษณะเด่นแบบ SIFT แล้วพิจารณาพิกเซลที่มีความแตกต่างระหว่างเฟรมที่มากที่สุดด้วยตัวดำเนินการตรรกะแบบ OR เพื่อสกัดพื้นหน้าออกมา พื้นหน้าที่สกัดได้แบ่งเป็น 2 กลุ่มคือ พื้นหน้าเฟรมใกล้ และพื้นหน้าเฟรมไกล ในการหาพื้นหน้าที่แท้จริงทำจากการโหวตเพื่อหาพิกเซลของพื้นหน้าเฟรมใกล้ที่ปรากฏบริเวณที่มีพื้นหน้าเฟรมไกล พื้นหน้าที่แท้จริงที่สกัดได้ ส่วนใหญ่เป็นขอบของวัตถุ อาศัยคุณสมบัติที่รูปร่างของวัตถุมีการเปลี่ยนแปลงน้อย ดังนั้นสามารถแปลงขอบวัตถุจากเฟรมอื่นมาเฟรมปัจจุบันตามโมเดลการเคลื่อนที่เส้นตรง 2 มิติที่หาได้จากขั้นตอนวิธี tracking ขอบในเฟรมอื่นถูกนำมาใช้ปรับปรุงขอบในเฟรมปัจจุบัน พื้นที่ของวัตถุพื้นหน้าถูกสร้างจากการระบายพื้นที่ 2 ครั้ง และปรับปรุงโดยใช้พื้นที่ของวัตถุพื้นหน้าในเฟรมอื่น ซึ่งถูกเคลื่อนมาในตำแหน่งเฟรมปัจจุบันด้วยโมเดลการเคลื่อนที่เส้นตรง 2 มิติ จากการทดลองกับสัญญาณวีดิทัศน์ 13 ชุด พบว่า การกำจัดปรากฏการณ์ภาพเหลื่อมด้วยวิธีที่นำเสนอ ส่งผลให้ (1) สามารถหาการเคลื่อนที่ได้ถูกต้องมากขึ้น (2) ลดปรากฏการณ์ภาพหลอน (3) ผลลัพธ์ของการเชื่อมต่อมีความคมชัดมากขึ้นและ (4) มีข้อมูลฉากหลังของผลลัพธ์เพิ่มมากขึ้น

Link to Full Text

Share

COinS