Chulalongkorn University Theses and Dissertations (Chula ETD)

A real-time 3D tracking system using multiple cameras

Other Title (Parallel Title in Other Language of ETD)

ระบบติดตามการเคลื่อนที่ของวัตถุใน 3 มิติแบบเวลาจริงโดยใช้กล้องหลายตัว

Year (A.D.)

2006

Document Type

Thesis

First Advisor

Viboon Sangveraphunsiri

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

Doctor of Engineering

Degree Level

Doctoral Degree

Degree Discipline

Mechanical Engineering

DOI

10.58837/CHULA.THE.2006.1591

Abstract

Tracking an object in three dimensional space is a major issue in computer vision which is normally solved through the extraction of representative features of the object, and two-dimension coordinates of the series of these image features are used to compute the position of the object. Typical system uses a binocular stereovision system. For environment with obstruction, only two cameras is not practical, multiple cameras are used instead. When multiple cameras are used, a certain similarity measure among extracted features from any two stereoscopic images helps to match the correspondences. In this way, three-dimensional measurement can be obtained from the 2-D coordinate of the features extracted from the different cameras. In this research, a multiple cameras system (four cameras) and PC-cluster (Two microcomputers) are used for estimating both position and velocity of a specified moving object. Noise filtering and features extraction of images are performed in the PC-cluster at video rate. Then, the extracted features from every camera will be used to locate the object. This is done in the main computer. The synchronization mechanism between computers has been developed using PCI-to-PCI data movers with fiber optic connection. The developed system can use both Tsai's method and Zhang's method for calibrating the system. For Zhang's method, we purpose a modified distortion model to reduce the computation time in 3-D reconstruction process. In our experiments, we setup the system to track 3-D paths which are generated by the PA10 robotic arm. The results show that the system can track both position and velocity of moving object in real-time with acceptable accuracy. Moreover, we show that the system can be adapted to be used for the reverse engineering application.

Other Abstract (Other language abstract of ETD)

การติดตามการเคลื่อนที่ของวัตถุในสามมิติเป็นหนึ่งในประเด็นหลักของงานวิจัยที่เกี่ยวข้องกับระบบการมองเห็น ปกติการหาพิกัดสามมิติของวัตถุด้วยระบบกล้องจะใช้กล้องสองตัว ในกรณีที่มีกล้องตัวใดตัวหนึ่งไม่สามารถจับภาพของวัตถุได้ระบบก็จะไม่สามารถหาตำแหน่งของวัตถุได้ การใช้กล้องหลายตัวสามารถแก้ปัญหาดังกล่าวได้ แต่ก็ทำให้ใช้เวลาในการคำนวณมากขึ้นด้วย จึงเป็นไปได้ยากที่ระบบทำงานแบบเวลาจริง ในการทดลองนี้จึงได้พัฒนาระบบการมองเห็นที่ใช้กล้อง 3-4 ตัวเพื่อใช้ติดตามการเคลื่อนที่ของวัตถุในสามมิติทั้งตำแหน่งและความเร็ว โดยใช้กลุ่มของคอมพิวเตอร์ที่ประกอบไปด้วยคอมพิวเตอร์ 2 ตัว ช่วยกันคำนวณเพื่อลดเวลาในการประมวลผลทำให้ระบบทำงานได้แบบเวลาจริง คอมพิวเตอร์ทั้งสองอันได้แก่เครื่องคอมพิวเตอร์โลคอลและคอมพิวเตอร์รีโมท จะทำการถ่ายภาพวัตถุ กรองสัญญาณรบกวน และหาพิกัดภาพ 2 มิติของวัตถุพร้อมกันทั้งสองเครื่อง ก่อนที่คอมพิวเตอร์รีโมทจะส่งพิกัดภาพ 2 มิติที่ได้มาให้คอมพิวเตอร์โลคอล เพื่อให้เครื่องโลคอลประมวลผลหาพิกัด 3 มิติของวัตถุ เพื่อให้คอมพิวเตอร์ทั้งสองทำงานสอดคล้องกันงานวิจัยนี้จึงได้พัฒนาระบบการทำงานร่วมกันระหว่างคอมพิวเตอร์สองเครื่องโดยใช้แผ่นวงจรแบบซีพีไอสำหรับเคลื่อนย้ายข้อมูลผ่านใยแก้วนำแสง ระบบที่พัฒนาสามารถสอบเทียบกล้องโดยใช้ได้ทั้งระเบียบวิธีของ Tsai และ Zhang สำหรับการสอบเทียบด้วยระเบียบวิธีของ Zhang นั้นได้มีการปรับแก้แบบจำลองความบิดเพี้ยนของเลนส์ เพื่อให้ใช้ในการคำนวณพิกัด 3 มิติได้เร็วขึ้น ในส่วนของการทดลองในงานวิจัยนี้ได้ใช้แขนกล PA10 เพื่อสร้างเส้นทางการเคลื่อนที่ใน 3 มิติ พบว่าระบบที่พัฒนาสามารถติดตามการเคลื่อนที่ของวัตถุใน 3 มิติแบบเวลาจริงได้ทั้งตำแหน่งและความเร็ว โดยมีความแม่นยำในระดับที่ยอมรับได้ นอกจากนี้ในงานวิจัยนี้ยังแสดงให้เห็นว่า ระบบที่พัฒนาสามารถนำไปประยุกต์ใช้เป็นเครื่องวัดพิกัด 3 มิติสำหรับงานวิศวกรรมย้อนกลับ

Link to Full Text

Share

COinS