Chulalongkorn University Theses and Dissertations (Chula ETD)

Latent variable analysis for image annotation and retrieval

Other Title (Parallel Title in Other Language of ETD)

การวิเคราะห์ตัวแปรแฝงสำหรับการบรรยายและค้นคืนภาพ

Year (A.D.)

2010

Document Type

Thesis

First Advisor

Supavadee Aramvith

Second Advisor

Supakorn Siddhichai

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

Doctor of Engineering

Degree Level

Doctoral Degree

Degree Discipline

Electrical Engineering

DOI

10.58837/CHULA.THE.2010.1723

Abstract

Nowadays, digital photography is very popular type of media used to record important events in everyday’s life. The increasing number of digital images requires a good image database to support image collection and image search. In order to correctly retrieve image according to the user’s query, many researches focus to improve the precision of the retrieval images and the retrieval processing time especially for general image retrieval system using low-level image features where query by words and examples do not have satisfactory retrieval performance. The purpose of this dissertation is thus to develop the image annotation model aimed for higher precision in identifying and retrieving images with acceptable search time and supported query by words or images. The proposed model is called “Two-Probabilistic Latent Semantic Analysis". The proposed model uses two latent variables of probabilistic latent semantic model, of which the first latent variable is used to group the words in an image database that often occurs, and of which the second latent variable is used to group the visual words usually appear in each word. Based on Bag-of-Feature (BoF) technique applied to image annotation, images in the database are represented by counting the number of visual word of the constructed visual vocabulary. Afterward, the BoF of images corresponding to their meaning is used to construct the annotation models namely naïve Bayes, CMRM, and pLSA, comparing with our proposed model, “Two-pLSA". Using the automatic image annotation, an unlabeled image is annotated by the words from the constructed models, and then the annotated words of that image are used for a text index for image retrieval task. Moreover, the performance has been evaluated by the precision and speed to find the best model for supporting the annotation and retrieval tasks. The performance values of both tasks are measured by mean Average Precision (mAP) to compare among 4 annotation models. The results showed that our proposed model used to identify meaningful images offers satisfactory performance both in terms of accuracy and speed of annotation and retrieval with appropriate control parameters. In addition, the proposed model also supports query by words and image examples including unlabeled images in the database taken by the photographers without object segmentation and specific meaning.

Other Abstract (Other language abstract of ETD)

ในปัจจุบันนี้ ภาพถ่ายดิจิทัลถือว่าเป็นสื่อประเภทหนึ่งที่ได้รับความนิยมที่ใช้ในการบันทึก เหตุการณ์สำคัญที่เกิดขึ้นในชีวิตประจำวัน ด้วยจำนวนภาพดิจิทัลที่เพิ่มมากขึ้นจึงต้องการฐานข้อมูลภาพที่รองรับทั้งการจัดเก็บและค้นหาภาพ เพื่อที่จะสามารถค้นคืนภาพได้อย่างถูกต้องตามการสอบถามของผู้ใช้จึงทำให้นักวิจัยมุ่งประเด็นในการปรับปรุงความแม่นยำของการค้นคืนภาพ และ เวลาในประมวลผลสำหรับการค้นคืนภาพ โดยเฉพาะอย่างยิ่งในระบบการค้นคืนภาพทั่วไปจะใช้ลักษณะเฉพาะระดับล่างของภาพ ซึ่งการค้นหาด้วยคำและตัวอย่างนั้นประสิทธิภาพของการค้นคืนไม่เป็นที่น่าพอใจ จุดประสงค์ของวิทยานิพนธ์เรื่องนี้ คือ การพัฒนาแบบจำลองการบรรยายภาพที่ให้ความแม่นยำสูงสำหรับการระบุและค้นคืนภาพ โดยใช้เวลาในการค้นหาที่ยอมรับได้ อีกทั้งรองรับการค้นหาหลายรูป เช่น คำ หรือ ภาพ โดยที่แบบจำลองที่นำเสนอถูกเรียกว่าแบบจำลองการวิเคราะห์ความน่าจะเป็นเชิงความหมายแบบสองตัวแปรแฝง (Two-Probabilistic Latent Semantic Analysis)แบบจำลองที่นำเสนอใช้สองตัวแปรแฝงของแบบจำลองความน่าจะเชิงความหมายแฝง ซึ่งตัวแปรแฝงตัวแรกถูกใช้ในการจัดกลุ่มของคำในฐานข้อมูลที่มักจะเกิดขึ้นพร้อมกัน และ ตัวแปรแฝงที่สองถูกใช้ในการจัดกลุ่มคำภาพที่มักจะเกิดขึ้นด้วยกันในแต่ละคำ ด้วยเทคนิคของกระเป๋าคุณลักษณะ (Bag-of-Feature) ที่นำไปใช้กับการบรรยายภาพ ซึ่งภาพในฐานข้อมูลถูกแทนด้วยการนับจำนวนคำภาพของพจนานุกรมภาพ จากนั้นกระเป๋าคุณลักษณะของภาพร่วมกับความหมายของภาพนั้นถูกไปใช้สร้างแบบจำลองการบรรยายภาพ ได้แก่ naïve Bayes CMRM และ pLSA เปรียบเทียบกับแบบจำลองที่นำเสนอ โดยการบรรยายความหมายอย่างอัตโนมัติ ภาพที่ปราศจากการระบุความหมายจะถูกบรรยายด้วยคำจากแบบจำลองที่สร้างขึ้นแล้วคำเหล่านี้ในแต่ละภาพถูกใช้เป็นดัชนีคำ สำหรับงานการค้นคืนภาพ นอกจากนี้ประสิทธิภาพของระบบถูกประเมินด้วยความแม่นยำและความเร็ว เพื่อที่จะหาแบบจำลองที่ดีที่สุดที่รองรับการบรรยายและการค้นค้นคืนด้วยค่า ค่าเฉลี่ยของค่าเฉลี่ยความแม่นยำ (mean Average Precision) ที่เปรียบเทียบระหว่าง แบบจำลองของการบรรยายภาพ 4 แบบจำลอง จากผลที่ได้แสดงให้เห็นว่าแบบจำลองที่นำเสนอที่สามารถระบุความหมายของภาพให้ประสิทธิภาพที่เพียงพอทั้งเชิงความแม่นยำและความเร็วของการบรรยายและการค้นคืน ด้วยพารามิเตอร์ควบคุมที่เหมาะสม นอกจากนี้ แบบจำลองที่นำเสนอยังสามารถรองรับการทำงานด้วยการค้นหาภาพด้วยคำ และ ตัวอย่างของภาพ ที่ประกอบไปด้วยภาพที่ปราศจากการระบุความหมายในฐานข้อมูลที่ได้จากช่างภาพโดยทั่วไปด้วยปราศจากเทคนิคการแยกส่วนภาพและการระบุความหมายด้วยมนุษย์

Link to Full Text

Share

COinS