Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การสกัดความสัมพันธ์เชิงลึกจากข้อความชีวเวชด้วยกลไกจุดสนใจและตัวแทนข้อมูลแบบพึ่งบริบทเฉพาะด้าน
Year (A.D.)
2018
Document Type
Thesis
First Advisor
Peerapon Vateekul
Second Advisor
Duangdao Wichadakul
Faculty/College
Faculty of Engineering (คณะวิศวกรรมศาสตร์)
Department (if any)
Department of Computer Engineering (ภาควิชาวิศวกรรมคอมพิวเตอร์)
Degree Name
Master of Engineering
Degree Level
Master's Degree
Degree Discipline
Computer Engineering
DOI
10.58837/CHULA.THE.2018.150
Abstract
The biomedical relation extraction (RE) tasks aim to study the interaction between pre-defined entities from biomedical literature: Bacteria Biotope (BB) and Drug-Drug interactions (DDI) tasks. Some previous investigations have used feature-based models; others have presented deep-learning-based models such as convolutional and recurrent neural networks used with the shortest dependency paths (SDPs). Although SDPs contain valuable and concise information, sections of significant information necessary to define bacterial location relationships are often neglected. In addition, the traditional word embedding used in previous studies may suffer from word ambiguation across linguistic contexts. Here, we present a deep learning model for biomedical RE. The model incorporates feature combinations of SDPs and full sentences with various attention mechanisms. We also used pre-trained contextual representations based on domain-specific vocabularies. In order to assess the model's robustness, we introduced a mean F score on many models using different random seeds. The experiments were conducted on the BB corpus in BioNLP-ST'16 and the DDI corpus in BioNLP-ST'13. For the BB task, our experimental results revealed that our proposed model performed better (in terms of both maximum and average F scores; 60.77% and 57.63%, respectively) compared with other existing models. For the DDI task, our proposed model also gets state-of-the-art performance with a maximum F score of 80.3% and a mean F score of 77.7%. In conclusion, we demonstrated that our proposed contributions to this task can be used to extract rich lexical, syntactic, and semantic features that effectively boost the model's performance. Moreover, we analyzed the correct and incorrect predictions of our model to determine the related factors that affected the model's performance.
Other Abstract (Other language abstract of ETD)
การสกัดความสัมพันธ์แบบชีวเวชเป็นงานที่ต้องการจะศึกษาความสัมพันธ์ระหว่างคำเฉพาะที่ถูกกำหนดไว้ออกจากเอกสารทางชีวเวชซึ่งถูกมองว่าเป็นพื้นฐานสำคัญทางด้านเทคโนโลยีชีวภาพ ตัวอย่างชุดข้อมูลของงานดังกล่าว ได้แก่ การศึกษาความสัมพันธ์ของแบคทีเรียกับแหล่งที่อยู่ และการศึกษาความสัมพันธ์ของชื่อยา วิธีที่ได้รับความนิยมเป็นอย่างมากในงานวิจัยที่ผ่านมา คือ การใช้โมเดลเรียนรู้จากลักษณะหรือโมเดลเรียนรู้เชิงลึก ประกอบกับการใช้โครงสร้างประโยคเชิงพึ่งพิงที่สั้นที่สุด ซึ่งถูกนำเสนอมาและแสดงให้เห็นว่าให้ผลลัพธ์ที่ดี แต่การเรียนรู้จากโครงสร้างประโยคเชิงพึ่งพิงจะมีข้อจำกัดที่จำเป็นจะต้องตัดคำบางคำในประโยคออกไป ซึ่งนำไปสู่การที่โมเดลเรียนรู้จากประโยคที่เหลือได้ไม่เพียงพอ และการแทนที่คำด้วยเวกเตอร์แบบไม่พึ่งบริบทซึ่งถูกใช้ในงานวิจัยก่อน ๆ ที่ผ่านมา อาจจะนำไปสู่ปัญหาความกำกวมของคำได้ งานวิจัยชิ้นนี้ต้องการจะนำเสนอการสกัดความสัมพันธ์เชิงชีวเวชด้วยโมเดลเรียนรู้เชิงลึก ซึ่งเป็นการใช้ลักษณะสำคัญทั้งโครงสร้างประโยคทั้งหมดและโครงสร้างประโยคเชิงพึ่งพิงแบบสั้นที่สุด ประกอบกับกลไกจุดสนใจ นอกจากนั้นยังมีการใช้การแทนที่คำและประโยคด้วยตัวแทนข้อมูลแบบพึ่งบริบทเฉพาะด้าน และงานวิจัยชิ้นนี้ต้องการที่จะวัดประสิทธิภาพโดยรวมของโมเดลด้วย โดยจะแสดงถึงความทนทานของประสิทธิภาพของโมเดลต่อการสุ่มเวกเตอร์ตั้งต้นของโมเดลในหลาย ๆ ครั้ง เพื่อการันตีประสิทธิภาพของโมเดลในการนำไปใช้งานจริงบนโปรแกรมสำเร็จประยุกต์ โดยที่เมื่อเปรียบเทียบกับงานวิจัยอื่น ๆ ที่เป็นมาตรฐานอยู่ในปัจจุบัน ผลการทดลองบนชุดข้อมูลความสัมพันธ์ของแบคทีเรียกับแหล่งที่อยู่แสดงให้เห็นว่าโมเดลที่ใช้วิธีการที่นำเสนอทั้งหมดให้ผลลัพธ์ที่ดีที่สุดบนค่าวัดประสิทธิภาพ (F score) ทั้งค่าที่มากที่สุดและค่าเฉลี่ยอยู่ที่ 60.77%และ 57.63% ตามลำดับ นอกจากนี้โมเดลที่นำเสนอยังให้ผลลัพธ์ที่ดีที่สุดบนชุดข้อมูลความสัมพันธ์ของชื่อยา ด้วยค่าวัดประสิทธิภาพ (F score) มากที่สุดและค่าเฉลี่ยอยู่ที่ 80.3% และ 77.7%ตามลำดับ งานวิจัยชิ้นนี้ได้แสดงให้เห็นว่าวิธีการที่ได้นำเสนอไปทั้งหมดสามารถสกัดคุณลักษณะที่สำคัญของโครงสร้างประโยคและเป็นประโยชน์ต่อการเรียนรู้โมเดลเชิงลึกได้เป็นอย่างดี นำไปสู่ประสิทธิภาพที่ดีที่สุดของโมเดลที่นำเสนอเมื่อเทียบกับโมเดลมาตรฐานต่าง ๆ นอกจากนี้ยังมีการวิเคราะห์ผลการทำนายที่ทั้งถูกและผิดของโมเดลที่นำเสนอ เพื่อนำไปสู่การวิเคราะห์ตัวแปรที่ส่งผลต่อประสิทธิภาพของโมเดล
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Jettakul, Amarin, "A deep relation extraction from biomedical texts with attention mechanisms and domain-specific contextual representations" (2018). Chulalongkorn University Theses and Dissertations (Chula ETD). 2281.
https://digital.car.chula.ac.th/chulaetd/2281