Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
การวิเคราะห์ความรู้สึกของงานเขียนที่อธิบายได้ผ่านสถานะเครือข่ายควอนตัม
Year (A.D.)
2021
Document Type
Thesis
First Advisor
Thiparat Chotibut
Faculty/College
Faculty of Science (คณะวิทยาศาสตร์)
Department (if any)
Department of Physics (ภาควิชาฟิสิกส์)
Degree Name
Master of Science
Degree Level
Master's Degree
Degree Discipline
Physics
DOI
10.58837/CHULA.THE.2021.318
Abstract
Recurrent Neural Networks (RNNs) have shown an incredible performance in supervised machine learning tasks such as Natural Language Processing (NLP). However, theoretical understanding of RNNs' performances in NLP are still limited due to intrinsically complex non-linear computations of RNNs. This thesis explores a class of RNNs called Recurrent Arithmetic Circuits (RACs), possessing a dual mathematical representation as a Matrix Product State (MPS) widely used in many-body quantum physics. The duality allows us to compute the entanglement entropy of an MPS, which can be used as a proxy for information propagation in the dual neural networks, to phenomenologically explain the RNNs-based model prediction accuracy's behaviors in NLP. We found that the entanglement entropy saturates when the accuracy saturates in the fixed word embedding case. The unfixed word embedding experiments also reveal that the entanglement entropy of the RACs is decaying as the word embedding becomes more meaningful, as reflected by the behaviors of cosine similarity between word embeddings. This thesis sheds light on more transparent and explainable behaviors of RNNs-based machine learning in NLP, using tools from many-body quantum physics.
Other Abstract (Other language abstract of ETD)
โครงข่ายประสาทเทียมแบบวนซ้ำ (Recurrent Neural Network: RNN) เป็นการเรียนรู้ของเครื่องประเภทหนึ่งซึ่งมีความสามารถในการแก้ปัญหาจำพวกการประมวลผลภาษาธรรมชาติได้เป็นอย่างดี แต่การทำความเข้าใจพฤติกรรมของมันในทางทฤษฎีนั้นเป็นเรื่องที่เป็นไปได้ยากเนื่องจากการคำนวณภายในที่มีความซับซ้อน ในงานนี้เราทำการศึกษา RNN ประเภทหนึ่งที่มีชื่อว่า Recurrent Arithmetic Circuit หรือ RAC ซึ่งสามารถแปลงเป็น Matrix Product State (MPS) ที่ถูกใช้อย่างแพร่หลายในควอนตัมฟิสิกส์ได้ สิ่งนี้ช่วยให้เราสามารถคำนวณ Entanglement Entropy ของ MPS ซึ่งสามารถใช้อธิบายการส่งผ่านข้อมูลของโมเดลเพื่ออธิบายพฤติกรรมความถูกต้องที่เกิดขึ้นในการประมวลผลภาษาธรรมชาติ เราพบว่า Entanglement Entropy นั้นจะอิ่มตัวเมื่อความถูกต้องอิ่มตัวในกรณีของ Word Embedding มีค่าคงที่ ในกรณีที่ Word Embedding นั้นไม่ได้ถูกตั้งให้มีค่าคงที่ Entanglement Entropy นั้นมีค่าที่ลดลงเรื่อย ๆ เมื่อ Word Embedding มีความสามารถที่เพิ่มขึ้นโดยวัดจาก Cosine Similarity งานของเราช่วยให้การเรียนรู้ของเครื่องประเภท RNN สามารถถูกอธิบายได้มากยิ่งขึ้น
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
Mangkang, Chanatip, "Towards explainable sentiment analysis for written reviews via quantum tensor network states" (2021). Chulalongkorn University Theses and Dissertations (Chula ETD). 4860.
https://digital.car.chula.ac.th/chulaetd/4860