Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)


Year (A.D.)


Document Type


First Advisor

Thiparat Chotibut


Faculty of Science (คณะวิทยาศาสตร์)

Department (if any)

Department of Physics (ภาควิชาฟิสิกส์)

Degree Name

Master of Science

Degree Level

Master's Degree

Degree Discipline





Recurrent Neural Networks (RNNs) have shown an incredible performance in supervised machine learning tasks such as Natural Language Processing (NLP). However, theoretical understanding of RNNs' performances in NLP are still limited due to intrinsically complex non-linear computations of RNNs. This thesis explores a class of RNNs called Recurrent Arithmetic Circuits (RACs), possessing a dual mathematical representation as a Matrix Product State (MPS) widely used in many-body quantum physics. The duality allows us to compute the entanglement entropy of an MPS, which can be used as a proxy for information propagation in the dual neural networks, to phenomenologically explain the RNNs-based model prediction accuracy's behaviors in NLP. We found that the entanglement entropy saturates when the accuracy saturates in the fixed word embedding case. The unfixed word embedding experiments also reveal that the entanglement entropy of the RACs is decaying as the word embedding becomes more meaningful, as reflected by the behaviors of cosine similarity between word embeddings. This thesis sheds light on more transparent and explainable behaviors of RNNs-based machine learning in NLP, using tools from many-body quantum physics.

Other Abstract (Other language abstract of ETD)

โครงข่ายประสาทเทียมแบบวนซ้ำ (Recurrent Neural Network: RNN) เป็นการเรียนรู้ของเครื่องประเภทหนึ่งซึ่งมีความสามารถในการแก้ปัญหาจำพวกการประมวลผลภาษาธรรมชาติได้เป็นอย่างดี แต่การทำความเข้าใจพฤติกรรมของมันในทางทฤษฎีนั้นเป็นเรื่องที่เป็นไปได้ยากเนื่องจากการคำนวณภายในที่มีความซับซ้อน ในงานนี้เราทำการศึกษา RNN ประเภทหนึ่งที่มีชื่อว่า Recurrent Arithmetic Circuit หรือ RAC ซึ่งสามารถแปลงเป็น Matrix Product State (MPS) ที่ถูกใช้อย่างแพร่หลายในควอนตัมฟิสิกส์ได้ สิ่งนี้ช่วยให้เราสามารถคำนวณ Entanglement Entropy ของ MPS ซึ่งสามารถใช้อธิบายการส่งผ่านข้อมูลของโมเดลเพื่ออธิบายพฤติกรรมความถูกต้องที่เกิดขึ้นในการประมวลผลภาษาธรรมชาติ เราพบว่า Entanglement Entropy นั้นจะอิ่มตัวเมื่อความถูกต้องอิ่มตัวในกรณีของ Word Embedding มีค่าคงที่ ในกรณีที่ Word Embedding นั้นไม่ได้ถูกตั้งให้มีค่าคงที่ Entanglement Entropy นั้นมีค่าที่ลดลงเรื่อย ๆ เมื่อ Word Embedding มีความสามารถที่เพิ่มขึ้นโดยวัดจาก Cosine Similarity งานของเราช่วยให้การเรียนรู้ของเครื่องประเภท RNN สามารถถูกอธิบายได้มากยิ่งขึ้น

Included in

Physics Commons



To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.