Chulalongkorn University Theses and Dissertations (Chula ETD)

ระบบไฟล์สำหรับคลัสเตอร์และกริดที่สนับสนุนการเข้าถึงไฟล์แบบท้องถิ่น

Other Title (Parallel Title in Other Language of ETD)

Grid enable cluster file system with local access supports

Year (A.D.)

2007

Document Type

Thesis

First Advisor

วีระ เหมืองสิน

Faculty/College

Faculty of Engineering (คณะวิศวกรรมศาสตร์)

Degree Name

วิศวกรรมศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

วิศวกรรมคอมพิวเตอร์

DOI

10.58837/CHULA.THE.2007.1367

Abstract

ในระบบกริดส่วนใหญ่ การประมวลผลจะเกิดขึ้นที่เครื่องคลัสเตอร์คอมพิวเตอร์ ส่วนไฟล์ที่ใช้ในการทำงานจะเก็บอยู่ที่เครื่องให้บริการไฟล์ การทำงานจะมีขั้นตอนเพิ่มเติมคือการเคลื่อนย้ายไฟล์อินพุตและเอาท์พุตระหว่างเครื่องให้บริการไฟล์และเครื่องคอมพิวเตอร์ที่ประมวลผล ซึ่งในสภาพแวดล้อมการทำงานของกริดและคลัสเตอร์คอมพิวเตอร์นั้น เครื่องให้บริการไฟล์และเครื่องที่ประมวลผลมักจะอยู่ต่างสถานที่กัน โดยในคลัสเตอร์คอมพิวเตอร์การเคลื่อนย้ายไฟล์จะทำผ่านข่ายงานบริเวณเฉพาะที่ (LAN) ส่วนในระบบกริดนั้นอาจจะต้องเคลื่อนย้ายไฟล์ผ่านระบบอินเตอร์เน็ต หากงานที่ทำเป็นประเภทใช้งานข้อมูลปริมาณมาก ขั้นตอนการเคลื่อนย้ายไฟล์นี้จะส่งผลให้เวลาที่ใช้ในการทำงานเพิ่มมากขึ้นตามแบนด์วิดท์ระหว่างเครื่องต้นทางและปลายทางโดยเฉพาะอย่างยิ่งในกรณีของงานประเภทกระแสงาน จำนวนครั้งของการเคลื่อนย้ายไฟล์ก็จะมากขึ้นตามจำนวนขั้นตอนของงาน วิทยานิพนธ์ฉบับนี้นำเสนอการออกแบบและการพัฒนาระบบที่ใช้จัดการไฟล์ภายในคลัสเตอร์คอมพิวเตอร์และองค์กรเสมือนเพื่อสนับสนุนการทำงานแบบส่งงานไปหาข้อมูล ไฟล์ที่ใช้ในงานจะถูกสร้างและเก็บบนคลัสเตอร์คอมพิวเตอร์แทนการส่งผ่านเครือข่ายไปเก็บที่เครื่องให้บริการไฟล์ ผู้ใช้และโปรแกรมจัดลำดับงานสามารถสอบถามระบบถึงตำแหน่งไฟล์เพื่อส่งงานถัดไปไปยังเครื่องที่มีไฟล์เก็บอยู่ได้ จากผลการทดลองสามารถสรุปได้ว่า สำหรับงานประเภทใช้ข้อมูลปริมาณมากที่มีลักษณะเป็นกระแสงาน การทำงานที่อ่านเขียนไฟล์แบบท้องถิ่นใช้เวลาน้อยกว่าการอ่านเขียนไฟล์ที่มีการเคลื่อนย้ายไฟล์ผ่านเครือข่ายที่นอกจากต้องจะเสียเวลาในการเคลื่อนย้ายไฟล์แล้ว ยังอาจเกิดปัญหาคอขวดที่เครื่องให้บริการไฟล์ ในกรณีที่มีหลายๆ โปรเซสอ่านเขียนไฟล์พร้อมๆ กันอีกด้วย

Other Abstract (Other language abstract of ETD)

On most grid systems, computation takes place on cluster computers, while data files are stored on file servers. Executing jobs requires an additional stage to transfer input and output files between file servers and computing nodes. In Grid and cluster computer environment, the file servers and the computing nodes are usually in different locations. Files in a cluster computer are transferred within LAN while files in Grid are usually transferred across the Internet. If the job is a kind of data intensive applications, the file transfer process results in much extra time depending on the bandwidth between the relating computers. Especially, in case of workflow application, the amount of workflow stages will affect the amount of transfer processes. This thesis presents design and development of a file management system for handling files in cluster computers and Virtual Organizations (VOs). The system aims to support the moving-computation-to-data paradigm. Files relating to jobs are created and stored on computing nodes of cluster computers that execute the jobs. Users and job scheduler programs can query the system about the file location and submit the job to the computer that maintains the file. The experiments are set to evaluate the effect of file transfer processes in a cluster computer and in Grid environment. The results indicate that, for data intensive applications, computation with local file access spends less time than computation with file transfer processes. In additional, the later case may suffer from the bottleneck problem if there are many processes read and write files concurrently.

Link to Full Text

Share

COinS