Chulalongkorn University Theses and Dissertations (Chula ETD)

The effects of a test taker-centered computer-based writing test on Thai first year university students' English writing performance

Other Title (Parallel Title in Other Language of ETD)

ผลกระทบของการเขียนผ่านสื่อคอมพิวเตอร์ที่มีผู้เข้าสอบเป็นศูนย์กลางต่อความสามารถในการเขียนภาษาอังกฤษของนิสิตไทยระดับอุดมศึกษาชั้นปีที่หนึ่ง

Year (A.D.)

2007

Document Type

Thesis

First Advisor

Kanchana Prapphal

Faculty/College

Graduate School (บัณฑิตวิทยาลัย)

Degree Name

Doctor of Philosophy

Degree Level

Doctoral Degree

Degree Discipline

English as an International Language

DOI

10.58837/CHULA.THE.2007.2025

Abstract

The objectives of the present study were to investigate the effects of facilitative features and required multiple drafts on the writing performance and processes of EFL students in a test taker-centered computer-based writing test (T-CBWT); the computer writing behaviors of the test takers; and the attitudes of the test takers towards the T-CBWT. Subjects were 144 Thai first-year undergraduates of the Faculty of Commerce and Accountancy year 2006. They were purposively sampled and randomly assigned to four equal test groups. Subjects were also classified into three writing proficiency levels using computer-based writing pretest (CBWT) scores as a basis. Research instruments included (1) the T-CBWT, the posttest test with facilitative features allowed and required multiple drafts) (2) analytical rating scales measuring three major aspects of content, organization and language use (3) retrospective questionnaires and (4) stimulated retrospective interview questions. Quantitative data were analyzed via two-way analysis of variance, Kruskal-Wallis H and Mann-Whitney [mu] statistics. Qualitative data were analyzed though textual analysis of test takers’ written drafts, and content analysis of verbal reports and attitudes towards the T-CBWT. Findings from the quantitative analyses in this study seem to provide evidence that facilitative features assist test takers across writing proficiency levels in the improvement of mechanics (spelling and punctuation) but not the overall quality of the essay. In addition, imposed multiple drafts seem to have some influence on the content (topic development & supporting ideas and clarity & explicitness scores) of test takers in the advanced writing proficiency level who were in the ‘with drafts’ test condition. Furthermore, textual analyses reveal that some test takers of the intermediate and low-intermediate writing proficiency levels in the ‘with drafts’ test condition heavily performed content-related changes at the sentence level that were instrumental in improving the overall quality of their essays. These findings together suggest that required multiple drafts and facilitative features might ultimately be effective in assisting test takers in performing their best on a writing test. Findings also indicate that a majority of subjects across writing proficiency levels wrote in a recursive style, confirming established models of writing processes. Finally, test takers in general had a positive outlook towards the T-CBWT and have shown interest in opting to take the T-CBWT again. With further development and research especially in relation to washback, the T-CBWT serves as a potentially practical approach to assess writing and may positively impact the EFL learning and teaching of writing

Other Abstract (Other language abstract of ETD)

งานวิจัยนี้มีจุดมุ่งหมายเพื่อศึกษาว่าฟังก์ชัน หรือเครื่องมือช่วยในการเขียน และ การเขียนร่างหลายฉบับมีผลกระทบต่อความสามารถ และกระบวนการเขียน เมื่อเขียนผ่านสื่อคอมพิวเตอร์ที่เน้นผู้สอบเป็นศูนย์กลาง หรือไม่ นอกจากนี้ ผู้วิจัยยังศึกษากลวิธีตรวจแก้งานเขียน และ เจตคติของผู้เข้าสอบ กลุ่มตัวอย่างเป็นนิสิตชั้นปีที่ 1 จำนวน 144 คน จากคณะพาณิชยศาสตร์และ การบัญชี จุฬาลงกรณ์มหาวิทยาลัย โดยการเลือกตัวอย่างแบบเฉพาะเจาะจง กลุ่มตัวอย่างแบ่งเป็นสี่กลุ่มเพื่อการทดสอบที่ต่างลักษณะกัน ในแต่ละกลุ่มแบ่งเป็นสามระดับตามความสามารถทาง การเขียนโดยใช้เกณฑ์จากคะแนนในการสอบเขียนภาษาอังกฤษด้วยคอมพิวเตอร์ เครื่องมือที่ใช้ในการวิจัยได้แก่ 1. Test taker-centered Computer-based Writing Test (T-CBWT) เป็นการสอบ posttest ผ่านสื่อคอมพิวเตอร์ ที่อนุญาตให้ใช้ฟังก์ชันที่พบได้ในโปรแกรมMS Word และกำหนด ให้เขียนร่างหลายฉบับ 2. มาตราส่วนประมาณค่าเชิงวิเคราะห์ ใช้วัดความสามารถในการเขียนสามประเด็นหลักคือ เนื้อหา การเรียบเรียง และภาษา 3. แบบสอบถามประเภท Likert Scale และ คำถามปลายเปิด 4. ชุดคำถามสัมภาษณ์ใช้ศึกษากลวิธีในการเขียน การวิเคราะห์ข้อมูลใช้วิธีวิเคราะห์ความแปรปรวนแบบสองทาง สถิติ Kruskal-Wallis H และ Mann-Whitney [mu] รวมทั้งวิธีวิเคราะห์เชิงคุณลักษณะ ได้แก่ การวิเคราะห์เนื้อหาของร่างงานเขียน การรายงานปากเปล่า และเจตคติต่อแบบทดสอบ ผลจากการวิเคราะห์ไม่พบว่าเครื่องมือช่วยเขียนหรือการเขียนร่างหลายฉบับมีผลกระทบต่อคุณภาพโดย รวมของงานเขียนเมื่อเทียบระหว่างกลุ่มสอบสี่กลุ่มที่ต่างลักษณะกัน แต่เมื่อเปรียบเทียบระหว่างกลุ่มที่มีระดับความสามารถต่างกันนั้น พบว่าเครื่องมือที่ให้ผู้สอบใช้ระหว่างการเขียน ช่วยให้ผู้สอบพัฒนาในด้านเครื่องหมายวรรคตอน และตัวสะกด นอกจากนี้ผลการวิเคราะห์พบว่า การร่างงานเขียนมีผลต่อการเขียนเนื้อหาของผู้สอบในกลุ่มระดับความสามารถสูง ที่กำหนดให้ส่งร่าง จากการวิเคราะห์งานเขียนในเชิงคุณภาพพบว่า ผู้สอบบางส่วนจากกลุ่มความสามารถด้านการเขียนระดับกลาง และระดับอ่อนที่กำหนดให้เขียนฉบับร่าง ได้พัฒนาเนื้อหาของงานเขียนในระดับประโยคซึ่งอาจมีผลต่อการพัฒนาคุณภาพของงานเขียนโดยรวม ในภาพรวมการใช้ฟังก์ชัน และการเขียนร่างหลายฉบับอาจส่งผลช่วยให้ผู้สอบทำแบบทดสอบเขียนได้ดีขึ้น นอกจากนี้ผลการวิเคราะห์ยังชี้ให้เห็นว่า ผู้สอบที่มีระดับความสามารถต่างกัน ส่วนมากเขียนในแบบย้อนซ้ำขั้นตอน (recursive style) ซึ่งตรงกับรูปแบบกระบวนการเขียนที่เป็นที่ยอมรับ ท้ายสุดพบว่าผู้สอบโดยทั่วไปมีเจตคติทางบวกต่อการสอบ T-CBWT และ แสดงความสนใจที่จะสอบเขียนแบบ T-CBWT อีก ดังนั้นหากการทดสอบด้วยวิธีนี้ได้รับการปรับปรุงและศึกษาในแง่ผลกระทบย้อนกลับ (washback effect) โดยต่อเนื่องก็อาจเป็นประโยชน์ในระยะยาว ต่อวิธีการทดสอบความสามารถในการเขียนภาษาอังกฤษ และวิธีการเรียนการสอนเขียนภาษาอังกฤษอีกด้วย

Link to Full Text

Share

COinS