Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)

Development of computer-based test system for assessing classroom assessment competency of teachers : an application of multidimensional item response theory

Year (A.D.)

2022

Document Type

Thesis

First Advisor

กมลวรรณ ตังธนกานนท์

Second Advisor

ศิริชัย กาญจนวาสี

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Department (if any)

Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2022.506

Abstract

การวิจัยนี้เป็นการวิจัยและพัฒนา มีวัตถุประสงค์เพื่อสร้างและพัฒนาระบบการทดสอบโดยใช้คอมพิวเตอร์เพื่อประเมินสมรรถนะการประเมินชั้นเรียนของครูโดยการประยุกต์ใช้ทฤษฎีการตอบสนองข้อสอบแบบพหุมิติ การวิจัยนี้แบ่งออกเป็น 3 ระยะ ระยะที่ 1 การพัฒนากรอบและคำบรรยายสมรรถนะ ตรวจสอบคุณภาพโดยอาศัยผู้เชี่ยวชาญจำนวน 7 ท่าน ระยะที่ 2 การสร้างและพัฒนาระบบการทดสอบโดยใช้คอมพิวเตอร์เพื่อประเมินสมรรถนะ ผู้วิจัยสร้างออกแบบระบบประเมินสมรรถนะที่อาศัยระบบอินเทอร์เน็ตเว็ปเพจและตรวจสอบคุณสมบัติทางจิตมิติของแบบวัดคือ ความตรงเชิงเนื้อหา อำนาจจำแนก ความเที่ยง ความตรงเชิงโครงสร้าง ความตรงเชิงสภาพ ดัชนีความเหมาะสมรายข้อ ความเป็นพหุมิติและสัมประสิทธิความเที่ยงตามทฤษฎีตอบสนองข้อสอบ ระยะที่ 3 การประเมินสมรรถนะของครูสังกัดสำนักงานคณะกรรมการการศึกษาขั้นพื้นฐานและประเมินประสิทธิภาพของระบบการทดสอบโดยทดลองใช้กับตัวอย่างการวิจัยจำนวน 1,786 คนเพื่อนำผลการทดสอบมาใช้ในการกำหนดจุดตัดคะแนนโดยอาศัยการกำหนดคะแนนจุดตัดบนแผนที่สภาวะสันนิษฐานและนำผลการวัดมาจำแนกกลุ่มตามระดับสมรรถนะและจำแนกเปรียบเทียบกับข้อมูลพื้นฐาน ผลการวิจัยที่สำคัญมีดังนี้ 1) กรอบและคำบรรยายสมรรถนะมีคุณภาพผ่านเกณฑ์การประเมิน (Mdn=3.50-5.00, IQR=0.00-1.50) 2) คุณสมบัติทางจิตมิติของแบบวัดสมรรถนะเป็นไปตามเกณฑ์ที่ยอมรับได้ มีความเที่ยงระดับสูง (rtt=.80-.82) ความตรงเชิงสภาพ (rxy=.73) โมเดลการวัดสอดคล้องกลมกลืนกับข้อมูลเชิงประจักษ์ (Chi-square=39.461, df=30, p= .116 , AGFI=.988, CFI=.989, TLI=.979, SRMR=.019, RMSEA=.016, AIC=60062.182, BIC=60247.748) ค่าสถิติ OUTFIT MNSQ มีค่าระหว่าง .764-.1.199 ค่าสถิติ INFIT MNSQ มีค่าระหว่าง .787-1.137 และ3) ประสิทธิภาพของระบบการทดสอบสมรรถนะอยู่ในระดับดีและผ่านเกณฑ์การประเมิน (Mdn=5.00, IQR=1.00, M=4.45, SD=0.73)

Other Abstract (Other language abstract of ETD)

This research development was aimed at creating and developing a computer-based testing system. Firstly, developed a framework and description of performance assessment. Secondly, developed a computer-based testing system and examined measure's psychometric properties with discriminant, content structural and concurrent validity, MNSQ, multidimensionality, and item response theory. Thirdly, assessed the competency of teachers under the Office of the Basic Education Commission and the testing system’s efficacy. The 1,780 samples were used to determine the cut-off points by construct map theory. The findings are as follows. First, the competency framework and description quality passed (Mdn=3.50-5.00, IQR=0.00-1.50). Second, the psychometric properties of the measure met the acceptable with high reliability (rtt=.80-.82) and concurrent validity (rxy=.73). The assessment model was consistent with empirical data (X2=39.461, df=30, p= .116, AGFI=.988, CFI=.989, TLI=.979, SRMR=.019, RMSEA=.016, AIC=60062.182, BIC=60247.748). The OUTFIT MNSQ ranged from .764-.1.199, and The INFIT MNSQ ranged from .787-1.137. Third, the testing system was reasonable and passed (Mdn=5.00, IQR=1.00, M=4.45, SD=0.73).

Share

COinS
 
 

To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.