Chulalongkorn University Theses and Dissertations (Chula ETD)

การพัฒนาระบบการทดสอบแบบปรับเหมาะหลายขั้นตอนด้วยวิธีออนเดอะฟลายที่มีการสะท้อนข้อมูลย้อนกลับในการทดสอบมาตรฐานวิชาชีพของบุคลากรสาขาไอที

Other Title (Parallel Title in Other Language of ETD)

System development for on-the-fly assembled multistage adaptive testing with reflective feedback in information technology professional examination

Year (A.D.)

2015

Document Type

Thesis

First Advisor

โชติกา ภาษีผล

Second Advisor

ศิริชัย กาญจนวาสี

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาเอก

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2015.31

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาระบบการทดสอบแบบปรับเหมาะหลายขั้นตอนด้วยวิธีออนเดอะฟลายในการทดสอบมาตรฐานวิชาชีพของบุคลากรสาขาไอทีที่มีการสะท้อนข้อมูลย้อนกลับ 2) เพื่อวิเคราะห์ผลการใช้งานและตรวจสอบคุณภาพของระบบ และ 3) เพื่อประเมินระบบ โดยแบ่งการดำเนินงานออกเป็น 3 ระยะ ได้แก่ ระยะที่ 1 การพัฒนาระบบ ระยะที่ 2 การทดลองใช้ระบบ และระยะที่ 3 การประเมินผลระบบ ตัวอย่างที่ใช้ในการวิจัยครั้งนี้คือ ผู้ที่เคยสอบผ่านมาตรฐานวิชาชีพไอที ระดับ IP จำนวน 100 คน และผู้ที่สอบไม่ผ่านมาตรฐานวิชาชีพไอที ระดับ IP จำนวน 100 คน รวมทั้งสิ้น 200 คน เพื่อทดลองใช้งานระบบ เครื่องมือที่ใช้ในการประเมินคุณภาพระบบประกอบด้วย แบบประเมินระบบแบบอิงมาตรฐาน แบบประเมินระบบแบบฮิวริสติค และแบบประเมินความพึงพอใจผู้ใช้งานของอินเตอร์เฟสระหว่างผู้ใช้งานกับคอมพิวเตอร์ สำหรับระบบที่พัฒนาขึ้นเป็นระบบออนไลน์ซึ่งพัฒนาด้วยภาษา PHP ในการวิเคราะห์ข้อมูลใช้สถิติบรรยาย ได้แก่ จำนวน ร้อยละ ค่าเฉลี่ย และส่วนเบี่ยงเบนมาตรฐาน และตรวจสอบความตรงตามโครงสร้างด้วยเทคนิคกลุ่มรู้ชัด ผลการวิจัยสรุปได้ดังนี้ 1.ผลการพัฒนาระบบ พบว่า กระบวนการทำงานที่สำคัญของระบบประกอบด้วย 6 ขั้นตอน ได้แก่ 1) จุดเริ่มต้นในการทดสอบ 2) การประมาณค่าความสามารถของผู้สอบ 3) การคัดเลือกข้อสอบ 4) การควบคุมอัตราการเปิดเผยของข้อสอบ 5) การแบ่งชั้นคลังข้อสอบด้วยค่าอำนาจจำแนก และ 6) จุดยุติการทดสอบ และรูปแบบรายงานผลที่สะท้อนข้อมูลย้อนกลับประกอบด้วยรายงาน 2 รูปแบบ ได้แก่ 1) รายงานสะท้อนข้อมูลย้อนกลับแบบทั่วไปและ 2) รายงานผลการสะท้อนข้อมูลย้อนกลับเพื่อการพัฒนา 2. ผลการวิเคราะห์การใช้งานระบบเพื่อเปรียบเทียบกลุ่มผู้ที่สอบผ่านและผู้สอบไม่ผ่านมาตรฐานวิชาชีพไอที ระดับ IP ด้วยเทคนิคกลุ่มรู้ชัด พบว่า จำนวนขั้นในการทดสอบเฉลี่ย ระดับความสามารถเฉลี่ย และค่าความคลาดเคลื่อนมาตรฐาน เฉลี่ยระหว่างสองกลุ่มมีค่าไม่แตกต่างกัน เนื่องจากในการทดสอบครั้งนี้ไม่ได้เป็นการทดสอบที่มีผลได้ผลเสีย (high stake) กับกลุ่มตัวอย่างในการวิจัย ทำให้ค่าระดับความสามารถทั้งสองกลุ่มใกล้เคียงกัน แต่เมื่อพิจารณา กลุ่มผู้ที่ทำงานในสายงานไอที และไม่ใช่สายงานไอที พบว่า จำนวนขั้นในการทดสอบเฉลี่ย (t=-3.09, p=0.00) ระดับความสามารถเฉลี่ย (t=2.59, p=0.01) และค่าความคลาดเคลื่อนมาตรฐานเฉลี่ย (t=-2.21, p=0.03) สำหรับสองกลุ่มมีค่าแตกต่างกันอย่างมีนัยสำคัญที่ระดับ .05 แสดงให้เห็นว่าระบบสามารถจำแนกกลุ่มผู้มีความสามารถทำงานด้านไอทีสูงกับผู้ที่มีความสามารถทำงานด้านไอทีต่ำได้ ดังนั้นระบบนี้จึงเหมาะสมกับการนำไปคัดเลือกบุคลากรเพื่อเข้าทำงานในสายงานไอที 3. ผลการตรวจสอบคุณภาพระบบก่อนนำระบบไปใช้งานจริงด้วยการประเมินระบบแบบอิงมาตรฐาน พบว่า ผู้เชี่ยวชาญเห็นว่าระบบมีความเหมาะสมทั้ง 4 ด้าน โดยด้านที่มีผลประเมินสูงสุดคือ ด้านความเป็นไปได้ในการนำไปใช้ (M=4.93, SD=0.21) สำหรับผลการประเมินระบบการทดสอบหลังนำระบบไปใช้จริงด้วยแบบประเมินระบบแบบฮิวริสติค พบว่า ความพึงพอใจและการยอมรับปฏิสัมพันธ์กับผู้ใช้งาน มีความเหมาะสมมากที่สุด (M=4.80, SD=0.40) และผลการประเมินความพึงพอใจด้วยแบบประเมินความพึงพอใจระหว่างอินเตอร์เฟสกับผู้ใช้งาน พบว่า การใช้งานของเครื่องมือต่าง ๆ บนหน้าจอมีค่าความพึงพอใจสูงสุด (M=7.81, SD=0.93)

Other Abstract (Other language abstract of ETD)

This research aims to 1) develop on-the-fly assembled multistage adaptive testing system with reflective feedback in information technology professional examination (ITPE) (only IP level) 2) analyze usage performance and examine system’s standard and 3) evaluate testing system. The development is separated in three phases. One, develop testing system, two, analyze usage performance and examine system’s standard and three, evaluate testing system. Subjects in this research were 200 persons for testing system evaluation, 100 persons who pass ITPE (IP level) and 100 persons who don’t pass ITPE (IP level). The tools comprised of standard evaluation scale, heuristic evaluation scale and user satisfaction of the human-computer interface evaluation scale. The developed system is online system which was developed by PHP language. Data were analyzed by using descriptive statistics and validated construct validity by using known-groups technique. The research findings were as follows: 1. The study of on-the-fly assembled multistage adaptive testing revealed that the important process of testing system comprised of six steps as follows: 1) initial stage, 2) ability estimation, 3) item selection, 4) item exposure rate, 5) stratified item pools by discrimination parameter (a-stratified) and 6) stopping criteria. Reflective feedback report comprised of two parts as followed 1) feedback (scored report) and 2) feedforward (recommendation for development) 2. Trying out from testing system usage was analyzed by known group technique. Subjects comprised of persons who passed and not passed IP level. The result revealed that average stage, ability and standard error were not significant. Because developed testing system was not a high-stake for subjects. In contrast, when compared between people who work in IT and non-IT revealed that average stage (t=-3.09, p=0.00), ability (t=2.59, p=0.01) and standard error (t=-2.21, p=0.03) were significantly different at level of significant .05. Moreover, ability of persons in IT field was more than persons who weren’t in IT field. 3. The evaluation of testing system’s standard by using standard before trying out system revealed that all evaluators agreed with the system which had the highest agreement on feasibility (M=4.93, SD=0.21). In addition, the evaluation of testing system by using heuristic evaluation after implementation revealed that pleasurable and respectful interaction with the user had the highest scored (M=4.80, SD=0.40). Moreover, the evaluation of users’ satisfaction about the human-computer interface evaluation revealed that subjects had the highest satisfaction of tools on the screen.

Link to Full Text

Share

COinS