การประเมินอภิมานการใช้แบบจำลองซิปในการประเมินโครงการศึกษา : การประยุกต์ใช้ขั้นตอนของการประเมินอภิมานเชิงตอบสนอง

Other Title (Parallel Title in Other Language of ETD)

Meta-evaluation of cipp model in educational project evaluation: an application of steps of responsive meta -evauation

Author

มินตรา สมจิตต์, คณะครุศาสตร์

Year (A.D.)

2023

Document Type

Thesis

First Advisor

ศิริชัย กาญจนวาสี

Second Advisor

โชติกา ภาษีผล

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Department (if any)

Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)

Degree Name

ครุศาสตรดุษฎีบัณฑิต

Degree Level

ปริญญาเอก

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2023.461

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์หลัก 4 ข้อ ได้แก่ (1) เพื่อประเมินระดับคุณภาพรายงานการประเมินโครงการทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP ในการประเมินตามหลักการประเมินอภิมาน (2) เพื่อวิเคราะห์รูปแบบการใช้แบบจำลอง CIPP และแนวคิดที่คลาดเคลื่อนในการนำแบบจำลอง CIPP มาใช้ในการประเมินโครงการทางการศึกษา (3) เพื่อประเมินระดับคุณภาพรายงานการประเมินโครงการคัดสรรทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP โดยการประยุกต์ใช้ขั้นตอนการประเมินอภิมานเชิงตอบสนอง และ (4) เพื่อเสนอแนวทางในการพัฒนาคุณภาพรายงานการประเมินโครงการทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP ในการประเมิน การวิจัยแบ่งออกเป็น 3 ระยะ ได้แก่ ระยะที่ 1 การประเมินอภิมานรายงานการประเมินโครงการและวิเคราะห์รูปแบบการใช้แบบจำลอง CIPP ในการประเมินโครงการทางการศึกษา กลุ่มตัวอย่าง คือ รายงานการประเมินที่ใช้แบบจำลอง CIPP ในการประเมินโครงการทางการศึกษา ตั้งแต่ปี พ.ศ.2545-2560 จำนวน 150 เล่ม เครื่องมือในการวิจัย ได้แก่ (1) แบบประเมินคุณภาพรายงาน และ (2) แบบตรวจสอบการใช้แบบจำลอง CIPP ในการประเมินโครงการทางการศึกษา ระยะที่ 2 การประเมินระดับคุณภาพรายงานโดยการประยุกต์ใช้ขั้นตอนของการประเมินอภิมานเชิงตอบสนองเป็นเกณฑ์ในการรายงานการประเมินโครงการคัดสรรทางการศึกษาที่ใช้แบบจำลอง CIPP ตัวอย่างคือ รายงานการประเมินโครงการคัดสรรที่ใช้แบบจำลอง CIPP ในการประเมิน ระหว่างปี พ.ศ. 2560-2561 จำนวน 5 เล่ม เครื่องมือที่ใช้ในการวิจัย ประกอบด้วย (1) แบบประเมินคุณภาพรายงานและ (2) แบบตรวจสอบรูปแบบการใช้แบบจำลอง CIPP ในการประเมินโครงการทางการศึกษา สถิติที่ใช้ในการวิเคราะห์ข้อมูล ได้แก่ ค่าเฉลี่ย ความถี่ และร้อยละ และระยะที่ 3 การพัฒนาแนวทางในการพัฒนาคุณภาพการใช้แบบจำลอง CIPP ในการประเมินโครงการทางการศึกษา ตัวอย่าง คือ ผู้เชี่ยวชาญ และนักประเมินที่เคยใช้แบบจำลอง CIPP เครื่องมือที่ใช้ในการวิจัยคือ แบบเสนอแนวทางการยกระดับคุณภาพการประเมินโครงการประเมินทางการศึกษาที่ใช้แบบจำลอง CIPP ผลการวิจัยพบว่า 1. ระดับคุณภาพรายงานการประเมินโครงการทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP ในการประเมินตามหลักการประเมินอภิมานของรายงานการประเมินโครงการทางการศึกษาที่ใช้แบบจำลอง CIPP ในการประเมินทั้ง 150 เล่ม พบว่ามีคุณภาพอยู่ในระดับควรปรับปรุง ทั้ง 4 มาตรฐาน 30 เกณฑ์ 2. การวิเคราะห์รูปแบบการใช้แบบจำลอง CIPP และแนวคิดที่คลาดเคลื่อนในการนำแบบจำลอง CIPP มาใช้ในการประเมินโครงการทางการศึกษาทั้ง 4 ด้าน พบว่า มีการนำแบบจำลอง CIPP ไปใช้ 7 รูปแบบ ได้แก่ (1) ประเมินทั้ง 4 ด้านหลังจากโครงการสิ้นสุดลง (2) ประเมินบริบท ก่อนหรือระหว่างที่ดำเนินโครงการ และประเมิน ปัจจัยนำเข้า ประเมินกระบวนการ และประเมินผลผลิต หลังจากโครงการสิ้นสุดลง (3) ประเมินบริบท และ ประเมินปัจจัยนำเข้าก่อนหรือระหว่างดำเนินโครงการ จากนั้นจึงประเมินกระบวนการ และประเมินผลผลิตหลังจากโครงการสิ้นสุดลง (4) ประเมินปัจจัยนำเข้า ก่อนหรือระหว่างดำเนินโครงการ แล้วจึงทำการประเมินบริบท ประเมินกระบวนการ และประเมินผลผลิตเมื่อสิ้นสุดโครงการแล้ว (5) ประเมินปัจจัยนำเข้า ก่อนหรือระหว่างดำเนินโครงการ และมีการประเมินบริบทอีกครั้งนึงเมื่อสิ้นสุดโครงการ พร้อมกับประเมินประเมินปัจจัยนำเข้า, ประเมินกระบวนการ และประเมินผลผลิต (6) ประเมินบริบท และปัจจัยนำเข้า ก่อนหรือระหว่างดำเนินโครงการ จากนั้นจึงประเมินกระบวนการ และประเมินผลผลิต เมื่อโครงการสิ้นสุดลง และ (7) ประเมินปัจจัยนำเข้า ก่อนหรือระหว่างดำเนินโครงการ และมีการประเมินบริบทอีกครั้งนึงเมื่อสิ้นสุดโครงการ รวมไปถึงทำการประเมินประเมินปัจจัยนำเข้า, ประเมินกระบวนการ และประเมินผลผลิต จึงสามารถแบ่งความคลาดเคลื่อนในการใช้แบบจำลอง CIPP ออกเป็น 4 รูปแบบ ดังนี้ (1) การใช้แบบจำลองรูปแบบที่ 1 และรูปแบบที่ 5 และรูปแบบที่ 7 มีความคลาดเคลื่อนในการนำแบบจำลองมาประเมิน รวม 3 แห่ง ได้แก่ ด้านบริบท ด้านปัจจัยนำเข้า และด้านกระบวนการ หลังจากที่โครงการสิ้นสุดลงแล้ว (2) รูปแบบที่ 2 มีความคลาดเคลื่อนในการนำแบบจำลองใช้รวม 2 จุด ได้แก่ การประเมินปัจจัยนำเข้า และ การประเมินกระบวนการ หลังจากที่โครงการสิ้นสุดลงแล้ว (3) รูปแบบที่ 3 มีความคลาดเคลื่อนในการนำแบบจำลองเพียงจุดเดียว คือการประเมินกระบวนการ หลังจากที่โครงการสิ้นสุดลงแล้ว (4) รูปแบบที่ 4 และรูปแบบที่ 6 มีความคลาดเคลื่อนในการนำแบบจำลองใช้ รวม 2 จุด ได้แก่ การประเมินบริบท และการประเมินกระบวนการ หลังจากที่โครงการสิ้นสุดลง 3. การประเมินระดับคุณภาพรายงานการประเมินโครงการคัดสรรทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP โดยการประยุกต์ใช้ขั้นตอนการประเมินอภิมานเชิงตอบสนองเป็นเกณฑ์ในการประเมิน ทั้ง 8 ขั้นตอน 52 ข้อตรวจสอบ พบว่า มีการดำเนินการตามข้อตรวจสอบทั้งหมด 25 ข้อ คิดเป็นร้อยละ 48.08 ซึ่งอยู่ในระดับควรปรับปรุง 4. แนวทางในการพัฒนาคุณภาพรายงานการประเมินโครงการทางการศึกษาในประเทศไทยที่ใช้แบบจำลอง CIPP ในการประเมิน พบว่า ควรทำความเข้าใจการใช้แบบจำลอง CIPP อย่างถูกต้องให้แก่ผู้ประเมิน และผู้ที่เกี่ยวข้องกับโครงการ รวมไปถึงควรทำความเข้าใจเกี่ยวกับแบบจำลองอื่นๆ ที่ใช้ในการประเมิน เพื่อให้ผู้มีอำนาจตัดสินใจสามารถเลือกแบบจำลองได้เหมาะสมกับลักษณะการประเมิน โดยควรระบุรูปแบบการประเมินโครงการตั้งแต่เขียนขอโครงการ เพื่อเป็นกรอบสำหรับผู้ประเมินในการเข้าทำการประเมิน โดยใช้รายการตรวจสอบการใช้แบบจำลอง CIPP ในการประเมินตามแนวคิดของ Stufflebeam ประกอบกับการสัมภาษณ์ผู้ถูกประเมินและผู้ที่เกี่ยวข้องเพิ่มเติม รวมไปถึงควรมีการให้ข้อมูลย้อนกลับ แยกรายด้านทั้ง 4 ด้าน ของแบบจำลอง CIPP เพื่อประกอบการตัดสินใจในการดำเนินโครงการ และได้ผลการประเมินโครงการที่ถูกต้อง ครบถ้วน ในทุกมิติ

Other Abstract (Other language abstract of ETD)

The research aims to assess the quality of educational project evaluation reports in Thailand using the CIPP model, analyze patterns in its use and inaccurate concepts, evaluate the quality of evaluation reports of educational selection projects using the CIPP model, and propose guidelines for improving the quality of these reports. The research involved collecting 150 evaluation reports from 2002 to 2017 and assessing the quality level according to meta-evaluation principles. The study also conducted a responsive meta-evaluation of five reports on the evaluation of selected projects using the CIPP model in 2017-2018. The main findings revealed that utilization standards were at the level that should be improved at most, 93.74 percent. Standards for feasibility were at the level that should be improved at most, 86.67 percent. Standards for appropriateness were at the level that should be improved at most, 86.67 percent. The highest was 88.00 percent, and the standard of accuracy was at the level that should be improved the most, accounting for 46.00 percent. The analysis of the CIPP model's usage patterns and misconceptions revealed that the model was employed in seven different patterns: evaluation of all four aspects at post-project implementation; context evaluation was conducted both pre-project implementation and during the implementation, and input and process and product evaluations at post-project implementation. Input evaluation at pre-project implementation and during the implementation and context evaluation was conducted at post-project implementation along with input, process, and product evaluations. The evaluation report of the educational selection project in Thailand using the CIPP model was evaluated according to the principles of responsive meta-evaluation, consisting of eight steps: identifying stakeholders and assessing their needs; surveying stakeholders' needs; setting evaluation criteria and overall expectations; setting formats and guidelines for use in assessment; gathering relevant meta-evaluation data; analyzing and reporting findings; improving dialogue consideration and agreement; and reviewing and updating the meta-evaluation. The research also proposed guidelines for developing the quality of educational project evaluation reports in Thailand using the CIPP model, which is a continuous process that should be used in conjunction with project management to continually find information for decision-making. This involves clearly separating the roles of the evaluation department and the management department to prevent bias in the evaluation process.

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.

Recommended Citation

สมจิตต์, มินตรา, "การประเมินอภิมานการใช้แบบจำลองซิปในการประเมินโครงการศึกษา : การประยุกต์ใช้ขั้นตอนของการประเมินอภิมานเชิงตอบสนอง" (2023). Chulalongkorn University Theses and Dissertations (Chula ETD). 12073.
https://digital.car.chula.ac.th/chulaetd/12073