Chulalongkorn University Theses and Dissertations (Chula ETD)
Other Title (Parallel Title in Other Language of ETD)
Development of a digital intelligence test on web application for lower secondary school students based on the performance assessment concept
Year (A.D.)
2023
Document Type
Thesis
First Advisor
กมลวรรณ ตังธนกานนท์
Faculty/College
Faculty of Education (คณะครุศาสตร์)
Department (if any)
Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)
Degree Name
ครุศาสตรมหาบัณฑิต
Degree Level
ปริญญาโท
Degree Discipline
วิธีวิทยาการพัฒนานวัตกรรมทางการศึกษา
DOI
10.58837/CHULA.THE.2023.387
Abstract
งานวิจัยนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาและตรวจสอบคุณภาพของแบบวัดความฉลาดทางดิจิทัลบนเว็บแอปพลิเคชันสำหรับนักเรียนระดับชั้นมัธยมศึกษาตอนต้นตามแนวคิดการประเมินการปฏิบัติ และ 2) เพื่อศึกษาปัจจัยจำแนกระดับความฉลาดทางดิจิทัลของนักเรียนระดับชั้นมัธยมศึกษาตอนต้นตามแนวคิดการประเมินการปฏิบัติผ่านเว็บแอปพลิเคชัน ตัวอย่างวิจัย คือ นักเรียนชั้นมัธยมศึกษาปีที่ 3 จำนวน 300 คน เครื่องมือที่ใช้ในการวิจัย คือ 1) แบบวัดความฉลาดทางดิจิทัลบนเว็บแอปพลิเคชัน ประกอบด้วย ภาระงานสำหรับนักเรียน (Task) ตามองค์ประกอบของความฉลาดทางดิจิทัล จำนวน 8 องค์ประกอบ และเกณฑ์การให้คะแนนสำหรับประเมินการปฏิบัติ (Scoring rubric) สำหรับประเมินภาระงานของนักเรียน ซึ่งมีลักษณะเป็นรูบริกแบบแยกองค์ประกอบ 2) แบบสอบถามปัจจัยที่ส่งผลต่อความฉลาดทางดิจิทัล เป็นแบบมาตราส่วนประมาณค่า 5 ระดับ และ3) แบบประเมินประสบการณ์ของผู้ใช้ (User Experience: UX) สำหรับผู้ทรงคุณวุฒิใช้ประเมินคุณภาพของแบบวัดความฉลาดทางดิจิทัล และแบบประเมินส่วนต่อประสานกับผู้ใช้ (User Interface: UI) สำหรับตัวอย่างวิจัยใช้ประเมินคุณภาพของแบบวัดความฉลาดทางดิจิทัล วิเคราะห์คุณภาพของเครื่องมือ ในด้านความตรงตามเนื้อหา ความตรงตามโครงสร้าง ความเที่ยง ความยาก และอำนาจจำแนก สถิติที่ใช้ ได้แก่ สถิติเชิงบรรยาย (Descriptive statistics) การวิเคราะห์จําแนกประเภท (Discriminant Analysis) การวิเคราะห์องค์ประกอบเชิงยืนยัน (Confirmatory factor analysis) ทดสอบค่าที (Independent samples t-tests) และวิเคราะห์ค่าสัมประสิทธิ์สหสัมพันธ์ (Pearson's Correlation Coefficient) ผลการวิจัย พบว่า 1.แบบวัดความฉลาดทางดิจิทัลบนเว็บแอปพลิเคชัน ครอบคลุมองค์ประกอบความฉลาดทางดิจิทัล ในระดับพลเมืองดิจิทัล จำนวน 8 องค์ประกอบ ประกอบด้วยภาระงาน 1 ชุด จำนวน 27 ข้อ คะแนนเต็ม 135 คะแนน มีเกณฑ์การให้คะแนนสำหรับประเมินการปฏิบัติ (Scoring rubric) เป็นแบบแยกองค์ประกอบ (Analytic Scoring Rubric) สำหรับกรรมการประเมินจำนวน จำนวน 1 ฉบับ โดยแบบวัดสามารถใช้งานผ่านเว็บบราวเซอร์ ซึ่งหน้าเว็บสำหรับการใช้งานประกอบด้วย 4 ส่วน ได้แก่ 1.1) ส่วนการสมัครสมาชิก 1.2) ส่วนของภาระงาน 1.3) ส่วนการประเมินผลคะแนนของนักเรียนชั้นมัธยมศึกษาตอนต้นตามแนวคิดการปฏิบัติ และ 1.4) ส่วนสำหรับผู้จัดการระบบ (Admin) ผลการวิเคราะห์คุณภาพพบว่า 1) ภาระงาน (Task) มีความตรงตามเนื้อหา (CVI > .83) มีความตรงตามโครงสร้างเมื่อตรวจสอบด้วยเทคนิคกลุ่มที่คุ้นเคย (Known Group Technique) พบว่ามีนัยสำคัญทางสถิติที่ระดับ .05 และมีความสอดคล้องกับข้อมูลเชิงประจักษ์ (Chi - Square= 333.892, df= 296, p= .064, GFI= .922, RMSEA=.021, RMR=.048, CFI= .86) และระดับของความฉลาดทางดิจิทัลของทั้งสองเครื่องมือมีความสัมพันธ์เชิงบวกอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 และมีความสัมพันธ์กันในระดับสูง (r =.712) ความความยากอยู่ในระดับปานกลาง (p = .459 - 0.541) อำนาจจำแนกอยู่ในระดับพอใช้ ( r = .2 - .326) ซึ่งคุณสมบัติทางจิตมิติสอดคล้องตามเกณฑ์ที่กำหนด ส่วนเกณฑ์การให้คะแนนสำหรับประเมินการปฏิบัติ มีความเที่ยงภายในผู้ประเมินอยู่ในระดับสูง (rxy = .741 - .978) และความเที่ยงระหว่างผู้ประเมิน อยู่ในระดับสูง(IRR= .990 -.994) และ 3) ผลการประเมินประสบการณ์ของผู้ใช้ (User Experience:-UX) และผลการประเมินส่วนต่อประสานกับผู้ใช้ (User- Interface:-UI)-ภาพรวมอยู่ในระดับดี 2.ปัจจัยที่สามารถทํานายระดับความฉลาดทางดิจิทัลได้ดีทีสุดคือ ปัจจัยค้านเจตคติต่อการใช้งานดิจิทัล (digital), รองลงมา คือ ปัจจัยด้านความสามารถในการใช้งานดิจิทัล (innovation) และปัจจัยที่สามารถทํานายได้น้อยที่สุด คือ ปัจจัยด้านทรัพยากรที่สนับสนุนการใช้งานดิจิทัล (support) และสมการพยากรณ์จัดกลุ่มนักเรียนที่มีระดับความฉลาดทางดิจิทัลต่ำสามารถพยากรณ์ได้ถูกต้องร้อยละ 81.40 ในขณะที่สมการพยากรณ์จัดกลุ่มนักเรียนที่มีระดับความฉลาดทางดิจิทัลสูงสามารถพยากรณ์ได้ถูกต้องร้อยละ 89.13
Other Abstract (Other language abstract of ETD)
This research aims 1) to develop and validate the quality of a digital intelligence test for lower secondary students based on the performance assessment concept, and 2) to examine factors discriminating digital intelligence among lower secondary students based on the performance assessment concept using the developed digital intelligence test on web applications. Research sample comprised 300 lower secondary school students in grade 9. Research instruments included 1) a digital intelligence test on a web application, consisting of 8 task components with 27 items, along with an analytic rubric, and 2) a survey questionnaire on factors affecting digital intelligence, measured by 5-point Likert scale, including User Experience (UX) and User Interface (UI) assessment questionnaire measured by 5-point Likert scale. Psychometric properties involving content validity, construct validity, reliability, difficulty, and discriminant power were examined. Descriptive statistics, Discriminant Analysis, Confirmatory factor analysis,Independent samples t-tests and Pearson's Correlation Coefficient were employed to analyze the data. Research findings revealed that: 1.The digital intelligence test on the web application is practical assessment encompasses eight components of digital intelligence at the digital citizenship level. It consists of one set of tasks with a total of 27 items, amounting to a full score of 135 points. The scoring criteria for evaluating performance is an analytic scoring rubric, provided in a single document for evaluators. The assessment tool is accessible via a web browser, with the web interface comprising of 4 functions, i.e., 1.1) function for Registration Form ,1.2) function for Task, 1.3) function for evaluation, and 1.4) function for managers (Admin). Tasks had high content validity (CVI >.83), had construct validity When examined using the Known Group Technique, statistically significant differences were found at the level of .05 and the confirmatory factor analysis revealed that the measurement model fitted the empiric data (Chi - Square= 333.892, df= 296, p= .064, GFI= .922, RMSEA=.021, RMR=.048, CFI= .86), and Analysis of correlation coefficients indicated a statistically significant at .05 positive relationship between the digital literacy levels of both instruments, which was strong (r = .712) moderate difficulty (ranging from .459 to .541), and discriminantion indices (ranging from .2 to .326). Scoring rubric showed high intra-rater reliability (rxy = .741 - .978) and high inter-rater reliability (IRR = .990 -.994). Additionally, statistical significant differences were found between the two groups with different digital literacy levels ,and 3)The overall User Experience (UX) and the User Interface (UI) evaluation results were in a good level. 2.Factor best discriminating level of digital intelligence was the attitude towards digital usage (digital), followed by in novation ability (innovation). The Factor least discriminating intelligence levels was resource support (support). ,The low digital literacy group prediction equation achieved an accuracy rate of 81.40%, whereas the high digital literacy group prediction equation achieved an accuracy rate of 89.13%
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-No Derivative Works 4.0 International License.
Recommended Citation
สระแก้ว, นพล, "การพัฒนาแบบวัดความฉลาดทางดิจิทัลบนเว็บแอปพลิเคชันของนักเรียนระดับชั้นมัธยมศึกษาตอนต้นตามแนวคิดการประเมินการปฏิบัติ" (2023). Chulalongkorn University Theses and Dissertations (Chula ETD). 12174.
https://digital.car.chula.ac.th/chulaetd/12174