Chulalongkorn University Theses and Dissertations (Chula ETD)

Other Title (Parallel Title in Other Language of ETD)

COMPARISON OF PSYCHOMETRIC PROPERTIES AND EFFICIENCY OF DIGITAL MEDIA LITERACY SITUATION TESTS WITH DIFFERENT FORMATS

Year (A.D.)

2017

Document Type

Thesis

First Advisor

ณัฏฐภรณ์ หลาวทอง

Faculty/College

Faculty of Education (คณะครุศาสตร์)

Department (if any)

Department of Educational Research and Psychology (ภาควิชาวิจัยและจิตวิทยาการศึกษา)

Degree Name

ครุศาสตรมหาบัณฑิต

Degree Level

ปริญญาโท

Degree Discipline

การวัดและประเมินผลการศึกษา

DOI

10.58837/CHULA.THE.2017.733

Abstract

การวิจัยเรื่องคุณสมบัติทางจิตมิติของแบบวัดสถานการณ์การรู้สื่อดิจิทัลนี้มีจุดประสงค์เพื่อ 1) สร้างแบบวัดสถานการณ์การรู้สื่อดิจิทัล และตรวจสอบคุณสมบัติทางจิตมิติของแบบวัดสถานการณ์การรู้สื่อดิจิทัลที่เป็นแบบวัดรูปแบบเขียนตอบ และแบบวัดรูปแบบอินเทอร์เน็ต 2) เพื่อวิเคราะห์อิทธิพลของวิธีวัดการรู้สื่อดิจิทัลด้วยแบบวัดสถานการณ์การรู้สื่อดิจิทัลที่เป็นแบบวัดรูปแบบเขียนตอบ และแบบวัดรูปแบบอินเทอร์เน็ต และ 3) เปรียบเทียบประสิทธิภาพของแบบวัดสถานการณ์การรู้สื่อดิจิทัลที่เป็นแบบวัดรูปแบบเขียนตอบ และแบบวัดรูปแบบอินเทอร์เน็ต โดยมีตัวอย่างวิจัยคือนักเรียนระดับชั้นมัธยมศึกษา ในโรงเรียนสังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษากรุงเทพมหานคร เขต 1 และเขต 2 ปีการศึกษา 2561 รวมทั้งสิ้น 393 คน โดยมีแบบวัดสถานการณ์การรู้สื่อดิจิทัล ฉบับรูปแบบเขียนตอบและฉบับอินเทอร์เน็ต แบบสอบถามความพึงพอใจต่อการใช้แบบวัดสถานการณ์การรู้สื่อดิจิทัลเป็นเครื่องมือที่ใช้ในการวิจัย และมีการวิเคราะห์ข้อมูลด้วยสถิติเชิงบรรยายและเชิงอ้างอิง ประกอบด้วย ความถี่ ร้อยละ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน ความเบ้ ความโด่ง การวิเคราะห์คุณสมบัติทางจิตมิติของแบบวัดได้แก่ ความตรง ความเที่ยง ความยากและอำนาจจำแนก และการวิเคราะห์องค์ประกอบเชิงยืนยันพื้นฐาน ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐานซึ่งมีผลการวิจัยดังนี้ 1. แบบวัดสถานการณ์การรู้สื่อดิจิทัล ฉบับรูปแบบเขียนตอบและฉบับอินเทอร์เน็ต มีคุณสมบัติทางจิตมิติ ในด้าน ความตรงตามเนื้อหา ความตรงเชิงโครงสร้าง ความเที่ยงแบบสอดคล้องภายใน ความยาก และอำนาจจำแนก ไม่แตกต่างกัน คือฉบับรูปแบบเขียนตอบมี IOC=0.80-1.00, โมเดล pBT-CFA สอดคล้องกับข้อมูลเชิงประจักษ์ มีค่าไค-สแควร์=24.75, p=.363, df=23, CFI=1.00, SRMR=.03, RMSEA=.01, Cronbach's Alpha=.743, ความยาก (b) เฉลี่ย=-1.96, อำนาจจำแนก (a) เฉลี่ย=1.28 และฉบับรูปแบบอินเทอร์เน็ตมี IOC=0.80-1.00, โมเดล iBT-CFA สอดคล้องกับข้อมูลเชิงประจักษ์ มีค่าไค-สแควร์=35.59, p=.061, df=24, CFI=.99, SRMR=.03, RMSEA=.04, Cronbach's Alpha=.741, ความยาก (b) เฉลี่ย=-1.95, อำนาจจำแนก(a) เฉลี่ย=1.23 2. การตรวจสอบอิทธิพลของวิธีวัด ของแบบวัดสถานการณ์การรู้สื่อดิจิทัลโดยใช้เทคนิค CTCM พบว่าโมเดล CTCM มีความสอดคล้องกับข้อมูลเชิงประจักษ์ (ไค-สแควร์=286.40, p=.000, df=128, CFI=.97, SRMR=.05, RMSEA=.06) เมื่อพิจารณาจากความแตกต่างของน้ำหนักองค์ประกอบที่เป็นผลมาจากองค์ประกอบของการรู้สื่อดิจิทัล เปรียบเทียบกับน้ำหนักองค์ประกอบที่เป็นผลมาจากวิธีวัดแล้วพบว่า ที่มีค่าน้ำหนักองค์ประกอบที่เป็นผลมาจากวิธีวัดมากกว่าผลการองค์ประกอบของการรู้สื่อดิจิทัล จำนวน 2 ตัวชี้วัด คิดเป็นร้อยละ 10 แสดงให้เห็นว่าแบบวัดสถานการณ์การรู้สื่อดิจิทัลนั้นมีอิทธิพลของวิธีวัดอยู่ในระดับต่ำ 3. แบบวัดสถานการณ์การรู้สื่อดิจิทัล ฉบับรูปแบบเขียนตอบและฉบับอินเทอร์เน็ต มีประสิทธิภาพด้านความพึงพอใจแบบวัดสถานการณ์การรู้สื่อดิจิทัลของผู้ทำการทดสอบทั้งสองรูปแบบไม่แตกต่างกันอย่างมีนัยสำคัญทางสติที่ระดับ .01 โดยนักเรียนมีความพึงพอใจต่อแบบวัดฉบับเขียนตอบเฉลี่ย=4.42 (SD=0.57) และแบบวัดฉบับอินเทอร์เน็ตเฉลี่ย=4.42 (SD=0.56) ประสิทธิภาพในด้านการใช้เวลาในการทำการทดสอบ พบว่า แบบวัดรูปแบบอินเทอร์เน็ตจะมีเวลาเฉลี่ยที่ใช้ในการทำการทดสอบน้อยกว่าแบบวัดรูปแบบเขียนตอบ และแบบวัดรูปแบบอินเทอร์เน็ตมีข้อได้เปรียบในด้านของการให้คะแนนและแปลผล ที่สามารถแจ้งผลคะแนนได้ทันทีเมื่อทำการทดสอบเสร็จ

Other Abstract (Other language abstract of ETD)

The objectives of this studies were to create Paper-Based and Internet-Based Digital Media Literacy Situation (DMLS) Tests and examine their psychometric properties, to analyze the effects of the created Paper-Based and Internet-Based DMLS-tests, and to compare the effectiveness of Paper-Based and Internet-Based DMLS-tests. The samples were 393 high school students under the Secondary Education Service Area Office 1 and 2 in Bangkok during the academic year 2018. The research instruments included the created Paper-Based and Internet-Based DMLS-tests and a questionnaire on the satisfaction of students towards the use of DMLS-tests. The collected data were analyzed using descriptive and inferential statistics, including frequency, percentage, means, standard deviation, skewness and kurtosis. The psychometric properties were analyzed with regard to reliability, validity, difficulty, and discrimination, while the confirmatory factor analysis was conducted with respect to mean and standard deviation. The results were as follows: 1. Considering the psychometric properties, the Paper-Based and Internet-Based DMLS-tests are similar in terms of content validity, construct validity, internal consistency, difficulty, and discrimination. The Paper-Based had good content validity (IOC=0.80 - 1.00), while the pBT-CFA model was fit to the empirical data (chi-square=24.75, p=.363, df=23, CFI=1.00, SRMR =.03, RMSEA=.01). As its Cronbach's Alpha was 0.743, its average difficulty (b) was -1.96 and its average discrimination (a) was 1.28. The Internet-Based had good content validity (IOC=0.80 - 1.00), while the iBT-CFA was fit to the empirical data (chi-square=35.59, p=.061, df=24, CFI=.99, SRMR=.03, RMSEA=.04). As its Cronbach's Alpha was 0.741, its average difficulty (b) was -1.95, and its average discrimination (a) was 1.23. 2. According to the examination of measurement methods of the DMLS-tests using the CTCM model, it was found that the CTCM model was fit to the empirical data (chi-square2 = 286.40, p=.000, df=128, CFI=.97, SRMR=.05, RMSEA=.06). Comparing the factor loadings resulted from digital media literacy and measurement methods, there were 2 indicators (10%) ensuring that the factor loading of the measurement methods was greater than the factor loading of the digital media literacy. This meant that the effect size of measurement methods of the digital media literacy situation tests was small. 3. In terms of student satisfaction, the difference between the Paper-Based and Internet-Based DMLS-tests was not statistically significant at the .01 level. The average level of student satisfaction towards the Paper-Based test was 4.42 (SD=0.57), while the average level of student satisfaction towards the Internet-Based test was 4.42 (SD=0.56). In terms of the average test-taking time, students took less time to finish the Internet-Based test. In addition, the Internet-Based test had advantage over the Paper-Based test in terms of grading and interpretation of test scores as the test results were available immediately after test completion.

Share

COinS
 
 

To view the content in your browser, please download Adobe Reader or, alternately,
you may Download the file to your hard drive.

NOTE: The latest versions of Adobe Reader do not support viewing PDF files within Firefox on Mac OS and if you are using a modern (Intel) Mac, there is no official plugin for viewing PDF files within the browser window.