검사동등화를 통한 지필-온라인 모드 효과 분석

• 영문명: Paper-and-pencilandOnlinetests'ComparabilityStud ofEnglishReadingTestsforNonnativeSpeaker
• 발행기관: 한국교육평가학회
• 저자명: 유진은(Jin EunYoo)
• 간행물 정보: 『교육평가연구』제22권 제3호, 783~804쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

시험지 복사·운송과 관련한 비용 절감,혁신적인 문항의 실시,문항 당 반응 시간과 같은 부가적인 정보 획득 등의 여러 가지 이점으로 인해 최근 온라인 시험이 각광받기 시작했다.그러나 컴퓨터로 보는 온라인 시험은 컴퓨터 단말기가 학생 수만큼 있어야 하므로 지필 시험에서처럼 모든 학생들이 한번에 시험을 보기가 힘들다.현장에서는 같은 시험을 지필 시험과 온라인 시험 중 하나로 선택하여 볼 수 있도록 하는 것이 일반적인데,이렇게 같은 시험이 지필·온라인의 두 유형으로 공존하는 상황에서는 지필 시험을 선택한 학생과 온라인 시험을 선택한 학생이 그 결과에 있어 차이가 없는지 비교·분석하여 해석하고 그에 따라 의사 결정을 내릴 필요가 있다.본 연구는 영어가 모국어가 아닌 학생용 영어 읽기 시험의 지필-온라인 모드 효과를 Stratified-Matched Sample Comparability Analyses(Stratified-MSCA;층화-MSCA)방법을 이용하여 분석하였다.Stratified-MSCA방법은 지필 시험을 본 학생이 능력 급간도 같고 인구통계학적 특성도 같은 온라인 시험을 본 학생과 매치(match)되도록 표집하여 원점수에서 척도점수로의 변환을 부트스트랩 방법을 이용해 구한다.연구 결과,최고 학년 급을 제외한 모든 학년에서 모드 차이가 있었다.학년·피험자의 능력·성별 등에 따라 패턴이 달랐으나,모드 차이가 있을 때 피험자들은 온라인 시험에서 더 유리한 경향을 보였다.특히 2·3학년 여학생의 경우 같은 학년 남학생보다 온라인으로 시험 보는 것이 더 유리했다.지필 시험이 온라인 시험으로 한 번에 전환되기 힘들기 때문에 온라인·지필 시험이 공존하는 상황에서 모드 효과가 계속 논란거리를 제공할 여지가 있다.앞으로의 지속적인 후속 연구로 온라인·지필 시험에서의 모드 효과가 이론적으로 정립될 필요가 있다.

영문 초록

Due to well-known advantages of online testing, several U.S. statede partments of education have been implementing, and many more are interested in online tests. As all schools do not have the in frastructure to test all students at one time online, online and paper-and-pencil tests have to coexist. When a test is offered both in paper-and-pencil and online, the comparability of the results needs to be examined with professional standards. This study analyzed the mode effect of paper-and-pencil and online tests of English reading for nonnative speakers grades 2 to 12, using Stratified-Matched Sample Comparability Analyses (Stratified-MSCA). Stratified-MSCA matches paper sample to online sample of the same demographic profiles and in the same ability level, performs bootstrap replications, and yields as eparate raw-score-scale-score conversion table, if mode difference is detected. All grade-bands except the grade-band 10～12 showed mode effect. When mode effect exists, the online sample was favored. Particularly, grades 2 and 3 female students had greater advantage of taking tests online, compared to their male counterparts. Aspaper-and-pencil tests cannot be converted to online tests all at once, mode effect between them can be of great issue. Further studies are needed to establish mores table theories in paper-and-pencil and online mode effect.

키워드

온라인 시험 지필 시험 모드 효과 Stratified-MSCA방법 영어가 모국어가 아닌 학생용 영어 읽기 시험 online test paper-and-pencil test mode effects Stratified-MSCA(Stratified-Matched Sample Comparability Analysis) English reading tests for nonnative speak