컴퓨터를 이용한 변형 선다형 방식의 신뢰도 분석

• 영문명: Reliability Analyses of the Computerized Modified Multiple-choice Testing System
• 발행기관: 한국교육평가학회
• 저자명: 박주용(Jooyong Park)
• 간행물 정보: 『교육평가연구』제22권 제3호, 737~756쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

변형 선다형 방식은,선다형에서는 동시에 제시되는 발문과 답지를,발문만 먼저 제시한 다음 답지는 수험자가 답지제시를 요구할 때 제시하되,제시시간을 짧게 하고 그 시간 내에 반응하도록 하는 컴퓨터화 검사방식이다.이렇게 하면 수험자가 마치 단답식 문항을 풀 때처럼,답을 스스로 생각해 내도록 할 수 있으면서,채점은 선다형에서처럼 할 수 있게 된다.본 연구에서는 변형 선다형 방식의 심리측정학적 특성을 알아보기 위한 연구로,검사-재검사 신뢰도와 내적 타당도를 선다형 방식과 비교하였다.실험 1에서는 초등학교 5학년생 146명을 대상으로 언어 유추 검사를 사용하여 비교하였고,실험 2에서는 또 다른 초등학교의 학생들 242명을 대상으로,5학년 사회 단원에 대한 성취 검사를 통해 두 방식을 비교하였다.두 실험 모두에서 선다형과 변형선다형 방식의 검사-재검사 신뢰도는 .7이상으로 양호하였고 이들 간에 차이는 관찰되지 않았다.이 결과는 변형 선다형 방식이 선다형에 못지않게 검사로서의 안정성을 보임을 시사한다.검사 시간을 비교하였을 때,변형 선다형 방식이 선다형 방식에 비해 유의미하게 짧았다.이상의 연구결과에 대한 시사점과 앞으로의 연구 방향이 논의되었다.

영문 초록

The Computerized Modified Multiple-choice Testing(CMMT) system is a new computerized testing system which presents the stem first and has the examinee ask for the options and respond to it with in a preset time instead of presenting the stem and the options at the same time as in a typical multiple-choice test. This manipulation forces the examinee to generate his or her own answer as when solving a short answer item, and yet facilitates the grading as in a multiple choice test. The present study was undertaken to examine the psychometric characteristics of the CMMT format, and compared its test-retest reliability with that of the multiple choice testing format. In Experiment 1, the comparison was made among 146 elementary school fifth graders who we regiven a verbal analogy test.In Experiment 2, the comparison was made among 242 students from another elementary school, who we regiven a 5th grade scire giachievement test. The results from both experiments showed that the test-retest reliabilities of both the multiple choice and the CMMT formats were over 0.7, which is acceptabIn Eand no significanifti terence was found between the two formats. These results suggest that the CMMT format is just as reliable a testing format as the multiple choice testing format. When the testing times were compared between the two formats, the CMMT testing time was significantly shorter than that of the multiple choice testing format. Implications of the results and directions for future studies were discussed.

키워드

검사-재검사 신뢰도 컴퓨터화 검사 변형 선다형 검사 test-retest reliability computerized testing the Computerized Modified Multiplt-choiceTesting System