국제비교평가 검사들의 국가간 차이 분석을 위한 Rasch 모형 적용

• 영문명: Applying the Rasch model to explore the differences between countries for tests administered across countries
• 발행기관: 한국교육평가학회
• 저자명: 지은림(Chi, Eunlim)
• 간행물 정보: 『교육평가연구』제24권 제1호, 89~106쪽, 전체 18쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.03.30

국문 초록

국제화 추세와 함께 많은 심리검사들이 국제비교평가에 사용되고 있으나, 이러한 검사들은 국가들이 가지고 있는 다양한 사회․문화적 배경과 언어의 영향을 제대로 고려하지 못하고 있어 측정학적 오류의 유발에 대한 우려가 커지고 있다. 따라서 본 연구는 여러 국가들을 대상으로 동시에 실시되는 검사에 대해 측정의 타당성과 국가 간 차이에 대해 탐색해보고자 한다. 이를 위한 자료로는 TIMSS 수학 8학년 교사 설문지에 대한 한국, 대만, 미국 교사들의 응답을 사용하였다. 측정모형으로는 Rasch 모형의 확장형태인 부분점수모형(Partial Credit Model)을 사용하였는데 첫째, 검사 특성 및 타당성을 확인하기 위해‘문항 적합도’와 ‘문항과 피험자 추정치 분포’에 대한 분석을 실시했다. 둘째, 국가 간 차이를 탐색하기 위해서 문항 편파성 분석을 실시하였다. 마지막으로 편파성이 발견되는 문항을 조정하여 척도를 재개발 하는 방법을 실시하였다. 본 연구에서 보여준 국가 간 차이 분석을 위한 방법론적 탐색은 향후 국제비교평가에서 사용되는 검사들의 타당성을 확보하고, 편파성을 제거 또는 조정함으로써 국가 간에 동등성을 확보하는데 도움을 줄 수 있을 것으로 기대된다.

영문 초록

This study recognizes the seriousness of the equivalence of tests administered across countries and tries to demonstrate how to explore cross-culutural assessment. For the study, TIMSS teachers' survey data for 8th grade math subject were used to compare Korea, Tiwan, and USA. The measurement model applied to the data analysis was partial credit model which was the expanded form of Rasch model, and WINSTEPS, the scaling computer program using partial credit model, was used to examine item fit, item and person measures and to find and adjust DIF items. The result revealed that there were significant differences between the group of Korea and the group of Tiwan and USA in teachers' assessment practice. Korean teachers showed lower levels in most of items. This implies that Korean math teachers less practice assessment than the other two countries. For example, item 7 (“students' outcomes of homework are used for class discussion”) showed the largest differences between Korea and the other two countries. For the item 7, re-scaling was performed treating the item as two different items; one for Korea and the other for Tiwan and USA. That is, teachers' responses were split into two groups(Korea and Tiwan-USA) and estimated again. It was found that the measure of item 7 became far lower for Korea than the other two countries. This analysis tried to demonstrate that the differences between countries could be used to adjust item measures and improved the equivalence of tests across countries by controlling item biases. However, the further studies are suggested to make the goal of exploring the equivalence of cross-cultural assessment explicit. Also, the methods of adjusting DIF items to improve the equivalence of tests should be more examined and compared.

목차

Ⅰ. 서 론

Ⅱ. 기술적 배경

Ⅲ. 연구 자료

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

키워드

국제비교평가 타당성 편파성 동등성 부분점수모형 cross-country evaluation validity bias equivalence partial credit model