외적 가교검사의 통계적 구성 조건 완화가 검사동등화 결과에 미치는 영향

• 영문명: Influences of Relaxing Statistical Assumptions for External Anchor Test Construction on the Performance of IRT Equating
• 발행기관: 한국교육평가학회
• 저자명: 이현숙(Hyun Sook Yi) 김성훈(Seonghoon Kim)
• 간행물 정보: 『교육평가연구』제23권 제2호, 417~439쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.06.30

국문 초록

본 연구의 목적은 ‘외적 가교검사를 이용하는 공통문항-비동등집단 동등화 설계’에서 가교검사를 구성할 때 요구되는 통계적 조건(즉, 전체 검사의 축소판)을 완화하는 것이 IRT 검사동등화의 정확성에 어떠한 영향을 미치는지를 모의실험을 통해 탐색하는 것이다. 이를 위해 통계적 구성 조건을 변화시켜세 종류의 외적 가교검사를 형성하였다: 표준편차의 관점에서 볼 때 전체 검사의 곤란도 분포의 (1)100%를 반영하는 ‘전체’ 조건의 가교검사, (2) 80%를 반영하는 ‘보통’ 조건의 가교검사, (3) 50%를 반영하는 ‘좁음’ 조건의 가교검사. 선행 연구에서 검사동등화의 정확성에 영향을 미치는 것으로 보고된 (1)피험자 집단 간 능력의 동등성 수준, (2) 표본 크기, 그리고 (3) 가교검사의 길이를 변화시켜 조작된 검사동등화 상황을 300번 모의 반복하여 이 세 종류의 외적 가교검사의 기능을 검토하였다. 연구 결과의 일반성을 높이기 위해 모의실험에서 사용한 전체 검사는 선다형 문항과 구성형 문항을 모두 포함하는 혼합형 검사로 구성하였고, 외적 가교검사는 선다형 문항으로만 구성하였다. 연구 결과, 범주특성곡선을 기준으로 평가한 척도변환의 정확성에 있어서, 전체 검사의 곤란도 분포를 그대로 반영하는 ‘전체’조건의 외적 가교검사가 완화된 조건의 가교검사보다 더 우수한 결과를 보였다. 반면 동등화 점수의 정확성을 평가하여 종합한 지표에서는 전체 검사의 곤란도 분포를 그대로 반영하는 것보다 좁은 범위에 분포하도록 외적 가교검사를 구성하는 것이 훨씬 더 정확한 결과를 산출하였으며, 동등화 점수의 점수별 조건부 표준오차에 있어서도 좁은 범위의 외적 가교검사가 더 정확한 결과를 산출하였다. 이러한 결과는 실제 동등화 상황에서 엄격한 가교검사 구성 조건으로부터 초래되는 검사 개발상의 부담을완화시킬 수 있는 가능성을 시사한다

영문 초록

This study investigated the degree to which IRT equating is affected by relaxing assumptions that need to be satisfied for constructing external anchor tests in the common-item non-equivalent groups design. The assumption that the anchor test should be statistically representative of the total test was evaluated under various simulation conditions, including the spread of item difficulty parameters of the anchor test, the length of the anchor test, sample size, and equality of ability distributions between examinee groups. As an extension of previous studies, this study used a mixed format test, including both multiple-choice and constructed-response item format. It was observed that the performance of scale linking evaluated by the category characteristic curve criterion was favorable to the anchor test consisting of the full range of the item difficulty of the total test, while the performance of equating was generally better for the anchor test with a less wide range of the item difficulty. Conditional standard errors calculated for each equated score point were also smaller for the anchor test with a narrower range of item difficulty. The findings of this study generally suggest that test developers may have more confidence in constructing anchor tests with less strict conditions that do not threaten the validity of equating.

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 논의 및 결론

키워드

공통 문항 비동등집단 설계 가교검사 검사동등화 Common-item non-equivalent groups design Anchor test Test equating