A Simulation Study Evaluating the Impact of Context Effects on IRT Pre-Equating

• 영문명: A Simulation Study Evaluating the Impact of Context Effects on IRT Pre-Equating
• 발행기관: 한국교육평가학회
• 저자명: 이현숙(Hyun Sook Yi) 김성훈(Seonghoon Kim) 김종필(Jong-Pil Kim)
• 간행물 정보: 『교육평가연구』제18권 제3호, 209~231쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2005.11.01

국문 초록

IRT 사전 동등화(pre-equating)는 본 검사(operational test)가 실시되기 이전에 미리 예비 검사 (field test)를 통해 얻은 문항 모수를 바탕으로 IRT 동등화를 실시함으로써 각 원점수에 대응하는 척도 점수를 산출하는 방법이다. 이 방법은 검사가 제공되는 맥락에 상관없이 문항의 모수는 일정하게 유지된다는 전제를 바탕으로 하고 있으며, 이러한 전제가 만족될 경우에만 그 실효성이 정당화된다. 본 연구에서는 첫째, 다변인 회귀 분석 방법을 이용하여 문항의 문맥 효과를 모형화하는 방안을 제안하고, 이를 바탕으로 문맥 효과의 정도에 따라 문항 모수의 불변성이 위배되는 정도를 분석하였다. 둘째로, 문항 차원에서 모수 불변성의 결여가 검사 차원에서의 동등화 결과와 개별 피검자의 점수에 어느 정도 영향을 미치는지를 시뮬레이션을 통해 분석하였다. 연구 결과를 통해, IRT 사후 동등화(post-equating)가 사전 동등화에 비해 보다 정확한 동등화 결과를 산출함이 발견되었다. 또한, 사전 동등화가 불가피한 경우, 동형 검사 제작시 첫째, 예비 검사에서와 본 검사에서의 문항 위치를 일정하게 유지하고, 둘째, 예비 검사 문항을 치루는 피검자의 수를 늘리고, 셋째, 전체 문항 중 예비 검사만을 거친 문항의 상대적 비율을 가능한 한 줄이는 등의 방안이 제시되었다.

영문 초록

IRT pre-equating is an alternative equating procedure using item parameters calibrated in previous administrations as field test items, as opposed to the IRT post-equating procedure using item parameters obtained from operational administrations. Viability of IRT pre-equating rests on the premise that invariance of item parameters is ensured across administrations, which is likely to be violated in practice. The purposes of the present study were twofold. One was to propose a procedure of modeling context effects based on a multivariate regression technique and to examine the extent to which the item parameter invariance is ensured under various degrees of context effects. The other was to examine whether the lack of item parameter invariance affects equating results and examinee scores under varying testing conditions. Overall, the findings of this study showed that IRT post-equating provided more accurate equating results compared to IRT pre-equating. However, if using IRT pre-equating is inevitable for practical reasons, test forms should be carefully developed so that accuracy of equating can be improved. It was suggested that conscious efforts be made to preserve the temporal position of items across administrations, to increase sample sizes for field test item calibrations, and to reduce the proportion of field-tested items when constructing a new form.

목차

ABSTRACT

Ⅰ. Introduction

Ⅱ. Methods and Procedures

Ⅲ. Results

Ⅳ. Conclusions and Discussion

References

저자소개

요약