다수의 피험자 집단에 실시된 공통 본 검사 문항과 고유 외부가교 문항의 IRT 모수 추정 방법

• 영문명: An Investigation on Methods for Estimating IRT Parameters of the Common Operational Items and the Unique External Anchor Items Administered to Multiple Groups
• 발행기관: 한국교육평가학회
• 저자명: 김성훈(Seonghoon Kim)
• 간행물 정보: 『교육평가연구』제24권 제2호, 423~443쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.06.30

국문 초록

한 검사 회기에서 다수의 피험자 집단에 실시된 공통의 본 검사 문항들과 각 검사형에 고유한 외부가교 문항들의 문항반응이론(IRT) 모수를 주변최대우도(MML) 추정의 틀 안에서 안정적이고 효율적으로 추정할 수 있는 방법들을 탐색하였다. 이 추정을 위한 기본전제는 본 검사의 문항모수와 외부가교 문항의 모수를 분리하여 추정하되 동일한 능력척도(즉, 본 검사의 능력척도) 상에서 추정하는 것이었다. 피험자 집단 간의 비동등성의 수준, 검사의 길이, 표본의 크기 등을 변화시킨 다양한 검사 조건에서 본 검사 문항을 추정하는 두 가지 방법과 외부가교 문항을 추정하는 두 가지 방법의 기능을 모의실험을 통해 살펴보았다. 본 검사의 경우, 임의로 지정된 사전능력분포를 고정하여 문항모수를 추정하는 것보다 갱신하면서 추정하는 방법이 모수 복원의 정확성과 안정성에 있어서 더 우수한 경향을 보였다. 외부가교 문항모수 추정의 경우, 약간의 예외를 제외하고, “고정문항 모수 추정” 방법이 “결합 추정 후 척도변환” 방법보다 정확하고 안정적인 추정치를 산출하는 경향을 보였다. 그러나 두 방법 간의 실제적 차이는 그리 크지 않아 보였다. 대부분의 경우, 고정문항모수 추정 방법은 사전능력분포-갱신 추정 방법을 통해 산출한 본 검사의 문항모수 추정치에 기초하여 수행될 때 가장 정확하고 안정적인 수행을 보였다.

영문 초록

In a testing program employing the external-anchor equating design and item response theory (IRT), several alternate forms are often administered to multiple groups in a testing session. The purpose of this study was to identify the proper methods for estimating IRT parameters of the operational (OP) items common to the multiple forms and the external-anchor (EA) items unique to each form, under the framework of marginal maximum likelihood estimation. It was premised that the common OP items should be separately calibrated from EA items in a form, but on a common scale (i.e., the scale for the OP items). Through computer simulations, the performances of two methods for calibrating OP items and two methods for calibrating EA items were examined under various testing conditions that differed in the degree of nonequivalence in ability distribution among examinee groups, test length, and sample size per group. As a main result for the OP items, the estimation method with updating the prior for ability tended to outperform the estimation method with the default standard normal prior. For the calibration of EA items on the scale of OP items, the fixed item parameter calibration method tended to produce more accurate and stable estimates than the joint (OP + EA) calibration method aligned with scale transformation. In most cases, the fixed item parameter calibration method performed the most as the OP item parameter estimates to be fixed were obtained by using the prior-update estimation method.

목차

Ⅰ. 서론

Ⅱ. 본 검사 및 외부가교 문항의 IRT 모수의 분리 추정과 연계

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 논의 및 결론

참고문헌

저자소개

〈ABSTRACT〉

키워드

외부가교 문항 동등화 설계 문항모수 추정 공통 능력척도 문항반응이론 external-anchor equating design item parameter estimation common scale item response theory