혼합형 검사를 사용한 피험자 능력모수 추정에서 가중우도 방법과 사후기대 방법의 기능 비교

• 영문명: Comparison of the Performance of the Weighted Likelihood and Expected A Posteriori Methods in Estimation of IRT Ability Parameters with Mixed Format Tests
• 발행기관: 한국교육평가학회
• 저자명: 김성훈(Seonghoon Kim) 김희경(HeeKyoung Kim) 김성숙(Sungsook Kim)
• 간행물 정보: 『교육평가연구』제23권 제3호, 665~685쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.09.30

국문 초록

피험자의 능력모수 추정을 위해 개발된 문항반응이론(IRT) 가중우도(WL) 방법과 사후기대(EAP) 방법을 선다형 및 구성형 문항이 혼재된 다양한 혼합형 검사에 적용하였을 때 그 상대적 기능이 어떠한지를 모의실험을 통해 검토하였다. EAP 방법은 능력모수의 사전분포(prior)에 영향을 받는다는 것을 감안하여, 표준정규 사전분포에 기초한 방법과 균일사전분포에 기초한 방법으로 세분하였다. 능력모수 추정의 편파성(bias)을 분석한 결과,WL 방법은 대략 [-2, 2]의 능력 구간에서 거의 편파성을 보이지 않았으며, 능력척도의 양극단에서 원점(0)을 향한 근소한 축소 추정의 경향을 보였다. 표준정규 사전분포 EAP 방법은 능력모수를 사전분포의 평균을 향해 상당한 정도로 축소 추정하는 경향을 보인 반면, 균일 사전분포 EAP 방법은 평균(0)을 중심으로 능력척도의 하단과 상단에서 근소한 정적(+) 편파성과 부적(－) 편파성을 반복하는 패턴을 보였다. 능력모수 추정의 전체 오차(RMSE)에 대해서, 표준정규 사전분포 EAP 방법은 대략 [-2, 2]의 능력구간에서 가장 작은 오차를 산출한 반면 균일 사전분포 EAP 방법은 그 밖의 양 극단에서 가장 작은 오차를 산출하였으며, WL 방법은 두 EAP 방법이 산출한 오차들 사이에 위치하는 값을 산출하였다. 능력추정치들의 평행-검사형 신뢰도 계수에 있어서는, 표준정규 사전분포 EAP 방법이 가장 높은 값(약 0.92)을 산출하였고, 균일 사전분포 EAP 방법과 WL 방법은 거의 동일한 값(약 0.90)을 산출하였다

영문 초록

The performance of the weighted likelihood (WL) and expected a posteriori (EAP) methods for estimating item response theory (IRT) ability parameters was compared through computer simulation to investigate how they would function with various mixed format tests. The EAP method would function differentially depending on the type of ability prior, so two versions of it were considered: one was based on a standard normal N(0, 1) prior and the other on a uniform U[-4, 4] prior. For the estimation bias for given ability parameters, the WL estimator produced practically unbiased estimates in the interval of about [-2, 2] on the ability scale, but slightly shrunken estimates toward the origin in both tails of the ability scale (that is, inward bias, which means negative correlation with true ability). In contrast, the N(0, 1) prior EAP estimator performed a substantive shrinkage estimation of ability parameters toward the prior mean, whereas the uniform prior EAP estimator showed irregular wave-like bias curves of slight positive (+) and negative (－) bias being repeated around the mean (0), such as a pattern of “+－0+－.” For the total error of estimation (RMSE), the N(0, 1) prior EAP estimator produced the least error in the interval of about [-2, 2], whereas the uniform prior EAP estimator produced the least error in both sides of the interval. The WL estimator produced intermediate total errors located between the errors from the two EAP estimators. For the parallel-forms reliability coefficient for ability estimates, the N(0, 1) prior EAP estimator produced the highest values (about 0.92) and the uniform prior EAP and WL estimators produced almost the same values (about 0.90).

목차

Ⅰ. 서 론

Ⅱ. IRT 능력모수 추정의 원리

Ⅲ. 연구방법

Ⅳ. 연구결과

V. 논의 및 결론

키워드

가중우도 추정 사후기대 추정 혼합형 검사 문항반응이론 weighted likelihood estimation expected a posteriori estimation mixed format tests item response theory