혼합형 검사에서 IRT문항모수와 기저 능력분포의 동시 추정이 문항모수 추정의 정확도에 미치는 영향

• 영문명: Effects of Concurrent Estimation of the Underlying Ability Distribution on the Accuracy of IRT Item Parameter Estimation with Mixed-Format Tests
• 발행기관: 한국교육평가학회
• 저자명: 김성훈(Seonghoon Kim)
• 간행물 정보: 『교육평가연구』제26권 제3호, 647~668쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.09.30

국문 초록

본 연구는 김성훈(2012)의 후속연구로서, 혼합형 검사의 IRT 문항모수를 주변최대우도(MML)/베이지언 최빈치(BM)방법을 통해 추정할 때 사전능력분포를 ‘표준정규 N(0, 1)분포로 지정하는 방식’보다 ‘기저 능력분포의 추정치로 지정하는 방식(즉, 문항모수와 능력분포를 동시에 추정하는 방식)’이 더 우수한지를 모의실험을 통해 확인하고자 하였다. PARSCALE프로그램을 이용하여 혼합형 검사의 선다형 문항은 3모수 로지스틱(3PL)모형으로 분석하고 구성형 문항은 일반화부분점수(GPC)모형으로 분석하였다. 모의실험의 요인으로 기저 능력분포의 유형, IRT분석 모형에 의한 검사의 유형, 검사의 곤란도, 표본의 크기 등을 포함하였다. 김성훈(2012)의 연구 결과와 유사하게, 사전능력분포를 기저 능력분포의 추정치로 지정하는 방식이 디폴트 방식인 N(0, 1)분포로 지정하는 방식보다 고려된 모든 검사 조건에서 우수하거나 대등한 수행을 보였다. 즉, 선다형 검사뿐만 아니라 혼합형 검사에 대해서도 IRT 문항모수와 기저 능력분포의 동시 추정은 문항모수 추정의 정확성과 안정성을 향상시켰다.

영문 초록

In item response theory (IRT), the use of marginal maximum likelihood (MML) and Bayesian modal (BM) methods for item parameter estimation requites the specification of a prior distribution for the ability variable. With multiple-choice (MC) tests, Kim (2012) found that in MML/BM estimation of item parameter; the way of specifying the prior ability distribution as the estimate of underlying distribution (i.e., concurrent estimation of item parameters and underlying distribution) outperformed or peformed equally to the way of specifying the prior ability distribution as a standard normal N(0, 1) distribution. As a follow-up study of Kim (2012), this paper attempted to verify through simulations that the previous findings from Me tests should be generalized to mixed-format tests consisting of MC items and constructed-response (CR) items. The PARSCALE program was used to analyze MC and CR items via the 3-paramerer logistic (3PL) and generalized partial credit (GPO models, respectively. The simulation factors considered include type of underlying ability distributions (normal, positively skewed, and negatively skewed), test type by the IRT model used OPL, GPC, and 3PL+GPC), test difficulty (easy, moderately difficult, and difficult), and sample size (500 and 2,000). As found in Kim's study, the way of concurrently estimating the underlying distribution along with item parameters outperformed or peformed equally to the way of specifying the prior distribution as a N(0, 1) in accurate estimation of item parameters with mixed-format tests.

목차

Ⅰ. 서 론

Ⅱ. EM 알고리듬을 통한 IRT문항모수와 기저 능력분포의 동시 추정

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 논의 및 결론

참고문헌

키워드

혼합형 검사 문항모수와 기저 능력분포의 동시 추정 주변최대우도/베이지언 최빈치 추정 mixed-format tests concurrent estimation of item parameters and underlying ability distribution marginal maximum likelihood/Bayesian modal estimation