IRT 공통 능력척도 개발을 위한 공동-피험자 척도연계 방법과 공동-문항 척도연계 방법의 상대적 기능 연구

• 영문명: An Investigation of the Relative Performance of the IRT Scale Linking Methods Using Common Examinees versus Common Items to Develop a Common Scale
• 발행기관: 한국교육평가학회
• 저자명: 김성훈
• 간행물 정보: 『교육평가연구』제22권 제4호, 1057~1077쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.12.30

국문 초록

본 연구의 목적은 문항반응이론(IRT) 능력척도 연계를 위해 최대우도(ML) 능력추정치와 Bayes 사후기대(EAP) 능력추정치를 각각 이용하는 공통피험자 Mean-Sigma 방법(CE ML & CE EAP)의 수행 기능을 공통-문항 Mean-Sigma 방법(Cl MS)과 Stocking-Lord 검사특성곡선 방법(Cl SL)의 수행 기능과 비교하여 분석하는 것이다. 컴퓨터 모의실험을 통해 피험자 집단 간의 비동등성의 수준이 공통-문항 설계와 공통-피험자 설계 모두에 일정하도록 통제한 다양한 척도 연계 조건 하에서 네 가지 척도연계 방법의 수행을 비교하였다. 모의실험 결과, CE ML 방법은 표준오차가 크지만 편의(bias)가 낮은 방식으로 척도연계를 수행하는 반면, CE EAP 방법은 표준오차는 작지만 편의는 큰 방식으로 수행하였다. 이와 관련하여, CE EAP 방법은 표본의 크기가 작을 때(예, 500) 상대적으로 안정적인 수행을 보인 반면, CE ML 방법은 표본의 크기가 클 때(예, 3,000) 상대적으로 우수한 수행을 보였다. 표본크기와 상관없이, 척도연계의 안정성과 정확성에 있어 10% (혹은 20%) 공통 피험자 비율을 이용하는 CE ML 방법은 40개의 문항 중 10개의 (혹은 20개의) 공통문항을 이용하는 CI MS 방법과 유사한 수행 경향을 보였다.

영문 초록

The purpose of this study is to investigate the performance of the mean-sigma (MS) IRT scale linking methods using maximum likelihood (ML) ability estimates versus Bayes expected a posteriori (EAP) ability estimates for common examinees (CE), in comparison to the MS and Stocking-Lord (SL) methods using common items (CI). The relative performance of the two CE (CE ML & CE EAP) methods and the two CI (CI MS & CI SL) methods was examined by using computer simulations to control the nonequivalence level between equating groups equally for both the CE and CI designs. As a main result, the CE ML method tended to yield larger standard error but lower bias in the process of scale linking than did the CE EAP method. In addition, the CE EAP method peformed more stably than the CE ML method when the sample size was as small as 500, whereas the latter outperformed in linking accuracy the former when the sample size was as large as 3,000. Regardless of sample size, in stability and accuracy of scale linking, the CE ML method using 10% (or 20%) common examinees of the total sample size tended to perform similarly to the CI MS method using 10 (or 20) common items out of the total 40 items.

키워드

IRT 능력척도 연계 공통-피험자 척도연계 방법 공통-문항 척도연계 방법 IRT ability scale linking common-examinee linking methods common-item linking methods