A Study on IRT Fixed Parameter Calibration Methods Using BILOG-MG

• 영문명: A Study on IRT Fixed Parameter Calibration Methods Using BILOG-MG
• 발행기관: 한국교육평가학회
• 저자명: Seonghoon Kim(김성훈)
• 간행물 정보: 『교육평가연구』제19권 제1호, 323~342쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2006.04.01

국문 초록

  공통 능력 척도의 개발은 문항반응이론(IRT)의 모수불변성을 잘 활용하기 위해서 여러 응용 연구에서 요구된다. 그 개발을 위해 세 가지 추정 방법이 사용될 수 있다: 다집단 동시추정 방법, 개별 추정 후 연계(linking) 방법, 고정모수 추정 방법. 본 연구의 목적은 IRT 추정 프로그램인 BILOG-MG에서 기본적으로 제공 되는 고정모수 추정 기능을 진단하고, 그 기능을 올바로 사용하기 위한 두 가지 대안적인 추정 방식을 제안하는 데 있다. 이를 위해 세 가지 고정모수 추정 방법이 고려되었다: 사전능력분포 비갱신 방법, 사전능력분포 단순 갱신 방법, 사전능력분포 반복갱신 방법. 비교의 목적상, 동시 추정 방법과 개별 추정 후 연계 방법 또한 고려되었다. 사전분포 비갱신 방법은 BILOG-MG에서 기본적으로 제공되는 방법이다. 사전능력분포 단순갱신 방법은 해당 분석 자료에 예비적으로 개별 추정 방법을 적용하여 나오는 사후능력분포를 분석 집단의 능력 척도에 맞게 선형 변환한 후 그것을 본 고정모수 추정 방법의 사전능력분포로 사용해서 비고정 (즉, 비공통) 문항의 모수를 추정하는 방법이다. 사전능력분포 반복갱신 방법은 BILOG-MG를 고정모수 추정 방식으로 반복적으로 돌려서 갱신된 사전능력분포를 사용하여 비고정 문항의 모수를 추정하는 방법이다. 세 가지 다른 정규분포－N(-1, 1), N(0, 1), N(1, 1)－각각으로부터 나온 컴퓨터 모의 피험자들을 사용해서 산출된 문항반응 자료를 통해 세 가지 고정모수 추정 방법을 진단하였다. 연구 결과, N(0, 1) 분포를 통해 나온 검사자료에 대해서는 세 가지 방법 모두 잘 작용하는 것이 확인되었다. 사전능력분포 단순갱신 방법과 반복갱신 방법은 검사자료가 N(-1, 1)과 N(1, 1) 분포를 통해 나온 경우에도 잘 작용하는 것으로 나타났다. 이와 대조적으로, 비갱신 방법은 N(-1, 1) 분포로부터 나온 자료에 대해서는 문항곤란도 모수를 과대 추정하는 경향을, 그리고 N(1, 1) 분포로부터 나온 자료에 대해서는 그 모수를 과소 추정하는 경향을 보였다.

영문 초록

  Many applications of item response theory (IRT) require development of a common ability scale. Three calibration methods can be used for this purpose: (1) separate calibration with linking, (2) concurrent calibration, and (3) fixed parameter calibration (FPC). This paper diagnoses the FPC facility of the IRT estimation program BILOG MG 7.0 and presents two alternative FPC methods that can be suitably used under the current limitation for FPC using the program. Three FPC methods were considered: (1) no prior update (NPU), (2) simple prior update (SPU), and (3) iterative prior update (IPU) methods. For comparative purposes, concurrent and separate calibrations were considered as well. The NPU method is the default FPC method supported by BILOG MG 7.0. The SPU method uses as a prior a linear transformation of the posterior ability distribution from a preliminary separate calibration with the data used to conduct FPC (so that it fits the FPC examinees). The IPU method uses iteratively updated prior ability distributions through multiple runs to conduct FPC. Performances of the three FPC methods were examined with test data generated using simulees from three normal distributions: N(-1, 1), N(0, 1) and N(1, 1). All three FPC methods appeared to perform properly under the N(0, 1) distribution condition. The SPU and IPU methods also appeared to perform properly with data from the N(-1, 1) and N(1, 1) distributions. The NPU method, however, tended to overestimate difficulty parameters when response data were generated from the N(-1, 1) distribution, and to underestimate difficulty parameters when the N(1, 1) distribution was used for generating data.

목차

영어 초록
Ⅰ. Introduction
Ⅱ. Three Types of IRT Calibration for Developing a Common Scale
Ⅲ. Methods
Ⅳ. Results
Ⅴ. Summary and Discussion
References
저자소개
요약

키워드

fixed parameter calibration item response theory common scale prior ability distribution 고정모수 추정 문항 반응이론 공통 척도 사전능력분포 BILOG-MG