Bifactor 다차원 문항반응이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정 방법

• 영문명: A Bifactor MIRT Approach to Estimating the Reliability of Test Scores Composed of Testlets
• 발행기관: 한국교육평가학회
• 저자명: 김나나(Nana Kim):이규민(Guemin Lee):강상진(Sang-Jin Kang)
• 간행물 정보: 『교육평가연구』제30권 제1호, 75~99쪽, 전체 25쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2017.03.31

국문 초록

이 연구에서는 bifactor 다차원 문항반응이론을 적용하여 단위검사 구성 검사점수의 신뢰도를 추정하였고, 이를 기존 연구에서 사용되어온 다른 신뢰도 추정 방법들과 비교하였다. 구체적으로 bifactor 모형, 일차원 이분문항반응이론 모형, 일차원 다분문항반응이론 모형을 적용하여 추정한 신뢰도를 비교하였으며, 단위검사 효과의 크기와 단위검사의 불균형 수준이 이러한 단위검사 구성 검사점수의 신뢰도 추정에 미치는 영향을 분석하였다. 연구 결과, bifactor 모형이 단위검사 구성 검사점수의 신뢰도를 가장 정확하게 추정하였고, 이분문항반응이론 모형과 다분문항반응이론 모형은 신뢰도를 각각 과대 추정하거나 과소 추정하였다. 하지만 다분문항반응이론 모형의 경우에는 신뢰도 과소 추정의 정도가 미미하여, 단위검사 구성 검사점수의 신뢰도를 추정하는 방법으로 사용할 수 있을 것으로 보인다. 또한 단위검사의 효과가 커질수록 이분문항반응이론 모형의 신뢰도 과대 추정 정도가 커지는 것으로 나타난 반면, 단위검사의 불균형 수준은 신뢰도 추정에 큰 영향을 미치지 않았다.

영문 초록

This study aimed to investigate a bifactor MIRT approach to estimating the reliability of testlet-composed test scores. Using simulated data, the reliability estimates derived from a bifactor model were compared to those estimated via traditional IRT models: a two parameter logistic (2PL) model and a graded response model (GRM). Moreover, the effects of testlet effect size and the degree of imbalance in testlet lengths on estimating the reliability were examined. The bifactor model produced the most accurate reliability estimates of testlet-composed test scores while the 2PL model and GRM over- and under-estimated the reliability, respectively. The magnitudes of underestimation in the GRM, however, were very small; therefore, using the GRM also seemed to be quite appropriate when estimating the reliability of testlet-composed test scores. The errors of reliability estimates obtained from the 2PL model increased as the testlet effect grew larger. The degree of imbalance in testlet lengths also influenced the errors of reliability estimated from the 2PL model, but the effect was marginal

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

키워드

신뢰도 단위검사 문항반응이론 Bifactor 다차원 문항반응이론 모형 일차원 이분문항 반응이론 모형 일차원 다분문항반응이론 모형 일반화가능도이론 Reliability Testlet Item Response Theory Bifactor MIRT Model Two-Parameter Logistic Model Graded Response Model Generalizability Theory