Estimating Domain Scores for Mixed-Format Tests under Item response theory and Generalizability theory Approaches

• 발행기관: 한국교육평가학회
• 저자명: 신민정(MinJeong Shin) 이규민(Guemin Lee)
• 간행물 정보: 『교육평가연구』제24권 제2호, 507~526쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.06.30

국문 초록

이 연구에서는 영역점수를 추정하기 위해 문항반응이론과 일반화 가능도이론을 활용한 추정 방법을 적용해 보았다. 그리고 관찰 점수와 두 이론을 적용하여 산출한 점수를 비교해 보고, 가장 정확한 결과를 도출하는 방법이 무엇인지 알아보았다. 선행 연구와 다른 점은 이 연구에서는 혼합형 검사를 사용했다는 것과 개인 수준과 집단 수준에서의 추정치를 모두 포함하였다는 것이다. 이 연구를 위해 크게 두 가지 조건을 사용하였다. 본 연구에서 사용한 조건은 문항 수와 집단 안에 포함된 피험자 수이다. 문항 수를 13, 26, 51 문항으로 하여 각각 세 가지 검사형을 구성하였고, 집단 내 피험자 수는 25, 50, 100명으로 세 개의 다른 집단을 가정하였다. 연구 결과, 일반화 가능도이론과 문항반응이론을 적용한 방법이 관찰점수 방법보다 더 정확한 결과를 산출한다는 사실을 확인할 수 있었다. 개인 수준에서는 최대우도추정치 방법이 모든 조건에서 가장 작은 평균제곱오차를 보였다. 문항 수가 증가함에 따라 평균제곱오차는 줄어들었으나, 13 문항에서 26 문항으로 증가할 때에는 평균제곱오차의 감소폭이 크지 않았다. 집단 수준에서의 결과에서도 역시 관찰점수 방법보다는 일반화 가능도이론과 문항반응이론을 적용한 방법이 더 나은 결과를 보였다. 문항 수가 13일 때에는 최대우도추정치 방법이 가장 작은 평균 제곱오차를 보였고, 26 문항으로 이루어진 검사형에서는 집단 내 피험자수에 상관없이 문항반응이론방법이 일반화 가능도이론 방법보다 더 나은 결과를 보였다. 문항 수가 51문항으로 증가함에 따라 관찰점수를 제외한 각 방법의 추정치가 비슷한 결과를 보였다. 이 연구에서는 비록 감소되는 폭이 각 조건에 따라 다르긴 하지만, 집단 내 피험자 수와 문항수가 커짐에 따라 평균제곱오차는 점차 줄어든다는 사실을 확인할 수 있었다.

영문 초록

This study was conducted to investigate the relative appropriateness of several estimation methods for domain scores under item response theory (IRT) and generalizability theory (G-theory) approaches. Both individual and group level domain score estimates were examined with mixed-format data. Several simulation conditions were formulated by considering and combining the number of items within a separate domain (13, 26, and 51) and the number of examinees within a specified group (25, 50, and 100). Based on the results, both G-theory and IRT-based approaches produced better estimates for domain scores than did using observed scores for all conditions. At the individual level, IRT-MLE method showed the smallest mean square error (MSE). As the number of items increased, MSE decreased as expected. When the number of items increased from 13 to 26, the decrease in MSEs did not seem to be large. At the group level, the GT-Searle method produced the largest MSEs. As the number of items within a domain and examinees within a group increased, MSEs decreased to some extent.

목차

Ⅰ. Introduction

Ⅱ. Theoretical Background

Ⅲ. Method

Ⅳ. Results

Ⅴ. ConclUsions

References

저자소개

〈요약〉

키워드

Domain scores Item Response Theory Generalizability theory Mixed-format tests 영역점수 문항반응이론 일반화 가능도이론 혼합형 검사