불균형 단위검사 점수의 신뢰도 추정 방법 비교

• 영문명: A Comparison of reliability estimation methods for unbalanced testlet score
• 발행기관: 한국교육평가학회
• 저자명: 박인용(In-Yong Park) 이명숙(Myung-Suk Lee) 이규민(Guemin Lee)
• 간행물 정보: 『교육평가연구』제24권 제2호, 401~421쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.06.30

국문 초록

이 연구에서는 단위검사에 속한 문항이 불균형으로 이루어진 검사 점수의 신뢰도 추정방법을 비교하였다. 단위검사에 속한 문항의 불균형 정도에 따라 일반화가능도 이론과 문항반응이론에서 하나의 독립적인 문항을 측정의 단위로 하여 단위검사에 접근하는 방법(문항기반 방법), 단위검사를 측정의 단위로 하여 접근하는 방법(단위검사기반 방법), 측정단위는 각각의 문항이지만 단위검사에 내재된 속성을 반영한 방법(단위검사에 속한 문항기반 방법)으로 산출한 검사 점수의 신뢰도 결과 비교를 통하여 이론과 방법 간의 적합성을 탐색하고자 하였다. 이를 위해 모의실험을 통하여 불균형 비율에 따라 데이터를 생성하여 신뢰도를 산출한 후 결과를 비교하였다. 그 결과 문항반응이론을 적용한 경우 불균형 정도에 따른 검사점수의 신뢰도 크기 패턴, 과대추정 정도, 과소추정정도의 패턴이 균형자료로 분석한 결과와 유사하게 나타났다. 그러나, 일반화가능도이론을 적용하여 단위검사를 측정단위로 사용한 경우 단위검사에 속한 문항의 불균형 정도가 신뢰도 추정에 영향을 미치는 것으로 나타났다.

영문 초록

This study was designed to compare several estimation methods for the reliability of test scores composed of testlets which have a different number of items. The purpose of this study was to investigate the relative appropriateness among three methods: item-based method, testlet-based method and item-nested within testlet method, under G-theory and IRT by comparing the reliability estimates obtained by those methods. For accomplishing this purpose, it is used that the simulation technique considered degree of unbalanced data structure. In IRT, the results of this study were similar to the results of previous studies for estimating the reliability of a test composed of testlets which have a balanced data structure in the pattern of reliability estimates, the magnitudes of overestimation, and the pattern of overestimation. However, in G-theory, the reliability estimates obtained by testlet-based method were influenced by the degree of unbalanced data structure of testlets.

목차

Ⅰ. 서론

Ⅱ. 연구방법

Ⅲ. 연구결과

Ⅳ. 결론 및 논의

참고문헌

저자소개

〈ABSTRACT〉

키워드

단위검사 신뢰도 불균형 자료 일반화가능도이론 문항반응이론 Testlet Reliability Unbalanced data Generalizability theory Item response theory