문항반응이론에 기반한 하위점수 산출방법 비교

• 영문명: Comparisons of IRT sub-score scaling methods
• 발행기관: 한국교육평가학회
• 저자명: 민경석(Kyung-Seok Min)
• 간행물 정보: 『교육평가연구』제24권 제3호, 799~817쪽, 전체 19쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.09.30

국문 초록

검사결과가 개별적 진단과 교육적 개입을 목적으로 활용될 경우, 포괄적 영역을 진단하는 전체 점수(총점)와 함께 제공되는 하위점수는 보다 상세히 정의된 내용 영역에 대하여 교육/상담적 정보를 제공할 수 있을 것이다. 세분화된 영역에 대한 하위점수가 보다 상세한 내용영역의 정보를 제공한다는 장점에도 불구하고 검사에 포함되는 하위영역의 문항 수는 전체검사와 비교하여 상대적으로 적을 수밖에 없으며, 이에 따라 하위점수는 낮은 신뢰도라는 측정이론적 문제점을 보인다. 이 논문의 목적은 일차원 문항반응모형, 다차원 문항반응모형(단순구조와 복합구조)을 통하여 산출된 하위점수의 측정이론적 특성을 비교하는 것에 있다. 세 가지 모형으로부터 산출된 능력추정치의 측정이론적 특성을 비교하기 위하여 두 가지 실제 검사자료를 분석했으며, 다차원 단순구조 모형과 복합구조 모형이 원점수와 일차원 문항반응모형 보다 신뢰로운 하위점수를 산출하는 것으로 나타났다. 또한, 실제 자료 분석의 필요성과 부가 정보를 활용한 하위점수의 타당도가 논의되었다.

영문 초록

Compared with total test scores, sub-scores could provide more domain specific information for individual diagnosis and educational interventions. Even though sub-scores could be more specific on target domains, there are inevitably fewer test items for each sub-test compared with overall test. It means that sub-scores tends to be less reliable due to small number of items. The purpose of this paper was to compare reliability of sub-score estimates among three different measurement models; unidimensional IRT model, multidimensional IRT models with simple structure and complex structure. By analyzing two real test data (reading ability test and ICT literacy test for elementary students), it was found that multidimensional models provided more reliable sub-scores. Independent calibrations of unidimensional IRT model produced more reliable sub-score than traditional raw scores. Simple structure model provided most reliable scores while complex structure focused on main ability factor rather than balancing out multiple dimensions. In addition, limitations of the study and directions for further researches were discussed.

목차

Ⅰ. 다양한 하위점수의 의미와 차별성

Ⅱ. 하위점수 산출 모형

Ⅲ. 능력모수와 신뢰도 추정

Ⅳ. 자료 분석

Ⅴ. 결론 및 논의

후주

참고문헌

〈ABSTRACT〉

키워드

다차원 문항반응이론 단순구조 복합구조 하위점수 multidimensional IRT models simple structure complex structure sub-scores