Effects of Non-random Choices of Test Items on IRT-based Parameter Estimation and Examinee Scores

• 영문명: Effects of Non-random Choices of Test Items on IRT-based Parameter Estimation and Examinee Scores
• 발행기관: 한국교육평가학회
• 저자명: Hyun Sook Yi(이현숙)
• 간행물 정보: 『교육평가연구』제20권 제1호, 195~212쪽, 전체 18쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2007.03.30

국문 초록

  현행 검사 프로그램 중에는 피험자가 지정된 영역들 중 일부만을 선택하여 응답하도록 하는 경우가 종종 있다. 이러한 검사 설계는 피험자들에게 보다 다양한 주제의 문항들을 제공하여 자신이 강점을 가진 분야를 선택하도록 함으로써 특정 주제에 의해 피험자의 능력 추정치가 영향 받게 되는 오류를 줄일 수 있다는 점에서 장점을 가지고 있다. 그러나 이러한 검사 설계의 타당성은 선택 영역간의 측정학적 혹은 내용적 특성이 동등하다고 간주할 수 있을 경우에만 인정된다. 문항반응이론을 이용한 선택 영역간 점수 조정방법이 몇몇 연구자들에 의해 제안되어 왔으나, 이 방법은 피험자의 영역 선택이 완전히 무선적이라는 가정하에서만 이용 가능하다. 본 연구에서는 피험자의 영역 선택이 비무선적으로 이루어졌을 경우 문항 모수 및 능력 모수의 추정, 그리고 피험자의 점수에 미치는 영향을 고찰하고자 모의 연구를 수행하였다. 이를 위해 각 선택 영역을 구성하는 다양한 주제의 문항들은 단일 차원의 특성을 가지고 있으나 난이도에 있어 차이를 보이는 것으로 가정하고, 능력이 높은 피험자가 쉬운 내용으로 구성된 영역을 선택하는 경우와 능력이 낮은 피험자가 쉬운 영역을 선택하는 경우, 그리고 선택이 완전히 무선적으로 이루어지는 경우로 구분하여 모의 자료를 생성하여 분석하였다. 그 결과, 피험자의 영역 선택을 허용하는 검사는 가급적 피하는 것이 바람직하나, 이러한 검사 설계가 불가피한 경우, 검사 개발자는 피험자들이 선택 영역 중 특별히 쉽거나 어려운 영역을 분별하여 선택하지 못하도록 검사 내용 및 측정학적 특성들을 구성해야 함을 제안하고 있다.

영문 초록

  In educational testing, examinees are sometimes instructed to select and respond to a subset of items from a designated list, because such test designs are perceived to be more realistic, authentic, and valid. A crucial issue of using choice items, however, is whether scores on choice items are comparable. IRT framework has been proposed for a method for adjusting scores across choice sections to enhance score comparability, based on the assumption that examinee choices are made in a completely random manner, which is likely to be violated in practice. In this study, the effects of non-random choices on the item and ability parameter estimation as well as examinee scores were examined. The findings from this study suggest that it would be best if test designs allowing examinee choices could be avoided. However, if allowing examinee choices is inevitable for practical or political reasons, test developers should make cautious efforts to make the content and psychometric properties of the choice sections as similar as possible, so that examinees cannot identify or be attracted to broadly easier or difficult sections, which, ironically, could eliminate one of the intended purposes of using such test designs.

목차

Ⅰ. Introduction
Ⅱ. Methods
Ⅲ. Results
Ⅳ. Conclusions and Discussions
References
저자소개
〈요약〉

키워드

examinee choice missing data stability of parameter estimation 피험자 선택 결측 자료 모수 추정의 안정성