Mixture IRT model for detecting aberrant responses under low-stake testing

• 영문명: 혼합 문항반응이론 모형을 적용한 저부담 검사 환경에서의 비정상적인 문항반응 추출 - 완전 무선 추측을 중심으로
• 발행기관: 한국교육평가학회
• 저자명: Yoonsun Jang(장윤선) Georgia Wood Hodges
• 간행물 정보: 『교육평가연구』제31권 제3호, 707~728쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2018.09.30

국문 초록

Item Response Theory (IRT) aids with the analysis of test items and item response patterns. One concern with test assessment is aberrant response. Aberrant responses are caused by several factors, for example, a participant’s low level of motivation or their concern with the time limit for a high stakes test. These factors can yield biased estimates for IRT models that may invalidate inferences associated with research results. Mixture IRT models have been proposed and applied for detecting aberrant responses such as random guessing, performance decline in a low-stake test, or an extreme response style in a self-report survey. This study used a mixture Rasch model on an empirical data set to search for two latent classes defined as groups: valid responders or random responders. The effects of random responses on the estimation of model parameters was investigated as well as the effects of an educational intervention. In summary, only a small portion of random responders was detected. Consequently, they had a relatively weak effect on the estimation of model parameters and the efficacy of an educational intervention.

영문 초록

문항반응이론(IRT) 모형은 검사 문항 및 검사 문항에 대한 반응유형 분석 등에 사용된다. 피험자의 문항반응은 검사에서 측정하고자 잠재특성 외 다른 요인들에 의해 영향 받으며 이로 인하여 비정상적인 문항반응이 발생하기도 한다. 예를 들어, 피험자가 검사에 흥미를 가지지 못한 경우 문항에 성실히 응답하지 않을 수 있으며, 고부담 검사에 참여한 피험자가 제한된 시간에 대한 불안으로 비정상적인 문항반응을 보일 수 있다. 비정상적인 문항반응은 문항반응이론 모형의 편파적인 모수 추정을 야기할 수 있으며, 이로 인해 왜곡된 연구 결과가 도출 될 수 있다. 본 연구에서는 혼합 문항반응이론(mixture IRT) 모형을 적용하여 비정상적인 문항반응을 추출하고, 추출된 비정상적인 문항반응이 문항반응이론 모형의 모수 추정에 미치는 영향을 탐색하였다. 아울러 교육적 처치의 효과 분석에 비정상적인 문항반응이 미치는 영향을 분석하였다. 분석 결과, 추출된 비정상적인 문항반응의 비율은 비교적 낮았으며, 이들이 교육적 처치 효과 분석에 미치는 영향 또한 크지 않았다.

목차

Ⅰ. Introduction

Ⅱ. Method

Ⅲ. Results

Ⅳ. Discussion

키워드

item response theory mixture IRT models aberrant responses 문항반응이론 혼합 문항반응이론 모형 비정상적 문항반응