Examining Linking Item Diagnostic Tools against Noisy Data

• 발행기관: 한국교육평가학회
• 저자명: Seon-Hi Shin(신선희)
• 간행물 정보: 『교육평가연구』제24권 제1호, 191~207쪽, 전체 17쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.03.30

국문 초록

본 연구는 공통문항 비동등집단 자료수집 설계를 사용하고 라쉬모형을 이용한 동등화 과정에서 가교문항 검사도구들(예컨대, displacement, robust Z, correlation, b-plot)이 무선적으로 추측해서 써낸 학생들의 문항반응이 뒤섞여있는 분석 자료를 분석할 때 얼마나 정확히 변질된 가교문항을 찾아내는지를 조사하였다. 실제상황과 유사한 분석 자료를 만들기 위하여 미국의 국어시험(English language arts test) 자료를 통해 문항의 모수치와 학생의 능력점수의 모집분포 (population distribution)를 얻어 시뮬레이션 연구를 수행하였다. 연구결과, 조사된 검사도구들 중 상관이 시험의 두 시행 사이에 특성이 변해버린 가교문항들의 존재를 탐지하는데 일관되게 중요한 역할을 하였다. 문항수준에서 사용하는 다른 검사도구들은 한정된 조건하에서만 만족스러운 수행을 보였다. 앞으로의 연구는 이 검사도구들이 다른 종류의 시험구조 (test format), 문항반응 모형, 혹은 모수치추정 방식과 함께 사용되었을 때 어떻게 기능하는지 조사할 필요가 있다.

영문 초록

The current study examined the robustness of linking item screening tools such as displacement, robust Z, correlation, and b-plot against random guessing responses during Rasch-based equating under a common-item nonequivalent-groups data collection design. For the sake of resemblance of actual data situations, a Monte Carlo study obtained item parameters from the operational data for an externally-mandated achievement test in English language arts in the U.S. In addition, the probability distribution of true ability was estimated by adopting a nonparametric approach. The findings of the current study showed the critical role of the correlation between the fixed and estimated item difficulties of the anchor set in screening drift items regardless of the existence of random guessing responses in the analysis data. The diagnostic statistics at the anchor item level performed satisfactorily in limited conditions. Further research is needed to address the performance of the screening statistics under investigation in this study in conjunction with different types or strategies of test format, IRT model, and item parameter estimation.

목차

Ⅰ. Introduction

Ⅱ. Methodology

Ⅲ. Results

Ⅳ. Discussion

Ⅴ. Conclusion

키워드

가교문항 검사도구 비모수 방법 라쉬모형을 이용한 동등화 Linking items Screening tools Nonparametric approach Rasch-based equating