차별적 기능 문항 추출을 위한 모수적 방법과 비모수적 방법 비교

• 영문명: A Comparison of Parametric and Nonparametric DIF Detection Methods: A Nonparametric IRT Simulation Study
• 발행기관: 한국교육평가학회
• 저자명: 박찬호(Chanho Park)
• 간행물 정보: 『교육평가연구』제22권 제4호, 1161~1181쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.12.30

국문 초록

차별적 문항기능은 문항의 편파성을 찾아내려는 통계적 기법으로 연구되고 있다. 본 연구는 자료가 비모수적으로 생성되었을 때 우도비 검정과 같은 모수적 방법과 SIBTEST, Mantel- Haenszel 검사와 같은 비모수적 방법이 어떻게 작동하는 지 비교하였다. 모의실험에서는 수험자의 수와 능력의 분포가 달라질 때의 변화를 보았다 제 1종 오류와 함께 차별적 기능 문항이 전체 문항에서 차지하는 비율이 달라질 때의 검증력 또한 조사했다. 그 결과 Mantel-Haenszel 방법이 제 1종 오류를 가장 잘 통제하였으나 SIBTEST의 결과 또한 유사했다 우도비 검증법은 일부 조건에서 상당한 제 1종 오류의 증가를 보였다. 검증력에 있어서 역시 대체로 우도비 검증법의 결과가 비모수적 방법에 비해 좋지 않았다 집단 내 피험자의 수가 증가함에 따라 모든 방법의 검증력은 좋아졌지만 집단의 크기가 커져도 모수적 방법이 비모수적 방법보다 나은 결과를 보이지는 못했다. 연구의 한계와 연구방향 또한 논의되었다

영문 초록

Differential item functioning (DIF) has been studied as a statistical method of finding possible item bias. The current study compared statistical performances of parametric-the Likelihood Ratio test (LR-test)-and nonparametric-SIBTEST and the Mantel-Haenszel test (MH-test)-DIF detection methods when datasets were nonparametrically simulated. Simulation factors included sample size and latent ability distribution. Type I error rates and the power of detecting DIF items with varying percentages of DIF items were investigated. The results showed that the MH-test controlled the type I error rate best across all conditions, followed closely by SIBTEST. The LR-test showed substantial inflation of type I error rates under some conditions. The Lk-test's power of detecting DIF was inferior to that of the nonparametric methods. Although increasing sample size improved the performance of all methods, a large sample size did not guarantee the superiority of parametric methods. The limitations of this study and future directions were also discussed.

키워드

차별적 기능 문항 SIBTEST Mantel-Haenszel 검사 우도비 검증법 제 1종 오류 검증력 비모수적 문항반응이론 differential item functioning SIBTEST Mantel-Haenszel test likelihood ratio test type I error power nonparametric item response theory