다분 DIF의 사후분석을 위한 비모수적 차별기능단계 기법의 적용

• 영문명: Using a Nonparametric Differential Step Functioning Effect Estimators as a Post Hoc Analysis for Polytomous DIF
• 발행기관: 한국교육평가학회
• 저자명: 손원숙(Wonsook Sohn)
• 간행물 정보: 『교육평가연구』제23권 제4호, 931~951쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.12.30

국문 초록

본 연구에서는 다분 문항에서 발생하는 집단 간 차별기능을 보다 종합적으로 이해하기 위하여 응답 범주 수준에서의 동등성 평가를 위한 ‘차별기능단계(Differential Step Functioning: DSF)’ 기법을 소개하고자 한다. 전통적인 다분 차별기능문항(Differential Item Functioning: DIF)기법은 문항 수준의 통합 추정치를 산출할 뿐, 구체적으로 어떠한 응답 범주 수준에서 차별기능이 나타나고 있는지에 대한 정보는 제공해 주지 못한다. 최근 증가되고 있는 DIF의 원인에 대한 연구에서는 주로 문항의 내용에 대한 질적 분석을 시도하고 있으나, DSF 기법을 통한 집단 간 응답 범주 수준에서의 차별기능의 정보를 활용한다면 다분 DIF 원인에 대한 이해를 증진시킬 수 있을 것이다. 본 연구에서는 비모수적인 DSF 접근 중 공통 승산비 방식(Penfield, 2007)을 소개하고, 이를 실제 검사 자료인 개인주의-집단주의 척도에 적용하여, 한국과 미국집단 간 동등성의 정도를 평가하였다. 우선 PSIBTEST, L-A LOR, 및 SSL 검증법 등 3개의 DIF 분석 기법을 적용하고, 이에 공통적으로 파악된 DIF 문항에서 발생하는 DSF 효과를 추정하였다. DIF와 DSF 분석 결과를 종합하고, 더불어서 검사 문항에 대한 내용 분석을 시도하여, 각 문항의 비동등성 원인을 검토하였다. 본 연구 결과 DSF의 유형에 따라 DIF 원인 해석에 다른 시사점을 제공하며, 다분 DIF 연구를 위한 사후 분석으로서 DSF 기법의 유용성을 논의하였다.

영문 초록

This study was conducted to determine the feasibility of using a common odds ratio estimator to detect differential step functioning(DSF) in polytomous items. The DSF refers to the between group difference in measurement equivalence at the level of the step of the polytomous items(Penfield, 2007). This study used a non-parametric DSF estimator based on the Mantel-Haenszel common odds ratio estimator(Mantel & Haenszel, 1959). To illustrate the use of DSF, this study presented an application of this technique to an Individualism-Collectivism(INDCOL) scale administered to college students both in the U. S. and Korea. The DSF analysis was conducted in a post hoc manner for the DIF items identified commonly by the three DIF methods such as the PSIBEST(Shealy & Stout, 1993), L-A LOR(Liu & Agresti, 1996; Penfield & Algina, 2003), and SSL tests(Penfield, 2007). The results indicated that using DSF in coordination with omnibus DIF statistics can yield a more comprehensive assessment of measurement equivalence than DIF analyses alone. Additionally, this DSF approach may be useful in isolating the location and type of DIF that resides within score categories, in a post hoc fashion. More research needs to be done on the applications of DSF to simulated data as well as real testing data in order to determine which types of DSF techniques are most effective under different conditions.

목차

Ⅰ. 서 론

Ⅱ. 차별기능단계 기법

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 요약 및 논의

키워드

차별기능문항분석 차별기능단계분석 다분 문항 공통 로그-승산비 DIFAS 프로그램 differential item functioning differential step functioning common log-odds ratio graded response models DIFAS