Extra Matching on Cultural Factor to Improve DIF Detection for International Assessment

• 발행기관: 한국교육평가학회
• 저자명: Wonsook Sohn(손원숙)
• 간행물 정보: 『교육평가연구』제22권 제3호, 889~908쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

최근 10여 년 동안 급증하고 있는 국제비교연구에서 가장 핵심적인 이슈는 집단 간 평가 결과의 비교가능성을 전제하기 위하여 ‘측정학적 동등성(measurementequivalence)’을 평가하는 일이다.전통적으로는 집단 간 측정학적 동등성 확보를 위하여 주로 정교한 번역기법이 사용되어왔으나,최근에는 경험적인 자료를 활용한 통계적인 기법의 보완적인 사용이 강조되고 있다. 이러한 목적으로 주로 사용되고 있는 방법으로는 전통적인 차별기능문항분석(DifferentialItem Functioning:DIF)이다.이처럼 국제비교연구의 맥락에서 DIF기법을 활용하고자 할 때 직면하는 가장 큰 어려움은 서로 다른 언어와 문화 집단 들을 적절하게 대응(matching)시키는 문제이다. 따라서 본 연구에서는 번역 DIF연구에서 대응기제를 향상시키고,적절한 대응변수를 탐색하기 위한 시도로써 응답자의 문화적인 특성을 추가적으로 포함하는 다변량 대응변수 기법을 적용하고자 하였다.미국과 한국 대학생 집단 간에 16PF외향성 척도의 측정학적 동등성을 평가하기 위하여,다변량 대응변수를 허용하며,DIF의 방향이나 위치에 대한 사후 평가가 가능한 로지스틱 판별분석이 활용되었다.보다 적절한 대응변수를 탐색하기 위한 시도로써 16PF의 하위 척도 점수로 구성된 내적 대응변수와 함께 비교문화연구에서 DIF의 원인으로 파악되기도 하는 문화적 요인이 외적 대응변수로 사용되었다.본 연구의 결과 16PF의 일부 척도에서만 다변량 대응변수의 기법이 효과적인 것으로 나타났고,대응변수의 선택 시 해당 척도와 대응변수 간의 상관 정도가 중요한 고려사항으로 파악되었다.본 연구 결과를 토대로 향후 국제비교연구에서 측정학적 동등성 평가의 중요성 및 절차에 대하여 논의하였다.

영문 초록

The study is concerned with how differential item functioning(DIF) research can best be extended to the problem of evaluating the equivalence of tests across cultures and languages. Through the application of Logistic Discriminant Function Analysis(LDFA), this study focused on identifying the best matching criterion for a personality test such as 16PF by using a multivariate matching technique. A cultural factor such as Individualism-Collectivism was hypothesized as a potential source of DIF between the Korean and U.S. samples. The results showed that the choice of matching variables based on a combination of internal and external measures appeared to have effect only for some of the 16PF scales. In sum, this study provided researchers with a methodology for investigating cultural DIF and demonstrated the importance of selecting an appropriate matching variable to make inferences in cross country comparisons.

키워드

differential item functioning multiple-variable matching logistic discriminant function analysis internationalassessments cross-culturalstudies 차별기능문항분석 다변량 대응변수 기법 로지스틱판별분석 국제비교연구 비교문화연구