A multilevel item response tree model for measuring a cross-national variability in response styles

• 영문명: 국가 간 응답양식의 변동성 분석을 위한 다층 문항반응나무모형
• 발행기관: 한국교육평가학회
• 저자명: 이주연(Juyeon Lee) 장윤선(Yoonsun Jang)
• 간행물 정보: 『교육평가연구』제34권 제1호, 131~153쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2021.03.30

국문 초록

본 연구는 국가 간 응답 양식의 차이를 탐색하고, 하나의 통계 모형 안에서 주요 관심 구인과 응답 양식을 각각의 잠재변인으로 측정함으로써 관심 구인 간의 관계가 어떻게 달라지는지를 비교하는 것에 목적이 있다. 이를 위하여 리커트 4점 척도 문항을 통해 측정된 관심구인에 대한 국가 간 비교연구에서 국가 간(between-country), 국가 내(within-country) 극단 응답 양식(ERS)의 차이를 동시에 측정할 수 있는 다층 문항반응나무모형(ML-IRTree: Multilevel item response tree model)을 제안하였다. 본 연구에서 제안한 다층 문항반응나무모형의 적용 가능성 탐색을 위하여 PISA 2015 자료 가운데 과학 교과의 성취동기와 흥미에 대한 35개 국가의 응답 자료를 활용하였다. 연구 결과에 따르면, ERS의 국가 간 차이가 존재하였으며 다층 문항반응모형을 통해 ERS와 동시에 추정된 과학에 대한 태도 및 동기 구인 간 관계는 응답 값의 단순 합으로 계산된 구인 간 관계와 다소 차이가 있었다. 또한 측정된 ERS 수준은 과학 관련 구인(성취동기 및 흥미) 및 수준(국가 간 또는 국가 내)에 따라 큰 차이가 있음을 확인하였다. 이로써 리커트 척도를 통해 측정되는 구인의 국가 간 비교연구에서 응답 양식 측정의 필요성에 대한 경험적 증거를 제시하였다.

영문 초록

The present study aims to detect the variability of response styles across countries and examine the impact of measuring response styles on the association between substantive constructs and response styles or educational outcomes. To simultaneously measure extreme response style (ERS) in a four Likert-type rating scale at the within- and between- country levels, we proposed a multilevel item response tree model (ML-IRTree). The empirical study was illustrated with the motivation and attitude scales related to the performance and learning experience of a science subject in a total of 35 countries of PISA 2015. The results of the study showed that including ERS in the ML-IRTree produced the moderate change of the relationship between substantive constructs compared to simple sum score analysis. As not in line with previous findings (Ju & Falk, 2019; Lu & Bolt, 2015), the large relationship between substantive constructs and ERS was captured. In addition, the paradoxical finding with respect to the association between substantive constructs and the achievement scores was observed at between-country level. The study s empirical evidence motivates researchers to be aware of the existence of response styles in cross-national studies.

목차

Ⅰ. Introduction

Ⅱ. Multilevel Item Response Tree Model

Ⅲ. Method

Ⅳ. Results

Ⅴ. Discussion

키워드

문항반응나무모형 다층 문항반응나무모형 응답양식 국가 간 비교연구 PISA 2015 Item response tree model Multilevel item response tree model response styles cross-national study PISA 2015