프로세스 데이터를 활용한 응답속도와 정확도의 관계 분석

• 영문명: Psychometric modeling of speed and accuracy: Analysis of PISA 2015 data from Korea and the United States
• 발행기관: 한국교육평가학회
• 저자명: 신효정(Hyo Jeong Shin)
• 간행물 정보: 『교육평가연구』제34권 제3호, 587~614쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2021.09.30

국문 초록

최근 PISA를 비롯한 국제학업성취도 평가가 컴퓨터 기반 검사로 전환되면서 단순 응답 결과뿐 아니라, 피험자가 문항에 응답하는 과정을 기록한 프로세스 데이터의 수집 및 활용이 가능해졌다. 프로세스 데이터 중에서도 응답시간은 가장 주목받고 있으며, 문항반응이론에 근거하여 응답속도와 정확도의 관계를 분석하는 다양한 심리측정모형이 개발되고 있다. 본 연구에서는 실험심리학에서 수립된 speed-accuracy tradeoff 개념과 van der Linden의 위계적 모형(2007)을 소개하고, 이를 응답속도가 문항 유형(구성형 또는 선다형)을 반영할 수 있도록 확장시켰다. 두 가지 심리측정 모형을 통해 한국과 미국의 PISA 2015 과학 영역 자료를 분석한 결과, 한국과 미국 모두 정확도가 높은 학생들이 더 천천히 응답하는 경향이 있는 것으로 나타났으며, 이러한 경향은 미국보다 한국에서 더욱 강하게 나타났다. 또한 선다형 문항보다 구성형 문항에서 천천히 응답할수록 정확도가 높아지는 경향성이 더 강하게 나타났다.

영문 초록

The transition to computer-based assessment in international large-scale assessments, including PISA, enabled the collection of response processes, in addition to response outcomes. Recently, advanced psychometric models have been proposed to jointly model the response outcomes and processes. Response time, as one of the popular variables among process data, is receiving increased attention from researchers due to its accessibility. To deepen our understanding of Koreans’ extremely fast responses in PISA, I introduced and fitted van der Linden’s hierarchical model (van der Linden, 2007) and its extended version that accounts for the item types (multiple choice vs. constructed response items) to the PISA 2015 science data, collected in Korea and the United States. Negative accuracy-speed latent correlations were estimated between accuracy and speed dimensions, implying faster responses were associated with lower accuracy in both countries. Compared to the United States, Korea showed stronger negative accuracy-speed latent correlations. In addition, when the item types were considered, the model fit improved to some extent and showed stronger relationships between accuracy and speed on constructed-response items. Such a pattern was consistently observed on the technology-enhanced items, which were newly developed and administered in PISA 2015 both in Korea and the United States.

목차

Ⅰ. 서 론

Ⅱ. 응답속도와 정확도의 관계

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

응답속도 정확도 프로세스 데이터 다차원 문항반응이론 모형 PISA 2015 문항 유형 response time response accuracy multidimensional item response theory model process data PISA 2015 item type speed-accuracy tradeoff