혼합형 가교문항 구성 방법이 혼합형 검사 동등화에 미치는 영향

• 영문명: The effect of the construction of mixed anchor items on the test equating in mixed-format tests
• 발행기관: 한국교육평가학회
• 저자명: 이소라 상경아 정태순 심준식
• 간행물 정보: 『교육평가연구』제36권 제1호, 199~227쪽, 전체 29쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2023.03.30

국문 초록

2022년 도입된 컴퓨터 기반 국가수준 학업성취도 평가에서는 일부 구성형 문항에 대해 혁신문항(innovative item) 개발을 도입하였다. 최근 역량 기반의 구성형 문항의 비율이 꾸준히 늘어났고, 혁신문항 도입으로 문항 유형 간 다차원성이 증가할 만한 상황에서, 선택형 문항에서만 가교문항을 선정하는 기존 동등화 방식으로 적정 수준의 동등화 정확성을 유지할 수 있는지 점검이 필요한 시점이다. 이를 위해 선택형뿐만 아니라 구성형 문항도 포함하는 혼합형 가교문항 구성 방식이 검사 동등화 안정성에 미치는 영향을 모의실험을 통해 탐색하였다. 연구 결과, 가교문항의 선택형 단일 구성과 혼합 구성 간 동등화 오차는 큰 차이가 없는 것으로 나타났으나 구성형 문항의 비율을 높일 때 오차가 줄어들었다. 전체 검사에서 혼합형 가교문항의 구성 비율에 따른 결과를 보면, 20% 내외일 때는 동등화 결과에 큰 차이가 없는 것으로 나타났다. 문항 유형에 따른 다차원성이 존재하는 경우에는 일차원성 검사에 비해 동등화 오차가 확연히 증가하였으며, 특히 혼합형 가교문항을 활용할 때 동등화 오차의 증가가 두드러져 다차원 검사에서는 구성형 가교문항의 활용에 신중해야 하는 것으로 나타났다.

영문 초록

With the introduction of innovative items in the computer-based NAEA, the item format became diversified, and the current method of selecting anchor items from multiple-choice (MC) items became burdensome for test developers. The purpose of this study is to examine whether a mixed-format anchor items including both MC and constructed-response (CR) items could hold the stability of equating in the NAEA, and give desirable direction to expand the range of anchor items and to make test construct flexible. A simulation study was conducted based on a common-item non-equivalent group design with the test conditions of the Korean subject in the NAEA. The treatment conditions include (1) a type of anchor item set (a single MC or a mixed), (2) a composition type of mixed anchor item (MC:CR = 1:1, 3:2, or 3:4), (3) a length of mixed anchor items within a test (25%, 22%, or 19%), and (4) the presence of multidimensionality according to the item format were assumed. The main result is that there was no significant difference in the equating error between the single MC and the mixed anchor item condition. Specifically the equating error of the single MC was smaller than that of the mixed-format cases where the ratios between MC and CR were 1:1 and 3:2. In the 3:4-ratio mixed condition, the equating error was smaller than that of the single MC condition. A length of mixed anchor items within a test showed somewhat mixed results, probably because there was not much variation between the conditions in the composition ratio, about 20% in test. When there was multidimensionality according to the item format in the test, the equating error increased significantly with mixed anchor items compared to that of unidimensional test condition. In sum, about 20% of the mixed anchor items with slightly higher CR ratio was found to be suitable in the unidimensional test and caution was called for in using mixed anchor items in multidimensional test.

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 결론 및 논의

참고문헌

키워드

혼합형 검사 혼합형 가교문항 동등화 오차 문항 유형 학업성취도 평가 mixed-format tests mixed anchor item equating error item format academic achievement tests