Q-Craft 프로그램을 이용한 자동생성문항 타당성 평가 연구

• 영문명: A Study on the Validity of Automatically Generated Questions Using the Q-Craft
• 발행기관: 학습자중심교과교육학회
• 저자명: 이문정(Moonjung Lee) 이용상(Yongsang Lee)
• 간행물 정보: 『학습자중심교과교육연구』제24권 18호, 357~373쪽, 전체 17쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2024.09.30

국문 초록

목적 자동문항생성에 대한 수요가 증가하는 환경에서 자동문항생성이 실제 교육현장에서 제대로 활용되기 위해서는 공인된 인간출제 검사 문항과 유사하게 또는 동형의 수준으로 자동문항생성에 의한 문항들이 만들어질 필요가 있다. 따라서, 본 연구는 전통적인 방식의 인간출제 문항(MIG 문항)들을 기반으로 이와 유사한 문항들을 자동문항생성 프로그램을 통하여 생성하고, 생성된 문항들이 MIG 문항들과 얼마나 유사하게 생성되었는지를 분석함으로써 Q-Craft 프로그램을 이용하여 자동생성된 문항의 타당성을 평가하고자 하였다. 방법 이를 위하여 서울시 교육청에서 주관하는 2023년 3월 고3 전국연합학력평가 영어시험에서 15가지의 대표적인 문항유형을 선정하여 MIG 문항들을 구성하고, 이와 유사하게 자동문항생성 프로그램인 Q-Craft에 의해 15개의 자동문항(AIG 문항)들을 생성하였다. AIG 문항은 내용전문가 10명에게 블라인드 리뷰를 의뢰하였으며, 대학교 신입생 48명을 대상으로 MIG 문항 검사와 AIG 문항 검사를 동시에 시행하였다. 결과 AIG 문항을 내용전문가에게 의뢰한 결과, 지문흐름의 자연스러움, 영어표현의 자연스러움에서 높은 수준의 평가를 받았으나, 선택지의 매력정도는 상대적으로 낮은 평가를 받았다. 대학생들을 대상으로 MIG 문항 검사와 AIG 문항 검사를 동시에 수행하여 응답결과를 분석한 결과 동형검사 신뢰도는 .662로 유사성 정도가 높은 편이었으며, 검사정보함수를 통해 비교한 결과 두 검사가 최대 검사정보를 주는 학생의 능력수준이 동일하였다. 결론 본 연구에서 동형검사 신뢰도는 .662로 유사성 정도는 높다고 할 수 있으나, MIG 문항 검사와 AIG 문항 검사가 동형검사라고 하기에는 미흡하다고 판단하였다. 그러나, 검사정보함수 분석결과 AIG 문항 검사가 MIG 문항이 정확하게 추정해내는 학생들의 능력수준과 동일하였던 것은 매우 의미있으며, 검사 목적에 따라 AIG 문항은 타당성을 부여할 수 있다.

영문 초록

Objectives In an environment where the demand for automatic item generation is increasing, it is crucial for automatically generated items to match the quality of manually created items to be effectively utilized in educational settings. This study aims to automatically generate items (AIG items) similar to traditional manually generated items (MIG items) using an automatic item generation program and to evaluate the validity of these automatically generated items by analyzing their similarity to MIG items. Methods 15 representative items types from the March 2023 National Assessment of Education for 12th grade, administered by the Seoul Metropolitan Office of Education, were selected to form the MIG items. Similarly, 15 AIG items were generated using the Q-Craft automatic item generation program. The AIG items were subjected to blind review by 10 subject-matter experts and were simultaneously administered along with the MIG items to 48 first-year university students. Results The expert review of the AIG items indicated a high level of naturalness in the flow of the passages and the use of English expressions. However, the attractiveness of the answer choices received relatively lower ratings. The analysis of the responses from the university students revealed a high degree of similarity between the MIG and AIG items, with a parallel test reliability of .662. Furthermore, the comparison using test information functions showed that the ability levels of students providing the maximum test information were identical for both sets of items. Conclusions The AIG items are not yet fully equivalent to the MIG items. Nonetheless, the fact that the AIG items accurately estimated the ability levels of students, as the MIG items did, is highly significant. This suggests that AIG items can be deemed valid depending on the testing purpose.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 분석결과

Ⅴ. 결론 및 제언

참고문헌

키워드

자동문항생성(AIG) Q-Craft 프로그램 동형검사신뢰도 검사정보함수 Automatic Generation Item(AIG) Q-Craft program parallel test reliability Test Information Function