국내 대규모 영어 쓰기 평가에서의 자동채점의 적용 가능성 탐색

• 영문명: The application of the KICE automated scoring system
• 발행기관: 한국교육평가학회
• 저자명: 시기자(Kija Si) 이용상(Yongsang Lee) 박도영(Doyoung Park) 임황규(Hwangkyu Lim) 구슬기(Seulki Koo) 박상욱(Sangwook Park) 임은영(Eunyoung Lim)
• 간행물 정보: 『교육평가연구』제26권 제2호, 319~345쪽, 전체 27쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.06.30

국문 초록

본 연구의 목적은 국가영어능력평가시험 쓰기 자동채점 프로그램의 성능을 검증하여 공식적인 국가영어능력평가시험에서의 적용 가능성을 탐색하기 위한 것이다. 본 연구의 자동채점 대상인 국가영어능력평가시험 쓰기 2급은 일상생활에 관한 글쓰기(60 ~ 80단어 제한, 15분)와 자기 의견 쓰기(80 ~ 120단어 제한, 20분)의 두 문항으로 구성되어 있으며, 4개의 채점 영역(과제 완성, 내용, 구성, 언어 사용)별로 분석적인 채점이 이루어진다. 성능검증을 위해 인간채점과 자동채점에 따른 상관계수와 일치도 통계에 근거한 채점자 간신뢰도의 차이, 다국면 라쉬 모형에 근거한 채점자 엄격성의 차이, 검사점수의 일반화 가능도 계수의 차이, 시간 및 비용 차이 등에 대한 통계적 분석을 실시하였다. 성능 검증 결과, 자동채점이 인간채점과 유사한 수준의 성능을 보이는 것으로 확인되었으며, 특히 시간 및 비용의 효율성은 자동채점이 매우 우수한 것으로 나타났다.

영문 초록

The purposes of this study are to test the performance of the KICE automated scoring system and explore how to apply this automated scoring system in the National English Ability Test (NEAT). The Level 2 writing test of the NEAT is composed of two items, and students' responses to these items are evaluated based on four rating domains: task completion, content, organization, and language use. In order to examine the performance of the automated scoring system, this study investigated the correlation and adjacent agreement between human scoring and automated scoring, rater severity using the many-facet Rasch model, test score reliability using G-theory, and scoring time and cost. Our study results clearly show that, in performance, the automated scoring is essentially equivalent to human scoring; and, in fact, the KICE automated scoring system is much more efficient than human raters in that it saves time and cost. Based on our findings, the current study suggests that a large corpus of Korean students be established, writing scoring standards be reformed, the efficiency of machine learning by adapting accurate standard scores be increased, and the development and complement of features be continued to improve the performance of the KICE automated scoring system.

목차

Ⅰ. 서론

Ⅱ. 국가영어능력평가시험 쓰기 자동채점 시스템

Ⅲ. 연구방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 제언

참고문헌

키워드

국가영어능력평가시험 쓰기 평가 자동채점 채점자 간 신뢰도 상관계수 유사일치도 일반화 가능도 계수 National English Ability Test (NEAT) the automated scoring system G-theory rater severity