서답형 평가문항 자동채점 프로그램 활용 가능성 탐색

• 영문명: Validating an Automated Scoring System of Constructed-response items for applications
• 발행기관: 한국교육평가학회
• 저자명: 박정(Chung Park)
• 간행물 정보: 『교육평가연구』제22권 제3호, 615~631쪽, 전체 17쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

선택형 평가문항이 학생의 사고능력을 제한한다는 비판과 함께 시작된 대규모 평가 상황에서의 서답형 평가문항의 사용은 측정학적인 문제 외에도 현실적인 문제점들을 발생시킨다.이러한 문제점을 해결하기 위하여 자동채점 프로그램들이 개발되고 있다.본 연구는 우리나라에서 서답형 평가문항 자동채점 프로그램의 활용가능성을 탐색하기 위하여 현재 개발되고 있는 자동채점 프로그램 채점 결과와 인간채점자들의 채점결과를 비교분석하였다.연구결과,자동채점프로그램의 채점결과와 인간채점자들의 채점결과의 상관정도가 어느 정도 높았으며,일반화 가능도 이론의 적용 결과,채점결과에 채점자 효과는 크지 않은 것으로 나타났다.뿐만 아니라 다국면 라쉬모형 적용 결과 자동채점과 인간채점자들의 엄격성 정도도 비슷한 것으로 나타났다.그러나 문항에 따라 자동채점이 인간채점자와 다른 결과를 보이는 것도 있어 자동채점 프로그램 개발시 유의해야 함을 보여주고 있다.이러한 연구 결과는 향후 자동채점 프로그램의 활용 가능성을 열어주고 있다.

영문 초록

Using Constructive-response items in a large-scale assessment cause costly practical issues as well as psychometric issues. In order to solve such problems, research has been developed to explore the possibility of incorporating automated scoring system for constructive-response items in other countries. Therefore, this study is to validate developing an automated scoring system in Korea and to explore potential applications of automated scoring systems.To do this,this study investigates the extent to which the rating produced by the automated scoring system compares to those produced by human raters. Correlation analyses reveal a relatively high correspondence between human and automated scoring system ratings. But, for some items, the results of correlation between automated scoring system and human raters were solow. It suggests that the cause of differences between the system of automated scoring and human rating examine to develop an automated scoring system. Also, the result showed that the effect of rater was a trifling on the consistent scoring and the measures of human raters and the automated scoring system were similar. The results of the study imply that we are able to get the plausibility of utilizing automated scoring system for reliable assessment of constructive-response items in a large-scale assessment as well as for immediate feedback to student's responses.

키워드

서답형 평가문항 자동채점 채점의 일관성과 피드백 constructed-response items automated scoring system rater's effects rater reliability and feedback