온라인 시스템을 활용한 대규모 서답형 평가의 채점 일관성

• 영문명: Rater Consistency for Constructed-Response Items Using On-Line Scoring System in a Large-scale Assessment
• 발행기관: 한국교육평가학회
• 저자명: 송미영(Mi-Young Song) 김수진(Kim Soojin) 김희경(HeeKyoung Kim) 남명호(Myung-Ho Nam)
• 간행물 정보: 『교육평가연구』제22권 제3호, 827~846쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

대규모 학업성취도 평가의 서답형 문항에 대한 응시자들의 응답은 합숙형 수기 채점 방식으로 채점되어 왔으나,이 방식은 채점자 섭외,채점 장소 확보 등 여러 가지 현실적인 어려움이 있었다.이러한 어려움을 해소하기 위하여 기존 방식의 대안으로 온라인 시스템을 활용하는 방식을 고려할 수 있다.본 연구는 온라인 채점 시스템을 설계․구현하여 실제 적용 가능성을 검증하였다.채점자간 신뢰도를 산출한 결과, 0.810이상의 높은 상관으로 보여 채점자 신뢰도는 상당히 높았다.채점자간 점수 차이가 일정 기준을 초과할 경우 채점자들에 의한 재채점이 진행되었는데,1,2차 시기의 답안을 통합하여 구한 채점의 신뢰도는 1차 시기답안만을 대상으로 한 경우보다 모든 교과에서 증가하였다.이러한 결과로부터 온라인 채점시스템을 활용하면 채점 과정을 실시간으로 인터넷을 통해 모니터할 수 있기 때문에 채점 오류를 최소화하고 채점의 공정성과 신뢰도를 현격히 제고할 수 있으리라 기대된다.

영문 초록

National Assessment of Educational Achievement(NAEA) in Korea, a large-scale national assessment has scored students' constructed-response items through in-hands by gathering in one secure dplace. This method had a several difficulties such as recruiting raters, booking a large enough places to keep all the raters and test book lets. This study examined the applicability of on-line scoring system for constructed-response items in a large-scale assessment. The performance samples of about 10,000 nine-graders for five subject areas such as Korean, Social Science, Mathematics, Science, English in NAEA were used. Every construct responses were scored by at least two raters. The responses were re-scored when differences between two raters' scores were greater than a certain criterion. The inter-rater reliabilities were above the 0.81, which is a very high. The result of this study shows that the correlations and agreements between scores by two raters were very high, and re-scoring improved the rater consistency evenmore.This study proved that on-line scoring system would be a stable scoring method of constructed responses for the large-scale assessment.

키워드

대규모 평가 서답형 평가 채점 일관성 온라인 채점 rater consistency large-scale assessment constructed-response items on-line scoring