대규모 평가 자유 반응형 문항 채점 영향 요소

• 영문명: The effects of factors on scoring constructed-response items in a large-scale assessment
• 발행기관: 한국교육평가학회
• 저자명: 박정(Chung Park) 전현정(HyunJung Jun)
• 간행물 정보: 『교육평가연구』제18권 제2호, 35~57쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2005.08.01

국문 초록

본 연구는 자유 반응형 문항 채점에 영향을 미칠 수 있는 요소들의 효과를 파악하여 대규모 성취도 평가에서 자유 반응형 문항 채점에 신뢰성과 효율성을 높이는데 필요한 정보를 제공하기 위한 것이다. 이를 위하여 수학·과학 성취도 국제비교 연구에서 사용한 자유 반응형 문항과 채점 기준표를 사용하여 채점자들을 연수하고, 그 결과를 바탕으로 자유 반응형 문항 채점에 영향을 미치는 요소들의 효과를 파악하였다. 본 연구에서 살펴본 채점 영향 요소는 채점자의 전공과 경력, 문항의 특성과 채점자 훈련이다. 연구 결과, 상세한 채점 기준표에 의한 충분한 채점자 연수를 하고 채점을 진행한다면, 채점자의 전공이나 경력이 채점의 신뢰성에 미치는 영향은 미미한 것으로 나타났다. 본 연구 결과는 자유 반응형 문항을 대규모 평가에서 사용할 때 상세하고 타당한 채점 기준표를 만드는 데 많은 노력을 기울이고 이를 활용한 충분한 채점자 연수를 한다면, 신뢰로운 채점 결과를 얻을 수 있을 뿐만이 아니라 채점자 영향을 줄일 수 있는 효율적인 채점 설계가 가능하다는 것을 보여준다.

영문 초록

In recent years, large-scale assessment programs such as Korean national assessment of educational achievement have incorporated performance assessment that involves adminstration of open-ended or constructed-response items, and then have been scored students' responses to those items by trained raters. Rater's training and the effect cause costly practical issues and consequence invalid results of educational evaluation. Scoring constructed-response items is the most expensive procedures and takes much time than others to have a valid result in a large-scale assessment. Therefore, this study investigated the effects of factors on scoring constructed-response items in order to provide efficient procedures for reliable scores in a large-scale assessment. To have high quality of rater ensures valid scores and to make detailed scoring guide is the most important factors on scoring constructed-response items. In this study, scoring guides of TIMSS constructed-response items were used to train raters. And rater's speciality and status were considered in scoring design. The result showed that the effect of rater's speciality and status was a trifling on the consistent scoring if the raters were well trained by valid and detailed scoring guides. The results of the study imply that we are able to get a reliable data even in a large-scale assessment with a cost effective procedure if we prepare a considerable scoring design.

목차

초록

Ⅰ. 서론

Ⅱ. 연구 방법 및 절차

Ⅲ. 자료 분석 결과

Ⅳ. 요약 및 논의

참고문헌

ABSTRACT