준거지향평가 기준 설정을 위한 Rasch 방법의 숙달 학습자 판정 일치도 - 원점수 및 Angoff 방법과의 비교를 중심으로

• 영문명: The Mastery Learner Judgment Consistency Rate of Rasch Model-Based Standard Setting Method - Focused on the Comparison with Raw-score and Angoff Methods -
• 발행기관: 한국교육평가학회
• 저자명: 백순근(Baek Sun-Geun) 최인희(Choi In-Hee)
• 간행물 정보: 『교육평가연구』제19권 제2호, 157~178쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2006.08.01

국문 초록

  이 연구는 Rasch 모형에 근거하여 평가 기준을 설정하는 ‘Rasch 방법’의 활용가능성을 알아보기 위한 것이다. 이를 위해서 준거지향평가에서 기준 설정 방법으로 널리 활용되는 ‘원점수 방법’ 및 ‘Angoff 방법’과 비교하여 Rasch 방법의 숙달 학습자 판정 일치도를 검토하였다. 연구 대상은 중학교 2학년의 12개 학급, 430명의 학생들에게 검사를 실시하였고, 과학교과의 내용 전문가 7명이 평가 기준 설정자로 참여하였다. 검사 도구로 중학교 2학년 과학과의 한 단원에서 곤란도 수준이 다른 두 개의 성취도 검사를 개발하였으며, 각 검사는 25개의 선다형 문항으로 구성하였다. 성취수준 80%를 ‘숙달’과 ‘미숙달’ 집단으로 분류하는 기준으로 설정하고, 두 개의 검사에서 같은 집단으로 분류된 피험자의 비율을 숙달 학습자 판정일치도로 정의하였다. 자료 분석 결과, Rasch 방법의 판정 일치도는 71.3%, 원점수 방법은 54.7%, Angoff 방법은 75.4%로, Rasch 방법은 원점수 방법보다 α= 0.01 수준에서 판정 일치도가 통계적으로 유의미하게 높았지만 Angoff 방법과는 유의미한 차이가 없었다.

영문 초록

  The purpose of this study is to investigate the mastery learner judgment consistency rate of Rasch model-based standard setting method (Rasch method) for classroom achievement tests at middle schools in Korea. In this study, ‘Rasch method’ was discussed in comparison with both ‘raw-score method’ and ‘Angoff method.’
  The subjects of the study were 8th-grade 430 students at 12 classrooms in 4 middle schools. For this research, two achievement tests for science classes were developed with different difficulty levels. Each test consisted of 25 multiple-choice items and its total scores ranged between 0 and 100 respectively. The mastery level was set up as 80% achievement of learning objectives and 7 teachers were involved as judges.
  In results, the mastery learner judgment consistency rate of Rasch method between two achievement tests was 71.3%, raw-score method’s rate was 54.7%, and Angoff method’s rate was 75.4%. There was statistically significant difference between Rasch method and raw-score method ( χ²=4.916, p＜0.01), but there was no difference between Rasch method and Angoff method. However, Rasch method has an additional advantage which can show the difficulty of items and the distribution of persons visually on an ‘item-person map.’ Therefore Rasch method may supplement or replace both raw-score method and Angoff method.

목차

한국어 초록
Ⅰ. 서론
Ⅱ. 이론적 배경
Ⅲ. 연구 방법
Ⅳ. 연구 결과
Ⅴ. 요약 및 논의
참고문헌
저자소개
ABSTRACT

키워드

준거지향평가 평가 기준 설정 Rasch 방법 원점수 방법 Angoff 방법 criterion-referenced evaluation standard setting method Rasch method raw-score method Angoff method