Rasch평정척도 경계점을 이용한 기준선 설정 방안 탐색

• 영문명: Standard setting method using Rasch Rating Scale Model
• 발행기관: 한국교육평가학회
• 저자명: 설현수(Hyunsoo Seol)
• 간행물 정보: 『교육평가연구』제22권 제2호, 369~385쪽, 전체 17쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.06.30

국문 초록

본 연구의 목적은 실제 자료를 가지고 전문가에 의한 문항 평정과 학생에 의한 문항 난이도 추정치를 가지고 선형 동등화 방식을 이용해서 피험자의 능력 추정치를 전문가 평정의 분석틀로 동등화 한 다음에 Rasch 평정척도 모형에서 제공되는 척도 추정치에 의해서 기준선을 설정하는 절차를 보여줌과 아울러 경험적 예시 자료를 분석하는 과정에서 나타나는 문제점 진단 및 이를 기초로 향후 이러한 준거기준 설정방법의 교육현장 적용가능성 및 시사점을 도출하는 것이다. 연구 결과, 본 연구에서 제시한 기준선 설정방법을 Angoff 방법 및 Bookmark 방법과 비교해 볼 때 다음의 두 가지 방법적 측면에서 장점을 찾아 볼 수 있었다. 첫째, 반복적인 토의과정을 생략함에 의해서 시간과 평정비용을 줄 일 수 있을 뿐만 아니라, 평정자 개개인의 기준선 설정에 대한 독자적 평정을 보장할 수 있다. 둘째, 기준선을 설정하는 과정마다 통계적인 수치를 제공함에 의해서 기준선 설정에 대한 타당성을 점검할 수 있다. 마지막으로 실제 자료를 가지고 Rasch 평정척도 경계점을 이용해서 기준선을 설정하는 절차를 단계별로 제시하고 해석 하였다.

영문 초록

The purpose of this study is to introduce standard setting method using Rasch Rating scale model. To do so, the subjects of the study were 141 students in elementary school in Korea and 17 teachers were involved as judges. The procedures to set multiple-cut offs using Rasch Rating scale model in this study were as follows; The material was a reading test comprising 20 items. A group of 17 raters were asked to rate the 20 items, indicating what minimum ability level on the five-point scale a student should exhibit to get each item right. the items were rated 1 to 5, 1 indicating the lowest level and 5 the highest. The items were calibrated using Rasch Rating scale model. The next step was to calibrate the items on the basis of actual student performances. Person measures were converted into the rater frame-of reference by means of the linear equating method. Since the person measures have been brought to the framework of the rater-based analysis thresholds were used to set multiple-cut offs after equating. For its successful implementation in the field of criterion-referenced testing, some suggestions were discussed and implications were given.

목차

I. 서론

Ⅱ. 경험적 예시

Ⅲ. 경험적 예시 분석 결과

IV. 결론

참고문헌

초록

키워드

준거지향평가 기준선 설정 Rasch 평정척도 모형 Standard setting Rasch rating scale model criterion-referenced testing.