문항반응이론에 기초한 준거설정 방법 비교

• 영문명: The Comparison for IRT Based Standard Setting Methods: Bookmark, IDM and Mapmark
• 발행기관: 한국교육평가학회
• 저자명: 장윤선(Jang, Yoonsun) 성태제(Seong, Taeje)
• 간행물 정보: 『교육평가연구』제22권 제3호, 659~680쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

본 연구는 문항반응이론에 기초한 Bookmark방법,Mapmark방법,IDM 방법에 의해 산출된 최종 분할점수를 비교하고 내적,외적 준거 측면에서의 평가를 통해 세 가지 준거설정 방법의 적용가능성에 대하여 논하고자 한다.이를 위해서 TIMSS2003과학검사 중에서 물리영역에 해당되는 문항의 응답 자료를 사용하여 피험자를 세 개의 성취수준으로 분류하기위한 분할점수를 산출하였다.또한 산출된 분할점수를 사용하여 준거설정자간, 준거설정자내,방법내,방법간 분류일치도를 산출하여 비교하였다.연구결과,세 가지 준거설정 방법에 의한 분할점수 설정결과 우수수준의 분할점수는 큰 차이가 없었지만,수월수준의 분할점수에서는 큰 차이가 발생하였고,준거설정 방법의 내적 평가결과 준거설정자간 분류일치도는 Mapmark방법이 비교적 높게 산출되었고,준거설정 방법내 분류일치도와 정확도 역시 Mapmark방법이 높게 산출되었다.외적 준거에 따른 평가결과는 Bookmark방법과 Mapmark방법의 분류일치도가 가장 낮게 산출되었다.

영문 초록

The purpose of the present study is to introduce three IRT-based standard setting methods (Bookmark, Mapmark and the IDM methods) and compare with cut-scores and internal and external validity of these methods. Also, it analyzed the applicability and restrictive point of these methods in our educational situation. The physics items and respond data of the TIMSS2003 science test were used for it. In result, regarding the cut scores of the three methods, there are some gaps among them and the cut scores of‘High’weresimilarbutthecutscoresof‘Advanced’wereverydifferent.Andregarding the evaluation of standard setting methods by internal criteria-intrapanelist interpanelist and within method consistency, the result of the Mapmark method has higher consistency than other two methods. Also, regarding evaluation of standard setting methods by external criteria-intermethod consistency, the result of the consistency between Mapmark method and Bookmark method becomes being lower than other methods.

키워드

준거참조평가 분할점수 설정 Bookmark 방법 Mapmark 방법 IDM 방법 Criterion-referenced evaluation Standard-setting Bookmark method Mapmark method IDM method