A Comparison Study on the Applications of the Angoff and Bookmark Standard Setting Methods

• 영문명: 앵고프와 북마크 수준설정 방법의 적용ㆍ비교 연구
• 발행기관: 연세대학교 교육연구소
• 저자명: 이규민(Guemin Lee) 박인용(In-yong Park) 이명숙(Myngsuk Lee) 박연복(Yeonbok Park) 김경성(Kyung-Sung Kim)
• 간행물 정보: 『미래교육학연구』미래교육연구 제27권 제1호, 1~17쪽, 전체 16쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2014.06.30

국문 초록

앵고프(Angoff, 1971) 방법과 북마크(Lewis, Mitzel, & Green, 1996) 방법은 요즘 사용되고 있는 수준설정 방법 중 가장 보편적으로 널리 사용되고 있는 검사 문항 중심 수준설정 방법이다. 이 연구에서는 Standards for Educational and Psychological Testing(AERA, APA, & NCME, 1999)의 요구 사항을 따라, 이러한 수준설정 방법을 동일한 검사에 적용해 보고, 두 방법간 유사성과 차별성을 여러 측면에서 비교하였다. 이 연구에서 사용된 분석 자료는 초등학교 6학년 ‘국가수준 기초학력 진단평가’를 통해 얻어진 자료이다. 국가수준 기초학력 진단평가는 국어, 영어, 수학, 사회, 과학의 5개 교과로 구성되어 있고, 각각의 교과별로 기초학력 미달 학생을 변별하기 위한 목적으로 개발되었다. 연구 결과, 북마크 방법으로 설정된 분할 점수가 앵코프 방법으로 설정된 분할 점수 보다 5개 교과 모두에서 높았고, 결과적으로 더 많은 기초학력 미달 학생을 변별하는 것으로 나타났다. 분할 점수 분산에 영향을 미치는 가장 주요한 요인은 수준설정 방법으로 나타났지만, 두 방법 모두 각각 높은 수준의 분류 일치 계수를 산출하였다. 결론적으로, 북마크와 앵고프 수준설정 방법은 최소 능력을 소유한 것으로 판단되는 학생을 선별하는데 있어 서로 다른 분할 점수를 산출하고는 있지만 각각의 방법은 높은 수준의 분류일관성을 확보하고 있는 것으로 보인다.

영문 초록

The Angoff (1971) and the Bookmark (Lewis, Mitzel, & Green, 1996) item-centered methods are two of the most prevalent standard setting methods used today. We investigated the results and effects of applying these methods by following the recommendations of the Standards for Educational and Psychological Testing (AERA, APA, & NCME, 1999). The data used in this study were obtained from the grade 6 National Diagnostic Test of Basic Competency (NDTBC) that was developed and administered in South Korea. The NDTBC is composed of five subject areas: Reading, English, Mathematics, Social Studies, and Science. The Bookmark method produced slightly higher cut-off scores for all five subject areas and identified more below-basic students than did the Angoff method. Standard setting methods were the major source of cut-off score variation, but both standard setting methods produced high classification consistency indices. Judgments about cut-off scores were reasonable and valid using both methods. In conclusion, both the Bookmark and Angoff standard setting methods yield different cut-off scores for the minimally acceptable performance of examinees, but produce high level of classification consistency within each method.

목차

Abstract

Ⅰ. Introduction

Ⅱ. Methods

Ⅲ. Results

Ⅳ. Discussion

References

요약

키워드

수준설정 타당도 북마크 방법 앵고프 방법 Standard setting Validity Bookmark method Angoff method