국가수준 학업성취도 평가에서의 성취수준 설정과 수준 분류의 일관성

• 영문명: Setting achievement levels and classification consistency on the National Assessment of Educational Achievement
• 발행기관: 한국교육평가학회
• 저자명: 김경희(Kyunghee Kim)
• 간행물 정보: 『교육평가연구』제18권 제3호, 1~17쪽, 전체 17쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2005.11.01

국문 초록

이 연구에서는 국가수준 학업성취도 평가(이하 성취도 평가)에서의 준거 설정 방법과 성취수준 분류의 일관성을 탐색하였다. 준거참조평가 체제인 성취도 평가에서는 피험자들의 성취수준을 파악하기 위해 기존의 앙고프 방법을 변형하여 활용하였다. 성취도 평가에서 변형한 방법은 다수준의 분할점수 설정, 수준별 정답률 판정의 3~6회에 걸친 반복 과정, 패널들에게 정답 확률 선택 허용, 문항에 대한 경험적인 자료와 샘플 답안의 제공 등이었다. 수준별로 설정된 분할점수는 원점수 척도에서 설정되었고 척도점수로 연계되었다. 성취수준 분류의 신뢰성을 검토한 결과, 원점수와 척도 점수 모두에서 피험자들의 성취 수준은 비교적 일관성 있게 분류된 것으로 나타났다. 향후 설정된 분할점수는 성취 추이를 파악하기 위한 기준점이 되므로 지속적인 타당화 과정, 문항과 성취수준의 연계방법, 새로운 수준 설정 방법 등에 대한 연구가 필요함을 제안하였다.

영문 초록

The purpose of this study is to detect the setting achievement levels and classification consistency on the 2003 National Assessment of Educational Achievement(NAEA) in Korean, Social Studies, Mathematics, Science, and English. The achievement levels-setting process of NAEA was based on the modified Angoff method. The modifications of the Angoff method of NAEA were setting multiple levels, 3~6 iteration of panelists' judgement, the allowance to select one of the probabilities(0, 5, 10 --- 90, 95, 100), and the provision of normative data and examinee' response samples to panelists. After setting the achievement levels, the cut scores on raw score scales are linked to the new score scales. The results of estimating consistency and accuracy indices for multiple classification showed that the classification of the examinee were relatively consistent. Further studies of the validation the 2003 cut scores, the item mapping method, and another standards setting methods were discussed.

목차

초록

Ⅰ. 연구의 필요성 및 목적

Ⅱ. 앙고프 방법의 변형과 분류 일치도

Ⅲ. 성취수준 설정 과정 및 절차

Ⅳ. 성취수준 설정 결과

Ⅴ. 요약 및 논의

참고문헌

저자소개

ABSTRACT