대규모 준거참조평가에서 성취수준의 분류 일치도와 정확도 분석

• 영문명: Classification consistency and accuracy on the National Assessment of Educational Achievement
• 발행기관: 한국교육평가학회
• 저자명: 송미영(Mi-Young Song) 김성숙(Sungsook Kim) 박인용(In-Yong Park)
• 간행물 정보: 『교육평가연구』제26권 제2호, 391~413쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.06.30

국문 초록

이 연구는 우리나라의 대표적 대규모 준거참조평가인 국가수준 학업성취도 평가의 성취수준 분류에 대한 일치도와 정확도를 분석하였다. 초·중·고등학생들의 교과별 성취 수준은, 변형된 앙고프 방법을 활용하여 설정된 세 개의 분할점수를 기준으로 우수학력, 보통학력, 기초학력, 기초학력미달의 네 수준으로 분류된다. 베타-이항분포, 문항반응이론, 일반화가능도이론 등의 세 가지 방법을 적용하여 성취수준 분류의 신뢰도를 검토한 결과, 네 단계의 성취수준을 모두 고려할 때 분류 일치도 계수는 0.625~0.825, 우연에 의한 확률을 제거한 후 분류결정이 일치될 확률인 K 계수는 0.429~0.680, 분류 정확도 계수는 0.719~0.892로 학생들의 성취수준은 일관성 있고 정확하게 분류된 것으로 나타났다. 이와 같이 국가수준 학업성취도 평가의 신뢰도를 검증하고, 이러한 방법을 적용하여 성취수준을 여러 단계로 분류하는 준거참조평가의 신뢰도를 검증하고자 하는 경우에 고려해야 할 사항들에 대해 제언하였다.

영문 초록

The study described procedures for estimating various indices of classification consistency and accuracy for multiple category classifications using data from a single test administration. The estimates of the classification consistency and accuracy indices were compared under beta binomial model, three-parameter logistic IRT model, and G theory. Using real data sets from the National Assessment of Educational Achievement, the reliability of criterion-referenced assessment was examined. The consistency coefficients, p and k ranged 0.625~0.825, and 0.429~0.680, respectively, and the accuracy coefficients did 0.719~0.892 for multiple classification. This results showed that the classification of the examinee were consistent and accurate.

목차

Ⅰ. 서론

Ⅱ. 준거참조평가 신뢰도의 이론적 고찰

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 결론 및 제언

참고문헌

키워드

준거참조평가 국가수준 학업성취도 평가 성취수준 설정 분류 일치도 분류 정확도 criterion-referenced test National Assessment of Educational Achievement(NAEA) standard setting classification consistency classification accuracy