한국어능력시험Ⅱ의 규준참조적 준거설정 방법 비교

• 영문명: Evaluation of Norm-referenced Standard Setting Methods for TOPIK Ⅱ
• 발행기관: 한국교육방법학회
• 저자명: 민경석,박인용,양길석
• 간행물 정보: 『교육방법연구』제26권 제4호, 607~628쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2014.11.30

국문 초록

이 연구는 준거참조검사에서 시험이 새롭게 개편되어 등급분할의 재설정이 필요한 경우 기존의 규준정보를 활용하여 준거를 설정하는 세 가지 방안을 제안하고, 그 결과의 타당성을 검증하고자 하였다. 이를 위해 최근 개편된 한국어능력시험을 대상으로 기존 시험의 규준정보를 활용하여 첫째, 기존 시험의 등급별 점수분포의 교차점수를 구한 후 연계화 과정을 통하여 새로운 시험에서의 점수를 분할점수로 설정하는 방안(교차점수 분할), 둘째, 동백분위 방법을 적용하여 기존 시험에서의 절대기준 점수(50, 70점)에 해당하는 분할점수를 산출하는 방안(고정점수 분할), 셋째, 기존 시험에서의 등급별 비율과 동일한 비율을 갖는 개편 체제에서의 점수를 분할점수로 설정하는 방안(고정비율 분할)을 적용하였다. 세 가지 방안을 통해 한국어능력시험Ⅱ의 분할점수를 산출한 결과, 교차점수와 고정비율 방법은 기존체제에서의 등급별 비율과 전반적으로 유사한 경향을 보였다. 또한, 기존 등급을 유지한 비율과 단일시행에서의 분류 일치도가 높게 나타나 기존체제와의 연속성, 분류결정의 안정성 측면에서 한국어능력시험Ⅱ 분할점수의 타당성을 확인할 수 있었다. 이 연구에서 논의된 규준참조적 준거설정 방법은 준거참조적 방법과 비교하여 절차적 간편성뿐만 아니라 평가 결과의 일관성을 유 지한다는 측면에서 다양한 국가수준 평가에 적용 가능한 방안으로 활용될 수 있을 것이다.

영문 초록

This study suggested three norm-referenced standard setting procedures for TOPIK Ⅱ, which was reformed in 2014. Also, this study evaluated the validity of new cutoff scores on TOPIK Ⅱ in terms of classification consistency. Three norm-referenced standard setting methods were 1) the crossing score procedure which found the new cutoff score corresponding a overlapping score point of two performance levels in the old test using a linking technique (equipercentile linking), 2) the fixed score procedure which was based on permanent cutoff scores of the old test scale using the linking technique, and 3) the fixed percentile procedure which maintained ratio of each performance level of the old test. The research results showed that the percentages of each performance level in TOPIK Ⅱ, generated from two norm-referenced methods(crossing score point and fixed percentile procedures), were similar to those of the old test, and a large portion of examinees, who took both TOPIK (intermediary and advanced) and TOPIK Ⅱ, maintained the same performance levels. Furthermore, classification consistency indices of TOPIK Ⅱ were sufficiently high. Based on these results, cutoff scores of TOPIK Ⅱ from norm-referenced standard setting procedures were valid and consistent in that new cutoff scores maintained continuity and stability of performance levels compared with the old tests. Therefore, norm-referenced standard setting methods could be practically appled to various large scale assessments, which might be reformed periodically but should provide somewhat consistent test results.

키워드

등급분할점수, 규준참조적 준거 설정, 한국어능력시험, 교차점수 분할, 고정점수 분할, 고정비율 분할, 분류 일치도, cutoff scores, norm-referenced standard setting, TOPIK, classification consistency, equipercentile linking