군집분석을 이용한 수준설정 방법과 타당성 연구

• 영문명: A Study of Standard Setting Method Using the Cluster Analysis and Validity
• 발행기관: 한국교육평가학회
• 저자명: 박연복(Yeonbok Park) 이규민(Guemin Lee) 강상진(Sang-Jin Kang)
• 간행물 정보: 『교육평가연구』제24권 제3호, 645~664쪽, 전체 20쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2011.09.30

국문 초록

이 연구의 목적은 군집분석을 이용한 수준설정 방법의 절차를 제시하고 타당성에 대해서 검토하는 것이다. 군집분석을 이용한 수준설정 방법은 학생들의 데이터를 근거로 학생들을 분류하므로 학생들이 무엇을 할 수 있는지에 초점을 둔 수준을 제안할 수 있다. 군집분석을 이용한 수준설정 방법은 크게 두 단계를 거쳐 분할점수가 산출되었다. 1단계는 군집 수 결정 단계이다. 군집 수 결정을 위해 계층적 군집화를 시행한 후 적절한 군집 수의 범위를 정하고, K-평균군집화를 시행한 후 최종 군집 수를 결정한다. 2단계는 군집분석 시행 후 수준설정을 위한 분할점수 산출 단계이다. 각 검사의 하위영역에 대한 Z-점수 평균을 군집 별로 프로파일링 하여 수행 수준을 정한 후, 경계선집단방법이나 대비 집단방법을 이용하여 최종 분할점수를 산출한다. 군집분석을 이용한 수준설정 방법의 타당성 확보를 위하여 분류일치도 결과를 내적 타당도 자료로 분석하였고, 북마크방법을 통한 산출된 분할점수와의 비교를 통해 외적타당도를 검토하였다. 분석 결과, 군집분석을 이용한 수준설정 방법이 내적ㆍ외적 타당성이 있는 방법임을 알 수 있었고, 이 수준설정 방법이 기존의 다른 수준설정 방법과 함께 사용될 수 있는 가능성을 확인할 수 있었다.

영문 초록

This study aims to suggest a method to set standards for students by using cluster analysis and to review the validity of the method. In most of the existing standard setting methods, cut scores are calculated by the judgment panel rather than objective data on students' performance. On the contrary, the standard setting by cluster analysis is based on student data, thus making it possible to focus on what students can do. The results of this research can be summarized as follows. First, the method of determining the number of clusters proposed in this study using Rand index seem reasonable because this is utilized more information derived from student data. Second, the differences between cut scores from the bookmark and cluster analysis methods were relatively small across five subject areas. Also, the classification consistency showed relatively high values in five subjects, assuming Beta or 4-Beta distribution for true score. These results support internal and external validity for standard setting method using cluster analysis. Third, the standard setting method using cluster analysis can be considered as an alternative when standard setting panelists cannot be easily obtained. In other respect, this method can be used as a criteria for another standard setting method.

목차

Ⅰ. 서론

Ⅱ. 군집분석을 이용한 수준설정 방법

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 결론

참고문헌

〈ABSTRACT〉

키워드

군집분석을 이용한 수준설정 수준설정의 타당성 평가 분할점수 Standard setting Standard setting using the cluster analysis Cutscore