『한국교육종단연구2005』의 수직척도 타당성 검토

• 영문명: A Validity Study for Vertical Scale of Korean Educational Longitudinal Study(KELS) 2005
• 발행기관: 한국교육평가학회
• 저자명: 이규민(Guemin Lee) 임현정(Hyun-Jung Im) 박인용(In-Yong Park) 김연정(Yeonjeong Kim)
• 간행물 정보: 『교육평가연구』제23권 제3호, 617~640쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.09.30

국문 초록

『한국교육종단연구2005』에서는 매년 학생들의 학년별 성취도 변화를 평가하도록 우리나라에서는 처음으로 국가수준 학업성취도 평가에서 수직척도가 개발되어 적용되었다.이 연구는『한국교육종단연구2005』에서 개발된 수직척도의 타당성을 검토하고자 (연구)설계되었고, 2005년 이후 4년 간 누적된 자료를 이용하여 척도화 표본과 표준화 표본을 통합하여 분석하였다. 수직척도의 타당성을 검토하기 위해, 6가지 서로 다른 수직척도 개발 방법을 선정하여 국어, 수학, 영어 교과에 적용하였고, 다층분석 기법을 적용하여 수직척도화 방법을 비교하였다. 분석 결과, 문항반응이론을 적용하기 위한 표본의 사례 수제한과 그로 인한 모수추정의 불안정성 문제, 학년 간에 100점이라는 임의 성장 정보를 추가한 문제, 차별적으로 기능하는 문항을 학년 간 수직척도 개발을 위한 공통문항으로 사용한 문제, 문항 반응 패턴 채점 방식이 아닌 총점과 수직척도 점수 변환 방식을 사용한 문제 등은 개발된 수직척도의 타당성을 위협하는 요인이 아님을 확인할 수 있었다. 단지, 학년 내 척도 점수의 분산 수준 결정은 수직척도 개발을 통한 학교효과 분석에 영향을 주는 것으로 나타났다. 그러나 척도 변환의 미결정성은 모든 척도개발에 관련되는 사항으로, 이러한 점이『한국교육종단연구2005』수직척도의 타당성을 위협하는 근거로 해석되는 것은 적절하지 않을 것이다. 따라서 향후 다년간에 걸친 자료 분석과 결과 비교를 위해 개발된 수직척도를 계속 유지하는 것이 바람직할 것이다

영문 초록

A new vertical scale was firstly developed and implemented for national achievement evaluation in the Korean Educational Longitudinal Study started in 2005 (KELS 2005). This study was designed to investigate the validity of the newly developed vertical scale of KELS 2005 by using both vertical scaling samples and standardization samples aggregated for 4 years after its inception. Six different vertical scaling methods were differentiated and applied to Korean Language, Mathematics, and English subject matter areas, and multilevel models and analysis techniques were adopted to compare six vertical scaling methods. Based upon the results of this study, we can conclude several factors would not be related in threatening the validity of vertical scale of KELS 2005. Those factors include (1) relatively small sample size for applying item response models and the related unstability issue of item parameter estimates, (2) the problem of adding manipulated growth information, like 100-point growth per grade, onto the vertical scale, (3) the impact of the use of differentially functioning items as common items for vertical scaling, and (4) the implementation of number correct to scale score conversion table insead of pattern scoring. The level of score variation within grades in vertical scale had some influences on the analyses of school effectiveness under multilevel models. However, it would be reasonable not to interpret this result as the evidence to invalidate the vertical scale of KELS 2005, because the level of score variation within grades would not be a generic factor to vertical scale, but would be related to all possible score scales. In turn, it would be recommended to maintain the level of score variation within grades set in 2005 to support the comparison of student achievement growth over several years after 2005.

목차

Ⅰ. 서 론

Ⅱ.『한국교육종단연구2005』수직척도 개발

Ⅲ. 연구방법

Ⅳ. 연구결과

Ⅴ. 결론 및 논의

키워드

한국교육종단연구2005 수직척도 문항반응이론 학교효과 다층모형 KELS 2005 Vertical Scale Validity Item Response Theory School Effectiveness Multilevel Model