고부담시험에서 문항노출위험과 동등화편차를 최소화 할 수 있는 행렬표집설계 방안

• 영문명: Applicability of a matrix-sampled design for reducing item disclosure risk and equating errors in the high-stakes test
• 발행기관: 한국교육평가학회
• 저자명: 남현우(Hyun-Woo Nam) 남명호(Myung-Ho Nam) 양길석(Kil-Seok Yang) 김진하(Jin-Ha Kim)
• 간행물 정보: 『교육평가연구』제22권 제3호, 633~657쪽, 전체 25쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

대학수학능력시험과 같은 고부담 시험에서 가교 역할을 하는 문항의 노출 위험을 줄이면서 동등화 오차를 적게 하는 방안으로서 행렬표집설계를 제안하고 이의 적용 가능성을 밝히고자 본 연구를 수행했다.단순 가교검사설계로 동등화 자료를 수집한 국가수준 학업성취도평가의 2006년과 2007년 고1국어,수학,영어 검사 자료를 다양한 구획 수와 피험자 수의 행렬표집설계로 변형하여 동등화 편차를 계산하였다.단순 가교검사설계 자료의 동등화를 기준으로 하고,행렬표집설계의 구획수를 늘리면서 구획 당 피험자 수와 문항 수를 줄였을 때 동등화 편차에 변화가 있는지를 검토했다.국어와 수학에는 행렬표집설계를 적용할 가능성이 있지만,영어의 경우에는 특성곡선전환 방법이 조심스럽게 사용될 때에만 적용될 수 있다는 결론에 도달했다.

영문 초록

This research was performed to suggest a matrix-sampled design, for the purpose of reducing item disclosure risks of anchor items and lowering test takers' burden in large scale high-stakes assessment. Korean, Math, and English test for the students of 10th grade in the year of 2006 and 2007, Korea National Assessment of Educational Achievement were used as an empirical data of this research. We modified item responses of simple anchor test design in to those of matrix-sampled design with varying number of blocks and examinee. RMSD(Root Mean Squared Difference) was calculated to test whether the equating functions of simple anchor test design and matrix-sampled design were different from as the number of blocks was increased but the number of examinee and items of each blocks was decreased. We concluded that the matrix-sampled design could be applied in the Korean and Math test of National Assessment of Educational Achievement, but only the CCT(Characteristic Curve Trans formation) method in the matrix-sampled design could be cautiously used in the English test

키워드

행렬표집설계 검사동등화 가교검사설계 대규모의 고부담 시험 Matrix-sampled design Test equating Anchor test design Large scale high-stakes test