Effects of Relaxed Statistical Assumptions for Anchor Test Construction and Non-equivalence of Proficiency Distributions on Equating Accuracy

• 영문명: 가교검사 구성의 통계적 조건 완화 및 능력 분포의 비동등성이 동등화에 미치는 효과
• 발행기관: 한국교육평가학회
• 저자명: 이현숙(Hyun Sook Yi) 김성훈(Seonghoon Kim)
• 간행물 정보: 『교육평가연구』제26권 제1호, 247~273쪽, 전체 27쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.03.31

국문 초록

본 연구에서는 가교검사 구성에 요구되는 통계적 조건의 완화가 관찰점수 동등화의 정확성에 어떠한 영향을 미치는지 모의실험을 통해 고찰하였다. 가교검사 문항을 선택하기 위한 조건으로는 기존 연구에서 주로 고찰하였던 곤란도 모수와 더불어 변별도 모수의 범위도 함께 고려함으로써 두 조건이 어떠한 방식으로 상호 작용하는지 살펴보고자 하였으며, 피험자 능력 분포의 비동등성, 가교검사의 길이, 동등화 방법 등도 모의실험 조건으로 포함하여 각 조건 하에서 동등화의 정확성에 미치는 효과가 일관되게 나타나는지 탐색하였다. 분석 결과, 변별도가 높고 난이도가 평균 근처에서 좁은 범위에 분포해 있는 문항을 가교문항으로 사용할수록 동등화의 정확성이 높아졌으며, 두 문항 모수 중에서는 변별도가 더 중요한 역할을 함을 알 수 있었다. 두 집단의 능력 분포 차이가 거의 없을 때는 가교검사의 구성 조건 완화가 동등화에 영향을 주지 않았지만 능력 차이가 클수록 통계적 구성 조건 완화의 효과가 더 크게 나타났다. 이와 같은 효과는 가교검사의 길이가 짧을 때 더 두드러지게 나타났다. 동등화 방법 중에서는 대체로 빈도추정 동백분위(FEE) 동등화가 가교검사 구성 조건의 변화에 가장 큰 영향을 받았고, IRT 관찰점수 동등화가 가장 안정적인 것으로 나타났다.

영문 초록

This study investigated effects of relaxing statistical assumptions suggested in the literature for constructing an anchor test on the accuracy of observed-score equating. As a common-item selection rule for simulation, ranges of item discrimination and difficulty parameters for anchor item sets were considered in order to observe how anchor item selection rules based on both characteristics would interact to result in more accurate or inaccurate equating. In addition, the length of the anchor test, differences in ability distributions between equating groups, and equating methods were considered to examine whether consistent patterns would be observed across different conditions. The results showed that it would be desirable if one can select anchor items that have high discrimination and have item difficulty narrowly distributed around the mean, and that item discrimination was a more crucial factor affecting performance of equating than item difficulty. Selecting anchor items over the narrower range of b-parameters increased the accuracy of equating in a great deal when the two groups differed in mean and skewness. In addition, for all conditions of non-equivalency of examinee proficiency, differences in the accuracy of equating among the spread of b-parameters were more apparent when the anchor test length was 25% of the total test than when it was 50%. Although there were some exceptions, frequency estimation equipercentile (FEE) equating was most sensitive to the changes in anchor construction and item response theory (IRT) equating was most stable across various item selection rules.

목차

Ⅰ. Introduction

Ⅱ. Methods and Procedures

Ⅲ. Results

Ⅳ. Conclusions and Discussions

References

<요약>

키워드

가교검사 구성 동등화 정확성 검사 개발 Anchor test construction equating accuracy test development