A Comparison of Kernel and Traditional Equating Methods under the Non-Equivalent Groups with Anchor Test Design

• 발행기관: 한국교육평가학회
• 저자명: SeoHong Pak(박서홍) Guemin Lee(이규민) Sang-Jin Kang(강상진)
• 간행물 정보: 『교육평가연구』제23권 제4호, 975~1002쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.12.30

국문 초록

이 연구는 비동등집단 가교문항 설계(이하 NEAT)의 조건에 따른 커넬 동등화 방법과 전통적 동등화 방법의 결과를 비교하였다. 특히, NEAT 설계에서 동등화 결과에 영향을 줄 수 있는 것으로 알려진 세가지 요소, 즉, 피험자 수, 가교문항의 길이 및 집단의 동등성에 따른 동등화 결과를 비교하고자 하였다. 이 연구에서는 문항반응이론 방법(이하 IRT)을 이용한 모의실험 자료를 이용하였으며 피험자 수의 조건, 가교문항의 길이, 집단의 동등성을 고려한 총 18가지의 조건을 고려하였으며 동등화 결과의 비교를 위해 IRT 동등화 결과를 준거로 삼아, 조건적 오차와 가중평균 오차 값을 산출하였다. 연구결과, 동등집단에서의 방법들 간 동등화 관계가 비동등집단에서의 방법들 간 동등화 관계보다 더 유사하게 나타났다. 하지만, 동등집단의 조건에서는 피험자 수와 가교문항의 길이에 상관없이 커넬의 선형 동등화 방법이 Tucker 선형 동등화 방법보다 적은 양의 가중평균 오차 값을 산출하였으며, 빈도추정동등화 방법이 커넬의 동백분위 동등화 방법보다 적은 양의 가중평균 오차 값을 산출하였다. 비동등집단 조건 중 충분한(30% 이상) 수의 가교문항이 사용된 경우, 피험자 수와 상관없이 Tucker 선형 동등화 방법이 적은 양의 가중평균 오차 값을 산출하였고, 적은(20% 이하) 수의 가교문항이 사용된 경우에는 커넬의 선형 동등화 방법이 적은 양의 가중평균 오차 값을 산출하였다. 이와는 달리, 동백분위 방법들의 경우에서는 비동등집단 조건이라 하더라도 가교문항의 길이에 상관없이 적정 수준(1,500명) 이하의 피험자수 조건에서는 전통적 동등화 방법인 빈도추정 방법이, 많은 수의 피험자를 가진 조건에서는 커넬의 동백분위 동등화 방법이 각각 적은 양의 가중평균 오차 값을 산출하였다.

영문 초록

This study investigated the effect of the sample size, the anchor test length, and the group equivalency on the kernel and the traditional equating methods under the non-equivalent groups of anchor test (NEAT) design. The present study considered 18 conditions using simulated test data with three traditional equating methods and two post-stratification kernel equating methods were applied. The IRT equating results were used as the true criterion to compare the equating results of the kernel and the traditional methods. Like other studies, the equating relationships between the kernel linear and Tucker linear, and between the kernel equipercentile and the frequency estimation method became more similar under the equivalent groups conditions. Under the equivalent groups conditions, the kernel linear method generally yielded less amount of aggregate error than Tucker linear method regardless of sample sizes or anchor test lengths. The frequency estimation method also yielded less amount of aggregate error than kernel equipercentile equating method. However, under the NEAT conditions, Tucker linear would be preferred when there are enough anchor test items. In contrast, the kernel would be preferred with short anchor test items(less than 20% of total test length). Further, it is recommended to use the frequency estimation method with relatively small sample size (less than 1,500) while the kernel equipercentile can be better with large sample size (more than 3,000) under the NEAT conditions. In short, the kernel and Tucker linear methods seemed to be more affected by the anchor test lengths while the frequency estimation and the kernel equipercentile methods seemed to be more affected by the sample sizes under the NEAT conditions.

목차

Ⅰ. Introduction

Ⅱ. Kernel Equating Method

Ⅲ. Method

Ⅳ. Results

Ⅴ. Conclusions

키워드

커넬 동등화 비동등집단 가교문항 설계 피험자 수 가교문항 길이 집단 동등성 동등화 관계 동등화 오차 kernel equating sample size anchor test length group equivalency NEAT design equating relationships equating errors