An Investigation of the Effect of Anchor Test Length and Non-equivalency of Equating Groups on Equating

• 발행기관: 한국교육평가학회
• 저자명: Yeonjeong Kim(김연정) Guemin Lee(이규민) Sang-Jin Kang(강상진) Sun-Young Jeong(정선영)
• 간행물 정보: 『교육평가연구』제22권 제4호, 1133~1160쪽, 전체 28쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.12.30

국문 초록

이 연구에서는 가교검사의 길이와 집단간 비동등성이 공통문항 비동등집단 설계 동등화 결과에 미치는 영향력을 알아보았고, 동일한 상황에서 세 가지 동등화 방법의 결과를 비교하였다. 이 연구에서는 실험설계를 통해 자료를 수집하였고, 세 가지 가교 검사 길이, 동등집단 설계와 비동등집단 설계, 세 가지 동등화 방법을 고려한 총 18개 조건을 고려하였다. 연구결과, 능력수준이 비슷한 집단이 동등화에 사용된 경우에 가교 검사의 길이는 동등화 관계에 큰 영향을 미치지 않는 것으로 나타났다. 서로 다른 가교검사의 길이는 모두 비슷한 동등화 관계를 도출하였다. 반면 능력수준이 서로 다른 비동등 집단이 동등화에 사용될 경우 가교검사의 길이는 동등화 관계에 큰 영향을 미치는 것으로 나타났다. 가교검사 길이의 영향력이 집단간 비동등성정도에 따라 달라졌기 때문에, 가교검사 길이와 집단간 비동등성간의 상호작용이 있는 것으로 분석되었다. 능력에서 동등한 집단을 동등화에 사용할 경우 Tucker 선형 방법, Levine 관찰점수 선형 방법, 그리고 빈도추정동백분위 방법은 유사한 동등화 관계를 도출하였다. 가교검사의 길이가 증가할수록 세 방법의 동등화 관계 추정치는 더욱 유사하였다. 하지만 능력이 동등하지 않은 집단을 동등화에 사용할 경우 세 가지 동등화 방법은 유사하지 않은 동등화 관계를 도출하였고, 가교검사의 길이가 감소할 때 비유사성의 정도가 증가하였다. 현장에서 공통문항 비동등집단 설계를 활용하여 동등화를 시행할 경우, 동등화에 사용되는 집단의 비동등성이 어느정도 예상될 때 동등화 결과 활용에 주의할 필요가 있다. 특히 상대적으로 가교검사의 길이가 짧을 때 더욱 주의가 요구된다. SEE와 WMSEE의 양상은 집단의 비동등성에 크게 영향받지 않는 것으로 나타났는데, 가교검사의 길이를 증가하는 것은 동등화 오차를 크게 감소시켰지만, 약 30% 이상으로 증가시키는 것은 큰 영향력이 없는 것으로 나타났다.

영문 초록

The present study investigated the effect of anchor test length, non-equivalency of equating groups, and equating methods on equating. The English test scores collected from the experiment design employed in this study were analyzed to compare equating relationships and standard errors of equating under the design. The design included 18 conditions: 1) equivalent groups vs. non-equivalent groups, 2) three anchor test lengths, and 3) three equating methods. When equivalent groups were used, lengthening the anchor test had little effect in equating relationships. The length of the anchor test, however, became an important factor when non-equivalent groups were used in equating. That is, there was an interaction effect between the anchor test length and non-equivalency of groups on equating. All of the equating methods yielded similar equating relationships when the equating groups were equivalent. Non-equivalent equating groups, by contrast, produced dissimilar equating relationships. It could be recommended for practitioners to be cautious in equating with NEAT design when some non-equivalency between equating groups would be expected. It was revealed that the shorter the anchor test length, the more dissimilar were the equating relationships. This recommendation could be more viable especially for the relatively short anchor test lengths. With respect to the SEEs and WMSEEs, lengthening the anchor test reduced the equating errors.

키워드

non-equivalent groups with anchor test (NEAT) design anchor test length non-equivalency of equating groups equating errors 공통문항 비동등집단 설계 가교검사 길이 동등화 집단간 비동등성 동등화 오차