Evaluating the Performance of Non-Equivalent Groups Anchor Test Equating Under Various Conditions of Anchor Test Construction

• 발행기관: 한국교육평가학회
• 저자명: Hyun Sook Yi(이현숙)
• 간행물 정보: 『교육평가연구』제22권 제3호, 847~869쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2009.09.30

국문 초록

본 연구는 비동등집단 가교검사 동등화 설계 하에서 가교 검사 구성을 위해 요구되는 기본 가정들이 일부 완화되었을 때 동등화 결과에 어떠한 영향을 미치는지에 관하여 탐색하였다.특히 가교 검사가 전체 검사의 통계적 특성을 대표하도록 구성되어야 한다는 조건이 위배되었을 때 동등화 결과에 미치는 영향을 가교 문항의 비율,가교 검사 문항 난이도의 범위,가교 검사 문항의 평균 난이도,전체 검사 간 평균 난이도의 차이,검사 실시 집단 간의 능력 차이 등 여러 가지 모의실험 조건을 고려하여 평가하였다.그 결과 전체 검사에 비하여 가교 검사의 난이도가 좁은 범위에 걸쳐 분포하는 경우 전체 검사의 난이도 분포를 그대로 반영한 경우보다 가교 검사와 전체 검사 간 상관이 높게 나타났으며,결과적으로 보다 정확한 동등화 결과를 산출하는 경향을 나타내었다.또한 동등화에 사용된 두 검사의 비공통 문항 난이도 차이가 클수록,그리고 두 검사를 치른 집단 간의 능력 차이가 클수록 이러한 패턴은 더욱 뚜렷하게 관측되었다.이러한 결과는 가교 검사의 비율에 관계없이 일관되게 나타났다.반면,가교 검사 문항의 평균 난이도의 위치에 따라서는 가교 검사 문항의 난이도 분포에 따른 동등화의 정확성이 실험 조건에 따라 서로 다른 패턴을 나타내었다.

영문 초록

This study investigated the degree to which equating results are affected by violations of assumptions that need to be satisfied for anchor item construction in the NEAT equating design. The assumption that the anchor test should be a miniature version of the total test in statistical properties was evaluated under various simulation conditions, including the percentage of anchor items in total tests, spread of item difficulty parameters of the anchor test, location of the average difficulty parameters of the anchor item sets, degree of difference in the difficulty of non-common items, and degree of difference of ability distributions between non-equivalent groups. The findings of this study generally suggest that anchor items consisting of a less wide range of item difficulty in relation to the total test tend to have higher anchor-to-total correlations and can produce more accurate equating results compared to using anchor items constructed from the full range of item difficulty. This study also suggests that anchor item sets with a less wide range of item difficulty than the total test could lead to more accurate equating results when there is the possibility that the mean ability of the two non-equivalent groups differ greatly and the two equated forms are fairly different in overall item difficulty. Consistent patterns were observed across the proportion of anchor items. In contrast, however, performances of anchor item sets over various levels of spread in item difficulty were in consistent across different locations of the mean difficulty of the anchor items.

키워드

Anchor test Equating NEAT design Common Item 가교 검사 동등화 NEAT 설계 공통 문항