문항소 단위로 이루어진 영어 읽기시험의 측정학적 특성 탐구

• 영문명: Investigating the effects of testlets of an English reading comprehension test on the parameter estimation: A comparison between conventional IRT and Testlet IRT approaches
• 발행기관: 한국교육평가학회
• 저자명: 최세일(Choi SaeIl)
• 간행물 정보: 『교육평가연구』제30권 제2호, 341~362쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2017.06.30

국문 초록

다수의 표준화된 영어 시험은 하나의 공통된 듣기 또는 읽기 지문에 다수의 질문을 하는 문항소 형식으로 구성되어 있다. 이러한 문항소 형식은 시험 개발의 효율성을 높일 수 있지만 문항소 내에서 문항 간 상호의존성을 증가시키며 이는 문항반응이론의 주요 가정 의 하나인 지역독립성 위반을 초래하게 된다. 이러한 문항 간 상호의존성을 명시적으로 다루기 위한 소수의 측정모형이 존재하며 이 이론들은 모두 문항 간 상호의존성을 무시 했을 경우, 문항모수 측정과 시험의 정보함수, 신뢰도 추정 등에 문제가 있음을 지속적으로 지적하였다 그러나 문항 간 상호의존성에 관한 최근의 연구 중에는 사소한 정도의 문 항상호간 의존성을 모형화 함으로써 오히려 문항모수와 수험자 능력 모수 추정에 불필요 한 복잡성과 비효율성을 초래할 수 있다는 우려도 제기되었다. 이에 본 연구에서는 토익 모의고사의 영어 읽기 부분의 문항소를 Bradlow et al. (1999) 등이 제시한 문항소반응이론 과 일반 문항반응이론을 적용하여 얻은 문항모수, 수험자 모수, 시험정보함수등을 상호 비교하였다. 연구 결과에 의하면 문항의 변별도, 추측도, 시험정보 함수는 문항간 상호의 존성을 무시할 경우 약간의 과대 추정 경향이 있으나 난이도 모수와 수험자 능력 모수 는 차이가 없었으며 대다수의 문항소가 매우 사소한 정도의 상호의존성을 보였다.

영문 초록

Many English language tests consist of testlets in which a group of items share a common written or spoken text. This testlet format can enhance efficiency of test development but could increase inter-item dependence within a testlet, which violates the key assumption of local independence in item response theory(IRT) modeling. Theorists have proposed several models to cope with the testlet structures and warned against test scoring ignoring the violation. Recently, however, there also exist some concerns about modeling negligible testlet effects that make the scoring process unnecessarily complicated and bring about errors in item calibration. Using an English reading comprehension test, this study empirically investigated the magnitude of tetlet effects on the key parameter estimation by comparing the estimates of the regular IRT and the testlet response theory model proposed by Bradlow et al.(1999). The results showed that the testlet effects were very small. Item difficulties and person parameters were almost intact while item discrimination and guessing parameters were slightly overestimated. Test information was locally overestimated but such overestimation was due to the estimation method chosen, not to the testlet structure itself. Some implications of the results were further discussed.

목차

I . Introduction

Ⅱ. Alternative Models for Testlets

Ⅲ. Methods

Ⅳ. Results

Ⅴ. Conclusion

References

<국문요약>

키워드

문항모수 수험자모수 시험정보함수 문항반응이론 문항소 문항소반응이론 item response theory testlet effects local independence item and ability parameters test scoring