A Comparative Study of IRT Models for Locally Dependent Reading Test Items by ESL Learners

• 영문명: 영어학습자의 국부종속적 독해시험 문항을 위한 문항반응이론 모형 비교연구
• 발행기관: 한국교육평가학회
• 저자명: Chanho Park(박찬호)
• 간행물 정보: 『교육평가연구』제23권 제2호, 529~546쪽, 전체 18쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2010.06.30

국문 초록

문항반응이론 모형은 대체로 강한 가정을 만족시켜야 한다. 두 개의 주요한 가정은 문항반응함수의 단조성과 문항반응의 국부독립성이다. 국부독립성 가정은 여러 개의 문항이 하나의 독해지문을 공유하는 독해검사에서 위배될 수 있다. 독해검사의 국부종속성은다차원성으로 이어질 수 있으며 이는 영어학습자를 위한 검사에서 더 두드러질 수 있다. 독해지문을 공유하는 문항이 소검사를 이루는 선다형 독해검사에 대한 영어학습자들의반응을 이용하여 DETECT 방법을 이용, 차원적으로 동질한 문항을 찾아내고 소검사 모형과 이인자 모형을 적용하였는데 이 모형들은 삼모수 모형을 다차원으로 확대한 것으로 종속적 관계를 가지고 있다. 모형의 모수는 마르코프체인 몬테칼로 방법으로 추정되었으며 그 결과는 삼모수 모형의 모수등과 비교되었다. 소검사에 대한 두 모형의 기울기 모수를 해석하고 비교하였으며, 두 모형 중 보다 적합한 모형을 찾기 위해 DIC를 이용하였다. 이인자 모형이 보다 적합한 모형으로 판명되었는데 이는 부차적 요인에 대한 각 문 항들의 부하값에 상당한 차이가 있다는 점과 일관된다. 이 연구에서는 모의실험을 사용하지 않은 바 경험적인 연구를 통해 성과를 축적할 필요가 있을 것이다.

영문 초록

Item response theory (IRT) models often involve strong assumptions. Two major assumptions are monotonicity of item response function and local independence (LI) of item responses. The LI assumption can be violated in reading tests, where multiple items often stem from a common reading passage. Local dependence can lead to multidimensionality, which can be more evident for English as a second language (ESL) learners. Using ESL students' responses to reading test items consisting of testlets, dimensionally homogeneous clusters of items were detected using the DETECT method. The dataset was then fitted by the testlet model and the item bifactor model, nested models extended from a three-parameter IRT model. The model parameters were estimated using a Markov chain Monte Carlo algorithm. The results were compared with those of other procedures such as a three-parameter model. The slope parameters on the testlet were interpreted and compared across the two models, which were also tested using DIC to find a better-fitting model. The bifactor model was found to fit the data better than the testlet model, which was confirmed by the substantial variability of loadings on the secondary dimension. Since this study did not involve simulation analyses, more evidence from empirical data will be beneficial.

목차

Ⅰ. Introduction

Ⅱ. Methods

Ⅲ. Data Analysis

Ⅳ. Results

Ⅴ. Discussion and Conclusion

키워드

문항반응이론의 가정 차원성 국부독립성 소검사 모형 이인자 모형 DETECT 방법 마르코프체인 몬테칼로 모형 비교 IRT Assumptions Dimensionality Local Independence Testlet Model Bifactor Model DETECT MCMC Model Comparison DIC