다층 구조를 이루는 이분문항 자료의 급내상관계수 추정 방안 비교

• 영문명: A Comparison of the Methods of Estimating Intraclass Correlation Coefficients for Hierarchically Structured Dichotomous-Item Data
• 발행기관: 한국교육평가학회
• 저자명: 박찬호(Chanho Park)
• 간행물 정보: 『교육평가연구』제26권 제2호, 459~476쪽, 전체 18쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2013.06.30

국문 초록

교육 관련 연구에서 분석의 기본 단위는 대개 개인이지만 개인들은 집단을 이루어 존재한다. 같은 집단에 속한 개인들은 서로 같은 특성을 보이는 집단 내 동질성을 지니는 경우가 많으며, 이러한 집단내 동질성은 급내상관계수로 확인할 수 있다. 라쉬 모형과 같은 문항반응이론을 적용하여 성취도를 구할 경우 결합최대우도추정법이나 주변최대우도추정법을 적용하여 구한 문항 모수와 능력치를 사용하며, 다층 분석시 이렇게 구한 성취도를 이용하여 급내상관계수를 추정할 수 있다. 그런데 다층 라쉬 모형이 일반화선형혼합모형에 속한다는 점을 이용하면 라쉬 모형 적용과 급내상관계수 추정을 동시에 할 수 있다. 본 연구에서는 다양한 조건에서 급내상관계수가 어떻게 추정되는지 비교하기 위하여 모의 실험을 실시하였다. 그 결과 일반화선형혼합모형으로서의 다층 라쉬 모형을 이용한 경우 모든 조건에서 급내상관계수를 정확히 복원하였으나 능력치를 먼저 추정하고 2차로 급내상관계수를 추정한 경우 부적인 편파를 보였으며, 결합최대우도추정법과 주변최대우도추정법 간 차이는 미미하였다. 분산분석을 통해 급내상관계수의 추정에 영향을 미치는 요인을 분석한 결과 집단 수가 가장 큰 영향을 미치는 것으로 나타났다. 집단의 수가 크고 집단 내 개인의 수가 적을 경우 급내상관계수가 최대 .5까지 낮게 추정될 수 있어 분석시 주의를 요한다. 그래서 평가 결과를 다층 분석에 이용할 경우 문항반응 자료를 확보할 수 있다면 다층 라쉬 모형을 이용해 분석을 하는 것이 권장되며 성취도 결과가 이미 주어진 경우라면 특히 집단 수가 많을 때 주의를 요한다.

영문 초록

The unit of analysis in most education research is individuals. However, individuals exist as groups, and the individuals in the same groups share similarities. This within-group homogeneity can be indicated by the intraclass correlation (ICC) coefficient. When item response theory models such as the Rasch model are applied to measure individual's achievement, the parameters are often estimated using the joint maximum likelihood estimation (JMLE) or the marginal maximum likelihood estimation (MMLE). Then the ICC can be estimated using the estimated person parameters. However, by using the generalized linear mixed model (GLMM) framework, the Rasch model analysis and the estimation of the ICC can be completed simultaneously. This study compared the recovery of the ICC under various conditions. The results showed that the ICC was accurately recovered by the multilevel Rasch as a GLMM approach. When the ICC was estimated following the latent ability estimation, the estimated parameters were negatively biased, and there was no substantial difference between the JMLE and MMLE approaches. When an analysis of variance was conducted to examine the factors affecting the estimation of the ICC, the number of groups was found to be the most significant factor. Cautions are needed because the ICC can be underestimated by up to .5 when the number of groups is large and the number of individuals within groups is small. Therefore, the multilevel Rasch model is recommended if item responses are available for a multilevel analysis. If item responses are unavailable, the results should be cautiously interpreted especially when the number of groups is large.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구방법

Ⅳ. 결과

Ⅴ. 결론 및 논의

참고문헌

키워드

급내상관계수 다층 라쉬 모형 일반화선형혼합모형 intraclass correlation multilevel Rasch model generalized linear mixed model