보상성 및 비보상성 가정을 평가하기 위한 모형선택지수의 활용가능성 탐색:

• 영문명: Performance of the model selection indices assessing compensatory and non-compensatory assumptions: focusing on the comparison of DINA and DINO models
• 발행기관: 한국교육평가학회
• 저자명: 김명연(Kim, Myungyeon) 강태훈(Kang, Taehoon)
• 간행물 정보: 『교육평가연구』제29권 제3호, 383~404쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2016.09.30

국문 초록

다차원적 능력을 측정하는 검사 자료를 분석할 때, 연구자는 능력 상호 간의 관계에 대하여 우선 보상성 혹은 비보상성 가정 중 하나를 선택해야 하며 이에 따라 자료 분석을 위한 심리측정 모형 결정에 영향을 받게 된다. 주어진 검사 자료 분석을 위한 적절한 모형의 선택은 물론 다수 인지요소 간의 관계에 대한 이론적 배경 및 내용 전문가들의 판단에 상당 부분 의존한다. 하지만 이러한 선택 상황에 있어서 통계적 판단 근거가 함께 제공될 수 있다면 매우 유용한 정보가 될 것이다. 본 연구에서는, 보 상성 가정과 비보상성 가정에 대한 양자택일적 판단이 필요한 상황에서, 양적인 방법으로서 모형선택 지수를 참고할 수 있을 것이라는 가설 하에서 그 활용가능성을 탐색하고자 하였다. 이를 위하여, 대표적 비보상적 모형인 DINA와 보상성 모형인 DINO 비교를 중심으로 모의실험 연구를 수행하였다. 두종류의 실제 검사 자료의 문항모수를 자료 생성 모수로 사용하였으며 검사 길이, 인지요소 간 상관계수의 크기, 생성 모형 등을 모의실험 요인으로 고려하였다. 각 모의실험 자료에 대하여, 모형선택지수중 AIC, BIC, CVLL을 계산하여 주어진 자료를 어느 모형이 보다 효율적으로 설명할 수 있는지를 조사하였다. 연구 결과 CVLL은 모든 조건에서 진 모형을 정확하게 선택하고 있는 것으로 나타나 가장 안전하게 활용할 수 있는 모형선택지수임을 알 수 있었다. 마지막으로 이와 같은 결과에 대한 논의와 함께 본 연구의 제한점 및 향후 연구 방향에 대하여 제시하였다.

영문 초록

When analyzing a given dataset of an educational test measuring multidimensional abilities, researchers need to choose one of compensatory and non-compensatory assumptions and, accordingly, come to decide what is the most appropriate psychometric model. Of course, the theoretical background on the relationships among cognitive attributes and opinions from content experts primarily influence on such model selection decision. In this kind of situation, however, if statistics-based guidance could be additionally provided it would be very useful information. This study, in situations where the alternative selection between the two assumptions was required, was to explore the applicability of quantitative model selection methods. For this purpose, a simulation study was carried out focusing on the comparison of DINA and DINO models. Two different real test datasets were calibrated with each model, and the estimated parameters were used as generating parameters to generate simulation data. The simulation study included test lengths, amounts of correlation among abilities, generating models and so on as its factors. For each simulation data, various model selection indices such as AIC, BIC, and CVLL were calculated under the uses of DINA and DINO models. The results showed that CVLL could choose the more appropriate models with high levels of accuracy at all the simulation conditions. Discussions of the findings were provided, followed by limitations of this study and directions of future studies.

키워드

보상성 비보상성 인지진단모형 DINA DINO AIC BIC CVLL compensatory assumption non-compensatory assumption cognitive diagnostic model DINA DINO AIC BIC CVLL