DINA 모형을 통한 피험자 능력 추정의 정확성 연구: MCMC와 MMLE/EM 알고리듬의 비교를 중심으로

• 영문명: A study on the accuracy of examinee ability estimation under the DINA model: focused on the comparison between MCMC and MMLE/EM algorithms
• 발행기관: 한국교육방법학회
• 저자명: 심혜진, 강태훈
• 간행물 정보: 『교육방법연구』제27권 제3호, 307~327쪽, 전체 21쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2015.08.31

국문 초록

본 연구에서는 DINA 모형의 모수를 추정할 수 있는 알고리듬인 MCMC와 MMLE/EM 각각에 대하여 피험자 능력 추정의 정확성 측면에서 결과를 비교하고자 하였다. 모의실험 연구를 통하여 각 피험자의 진(true) 숙달여부를 알고 있는 상황 하에서 자료를 생성하고, 이에 대한 분석을 통하여 숙달여부 추정의 정확성 즉 분류정확성을 확인할 수 있었다. 모의실험 요인으로는 검사길이 및 인지요소들 간 상관계수의 크기 등을 고려하였다. MCMC를 사용하여 DINA 모형을 다룰 수 있는 WinBUGS 프로그램의 경우, 연구자에 의한 자유로운 프로그램 작성 및 도출 결과의 선택이 가능하기 때문에, 개별 피험자의 각 인지요소별 숙달확률 및 숙달여부에 관한 추정치를 모두 구할 수 있었다. 하지만 MMLE/EM을 통하여 모수를 추정하는 Ox 프로그램은 DINA 모형을 다룸에 있어서 추정 결과로서 각 인지요소의 숙달여부만 제공하는 것으로 나타났다. 연구 결과, 피험자의 인지 능력을 평가하기 위하여 능력 관련 추정치를 제공하고자 할 때, 숙달확률보다는 숙달여부를 사용하는 것이 보다 타당한 선택임을 확인할 수 있었다. 또한 숙달여부 복원과 관련하여, WinBUGS에 의한 능력모수 추정 결과보다 Ox가 보다 안정적이고 정확한 결과를 산출하는 것으로 나타났다. 또한 많은 모의실험 조건에서 검사길이가 증가하면 분류정확성이 높아지는 경향이 있었다. 마지막으로, 모든 인지요소의 숙달여부 즉 전체 숙달 패턴이 정확하게 복원되는지를 살펴보는 경우 인지요소 간의 상관이 높을수록 분류정확성이 높아짐을 확인할 수 있었지만, 인지요소 간 상관 정도와 개별 인지요소 숙달여부의 분류정확성 간에는 뚜렷한 연관성이 없는 것으로 나타났다.

영문 초록

This study is to investigate the accuracy of ability parameter estimates based on the DINA model using MCMC and MMLE/EM algorithms through several simulation conditions, focusing on the two kinds of results such as mastery probability and mastery state. The former can be performed by the WinBUGS program, and the latter can be utilized using the Ox program which provides information only on mastery state of each attribute. In a simulation study to evaluate the accuracy of ability recovery, two factors such as the test lengths and the correlations among cognitive attributes were considered together. The results show that if one has to choose between mastery state and mastery probability to evaluate examinee’s cognitive ability, presenting mastery state rather than mastery probability can be safer choice. Comparing the performances of MCMC and MMLE/EM algorithms in terms of classification accuracy, the latter appears to provide consistently better estimates than the former. Moreover, the result suggests not only that the longer test length is given, the larger classification accuracy tends to be obtained, but also that accuracy classification results at the whole-pattern level increases when the correlations between attribute are higher. Such relationship between the correlations and classification accuracy, however, was not found when the recovery is evaluated in terms of the mastery on each individual attribute.

키워드

DINA, MCMC, MMLE/EM, 숙달확률, 숙달여부, WinBUGS, Ox, 분류정확성, mastery state, mastery probability, classification accuracy