인지진단이론의 학교 현장 적용 가능성 탐색: 모수 및 비모수적 접근 방법의 비교

• 영문명: Applicability of the Cognitive Diagnosis Theory to Small-scale Classroom Assessment Data: A Comparison of Parametric and Nonparametric Approaches
• 발행기관: 한국교육평가학회
• 저자명: 박세진(Sejin Park) 이현숙(Hyun Sook Yi)
• 간행물 정보: 『교육평가연구』제31권 제1호, 225~254쪽, 전체 30쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2018.03.30

국문 초록

본 연구의 목적은 인지진단이론의 학교 현장 적용 가능성을 탐색하기 위하여 소규모 표본에서 피험자 모수를 정확하게 추정하기 위한 모수 및 비모수적 방법의 정확성을 비교하는데 있다. 이를 위해 먼저 iNAEA 기초학력 진단평가에 DINA 모형의 MLE 방법, 가중해밍거리 방법을 적용하여 실제 사례 분석을 실시하였다. 그 결과 표본 크기가 작을 경우 DINA 모형에서는 모수 추정치가 제대로 산출되지 않 는 문제가 발생하였다. 가중해밍거리 방법의 경우 학생들의 인지요소 숙달 상태를 분류하는 것에는 문제가 없었으나, Q행렬 설정의 타당성이나 문항모수 추정의 합리성을 판단할 수 있는 정보를 얻을 수 없다는 한계가 있었다. 다음으로 경험 데이터 분석에서 발생한 문제점을 토대로 모수적 접근 방법과 비 모수적 접근 방법의 정확성을 보다 정교하게 비교하기 위하여 피험자의 수, 인지요소의 수, 문항의 진단성을 조건으로 모의실험을 실시하였다. 그 결과 소표본 상황에서는 문항의 진단성이 높을 경우 비모수적 방법이, 낮을 경우에는 모수적 방법이 피험자 모수를 더 정확하게 추정하는 것으로 나타났다. 또한 제한된 문항 수에 비해 추정해야 할 인지요소의 수가 증가할수록 피험자 모수 추정의 정확성이 떨어지는 것으로 나타났다.

영문 초록

The purpose of this study is to compare the accuracy of parametric and nonparametric methods of CDM for estimating examinees’ attribute profiles in order to explore the applicability of the cognitive diagnostic theory to small-scale classroom assessment. To achieve this goal, a real data analysis was carried out as a preliminary analysis by applying the maximum likelihood of DINA model and weighted Hammaing distance method to the iNAEA data. The DINA model did not yield accurate estimates of examinee parameters, which might have been caused by the small sample size. For the weighted Hamming distance method, the attribute mastery pattern of examinees was properly classified, but there was no empirical foundation to evaluate the accuracy of Q matrix or the validity of the test items. Therefore, as a next step, the accuracy of examinee parameter estimation was examined under various simulation conditions such as number of examinees, number of attributes, and item diagnosticity. The results showed that, in small sample situations, the nonparametric method performed better for tests with high level of diagnosticity, while the parametric method performed better for tests with low diagnosticity in estimating examinees attribute profiles. The accuracy of estimation decreased as the number of attributes was larger than the number of items deemed to be proper.

목차

Ⅰ. 서 론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 논의 및 결론

키워드

인지진단모형 DINA 모형 비모수적 분류 소규모 교실 평가 cognitive diagnosis model DINA model nonparametric classification small-scale classroom assessment