베이지안 방식의 데이터 증강을 이용한 지도학습 기반 인지진단평가 연구

• 영문명: Cognitive Diagnostic Assessment with Supervised Learning Using Bayesian-based Data Augmentation
• 발행기관: 학습자중심교과교육학회
• 저자명: 윤지영 김래영 유연주
• 간행물 정보: 『학습자중심교과교육연구』제23권 21호, 721~742쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2023.11.15

국문 초록

목적 본 연구에서는 베이지안 방식의 모수 추정 방식을 이용하여 전문가 진단 데이터 세트를 증강시켜 지도학습 기반 인지진단평가에 적용하는 방안을 제안하고 그 성능을 확인하고자 한다. 방법 이를 위하여 모의실험으로 ‘문항의 질’, ‘전문가 진단 오류율’, ‘전문가 진단 데이터 세트의 크기’, ‘증강 데이터 세트의 크기’ 네 가지 요인에 대한 ‘베이지안 기반 증강 데이터 세트’와 ‘전문가 진단 데이터 세트’로 학습시킨 인공신경망의 진단 정확도를 비교 분석을 진행한다. 또한, 서울 소재 중학생 936명을 대상으로 한 일차방정식과 일차부등식 검사자료에 적용하여 그 결과를 분석한다. 결과 ‘베이지안 기반 증강 데이터 세트’를 이용한 지도학습의 성능은 증강 이전의 ‘전문가 진단 데이터 세트’만 이용했을 때보다 모든 조건에서 유의미하게 개선되었으며, 전문가 진단 데이터 세트의 진단 오류율과 크기가 미치는 영향은 거의 없었다. 문항의 품질이 높을수록, 증강 데이터 세트의 크기가 클수록 정확도가 높아졌으나 증강 데이터 세트의 크기가 N=3,000 이상에서는 큰 차이가 없음을 확인하였다. 일차방정식과 일차부등식 검사자료에서도 ‘베이지안 기반 증강 데이터 세트’를 이용한 지도학습의 성능이 ‘전문가 진단 데이터 세트’만 이용했을 때보다 더 개선된 정확도를 보였으며, 학생들이 등식을 부등식보다, 일차방정식의 풀이를 일차부등식의 풀이 보다 잘 이해하고 있음을 확인했다. 결론 크기가 150 이하인 전문가 진단 데이터 세트를 사용하여 지도학습 기반 인지진단을 수행할 때, 베이지안 기반 데이터 증강 방식을 통해 진단의 성능을 향상시킬 수 있다. 더불어, 실제 학생들은 방정식보다 부등식을 더 어려워하는 경향이 있어 부등식과 관련된 인지요소를 숙달할 수 있는 기회의 필요성을 보여준다.

영문 초록

Objectives The purposes of this study were to propose and validate a method for applying supervised learning for cognitive diagnostic assessment by augmenting expert-labeled dataset using Bayesian parameter estimation techniques. Methods The method was evaluated with a simulation study and an application to real data. The simulation study was conducted to compare the diagnostic accuracy of neural networks trained with both ‘Bayesian-based aug-mented dataset’ and ‘expert-labeled dataset’ across four factors: ‘item quality’, ‘expert labeling error rate’, ‘size of the expert labeled dataset’, and ‘size of the augmented dataset’. Additionally, the real data consists of the binary responses of 936 middle-school students to 24 arithmetic problems on linear equations and linear inequalities. Results The performance of supervised learning trained on the ‘Bayesian-based augmented dataset’ showed significant improvements in all conditions compared to solely using the ‘expert-labeled dataset’. The effect of the labeling error rate and the size of the expert-labeled dataset was trivial. As the quality of the items increased and the size of the augmented dataset grew, accuracy improved, though beyond a certain size N=3,000 of the aug-mented dataset, the difference was negligible. For the real data on linear equations and inequalities, supervised learning trained on the ‘Bayesian-based augmented dataset’ showed enhanced accuracy over just on the ‘ex-pert-labeled dataset’. It is also evident that students understand solving linear equations better than solving linear inequalities. Conclusions When performing supervised learning based cognitive diagnosis with a small expert-labeled data-set, the diagnostic performance can be enhanced through Bayesian-based data augmentation method. Moreover, students tend to find understanding inequalities more challenging than equations, suggesting the need for opportunities to master cognitive attributes related to inequalities.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 지도학습 인지진단평가를 위한 베이지안 방식의 데이터 증강

Ⅳ. 모의실험 연구

Ⅴ. 일차방정식과 일차부등식 검사

Ⅵ. 결론 및 제언

참고문헌

키워드

인지진단평가 데이터 증강 베이지안 지도학습 일차방정식과 일차부등식 cognitive diagnostic assessment data-augmentation Bayesian supervised learning linear equations and linear inequalities