교양교육을 위한 인공지능 활용 서·논술형 평가 및 피드백 적용 사례

• 영문명: Case of Application of Essay-type Evaluation and Feedback Using Artificial Intelligence for Liberal Arts Education: Focusing on the basic liberal arts course ‘Understanding Sustainable Development Goals’
• 발행기관: 한국교양교육학회
• 저자명: 하민수(Minsu Ha) 신철균(Cholkyun Shin)
• 간행물 정보: 『교양교육연구』제18권 제2호, 11~22쪽, 전체 12쪽
• 주제분류: 복합학 > 학제간연구
• 파일형태: PDF
• 발행일자: 2024.04.30

국문 초록

본 연구의 목적은 대학의 대규모 온라인 교양 강좌에서 인공지능 서술형 평가와 피드백 시스템을 적용한 사례의 결과를 밝힘에 있다. 이를 위해 A대학 2,600명의 학생이 수강하는 ‘지속가능발전의이해’ 온라인 교양 강좌를 대상으로 학생들이 수행한 서술형 평가의 결과와 만족도를 조사하여 분석하였다. 연구 방법으로는 학생의 참여율의 변화를 확인하기 위한 빈도 분석과 트라젝토리 분석을 실시하였고, 학생들의 서술형 평가 응답 경향을 군집화하기 위하여 요인 분석을 활용하였다. 분석 결과 첫째, ‘지속가능발전의 이해’를 수강한 학생들은 14주차가 되어도 60%의 이상이 참여하였고, 10회 이상 참여한 학생이 70%가 넘었다. 둘째, 학생들의 평가 점수는 1주차에는 비슷한 점수대를 보이다가 14주가 되면서 점수의 폭이 커졌다. 그리고, 한 학기 강의 중간 지점인 7주차를 중심으로 점수차가 역전되는 집단이 있어, 유의 깊게 학생들의 학습 관리를 해줘야 하는 시기와 집단을 확인할 수 있었다. 셋째, 학생들의 AI 기반 퀴즈에 대한 만족도를 살펴봤을 때 AI 기반 퀴즈에 대한 자신의 적극적 참여도는 86.6%, AI 기반 퀴즈의 유용도는 83.1%가 긍정적으로 응답하였다. 한편, AI 기반 퀴즈의 다른 교양에 확대 도입과 동기부여 정도는 긍정적 비율이 각각 52.6%, 61.5%로 상대적으로 낮았지만, 부정적 비율 19.6%, 11.8%에 비해서는 월등히 높았다. 이러한 결과를 통해 학생 개별적으로 피드백을 제공하는 인공지능 활용 서술평 평가 피드백 시스템은 학생들의 학습 관리와 교양 강좌의 질 관리 측면에 시사점이 있음을 확인할 수 있었다. 향후 대규모 온라인 교양 강좌에서 학습자의 학습 충실도 제고와 학생들의 학업 유지율을 높이기 위해서 평가 피드백 시스템에 대한 관심과 개선이 필수적이며, 이는 서술형 평가가 요구되는 다른 교양 강좌에서도 활용이 확대될 수 있을 것이다.

영문 초록

The purpose of this study is to reveal the results of cases where artificial intelligence descriptive evaluation and feedbacksystems were applied in large-scale online liberal arts lectures at universities. For this purpose, we investigated and analyzedthe results and satisfaction of descriptive evaluations conducted by students in the online liberal arts course ‘UnderstandingSustainable Development’ taken by 2,600 students at University A. As a research method, frequency analysis and trajectoryanalysis were conducted to confirm changes in student participation rates, and factor analysis was used to cluster and comparestudents' narrative evaluation response trends. As a result of the analysis, first, more than 60% of the students who tookthe ‘Understanding Sustainable Development’ course participated even after the 14th week, and more than 70% of the studentsparticipated more than 10 times. Second, the students' evaluation scores showed a similar score range in the first week,but the range of scores increased as the 14th week progressed. In addition, there was a group whose score difference reversedaround the 7th week, the midpoint of a semester's lectures, so it was possible to identify both the period and the groupin which the students' learning needs to be carefully managed. Third, when looking at students' satisfaction with AI quizzes,86.6% responded positively regarding their active participation in AI-based quizzes, and 83.1% responded positively regardingthe usefulness of AI-based quizzes. Meanwhile, the degree of motivation and expansion of AI-based quizzes into other liberalarts classes was relatively low at positive rates of 52.6% and 61.5%, respectively, but was much higher than the negativerates of 19.6% and 11.8%. Through these results, this study confirmed that the artificial intelligence-based narrative evaluationfeedback system that provides feedback to individual students has implications in terms of student learning managementand quality management of liberal arts courses. In order to improve learners' learning fidelity and increase their academicretention rate in large-scale online liberal arts lectures in the future, interest in and improvement of the evaluation feedbacksystem is essential, and its use can be expanded to other classes that require descriptive evaluation.

목차

1. 서론

2. ‘지속가능발전의 이해’ 교양 강좌 운영

3. 연구 방법

4. 연구 결과 및 논의

5. 결론

키워드

대학 온라인 교양 강좌 서·논술형 평가 피드백 인공지능(AI) University Online Liberal Arts Lectures Written & Essay Evaluation Feedback Artificial Intelligence (AI)