ChatGTP API 활용 인공지능 논･서술형 자동채점 프로그램 개발 실행연구

• 영문명: Action Research on the Development Program of ChatGPT Automated Scoring Method Program for Essay Evaluation
• 발행기관: 부산대학교 교육발전연구소
• 저자명: 임종한 임종헌
• 간행물 정보: 『교육혁신연구』제34권 제1호, 349~370쪽, 전체 22쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2024.03.31

국문 초록

연구목적: 인공지능 기술이 급격히 발달하면서 교육 분야에 인공지능을 적용하는 논의가 이어지고 있다. 본 연구는 인공지능을 활용하여 정답이 없는 논･서술형 문항을 자동채점 하는 프로그램을 개발하고, 그 개발 과정을 기록 및 해석하기 위해 수행되었다. 연구방법: 연구자와 실천가가 일체화 되는 참여적 실행연구 방법을 활용하였으며, OpenAI가 주최하는 해커톤 대회에 참여하여 전문가들의 피드백을 받으며 프로그램 프로토타입을 개발하였다. 연구결과: 교사가 설정한 루브릭에 따라 논･서술형 답안을 채점하고 평가 점수 및 평가 의견을 제공하는 ｢평가하는 AI(v1.0)｣을 개발하였다. 또한 해커톤 대회 동안 전문가들의 코멘트를 반영하여 개인별 특성을 가진 AI평가교사를 생성하여 교차 채점이 가능한 ｢평가하는 AI(v2.0)｣를 개발하였다. 논의 및 결론: 본 실행연구를 통하여 인공지능이 평가 루브릭을 이해하고 평가 루브릭을 반영하여 채점할 수 있다는 점, 학교 교사와 유사한 특성의 AI평가교사를 설계할 수 있다는 점, 다수의 AI평가교사를 생성하고 교차 채점을 진행함으로써 오류를 줄일 수 있다는 점, AI평가교사의 채점자 내 신뢰도가 높다는 점 등을 논의하였다. 아울러, 대규모 논･서술형 평가 상황에서 AI의 딥러닝 구동 방식을 활용하여 대량의 답안을 먼저 AI에게 학습시킨 후 본 평가를 진행하는 실행연구, 교사가 수업에서 AI 자동채점 프로그램을 활용하는 수업 실행연구, 질적 자료를 코딩하는 프로토타입 개발 실행연구 등의 후속 연구를 제언하였다.

영문 초록

Purpose: With the rapid development of AI technology, discussions on applying AI in the field of education are ongoing. This research aims to develop a program utilizing AI for the automatic scoring of essay-type items without definite answers. Method: The research was the participatory action research method, which integrates researchers and practitioners. Participation in OpenAI-sponsored Hackathon competitions allowed for continuous improvement of the program prototype based on feedback from experts. Results: ｢Evaluative AI(v1.0)｣ was developed, capable of generating assessment scores and comments for essay-type answers according to user-defined rubrics. Additionally, ｢Evaluative AI(v2.0)｣ was developed to reflect experts’ comments at the Hackathon competition, creating ‘AI evaluation teachers’ with individual characteristics, and comparing scores with human scorers. Conclusion: Through the research, several possibilities were proposed: the ability of AI to understand evaluation rubrics and score by reflecting them, the ability to design ‘AI evaluation teachers’ similar to school teachers, the high intra-rater reliability of ‘AI evaluation teacher’; and the reduction of errors through cross-evaluating by multiple ‘AI evaluation teachers’. In addition, a couple of suggestions for the future action research were proposed: research that first train AI a large number of essay-type answers before conducting main essay evaluations, research exploring how teachers utilize AI automatic scoring programs in class, and research for developing the program prototype for coding qualitative data.

목차

Ⅰ. 들어가며

Ⅱ. 이론적 배경

Ⅲ. 연구 방법 및 연구 과정

Ⅳ. ChatGPT API 활용인공지능논･서술형자동채점프로그램 개발과정및결과

Ⅴ. 논의: ChatGPT API 활용 논･서술형 자동채점 프로그램의 교육적 의미

참고문헌

키워드

실행연구 논･서술형 평가 인공지능 ChatGPT OpenAI Action research essay-type evaluation AI ChatGPT OpenAI