온라인 평가 전략 상담 챗봇 개발 및 사용성 평가

• 영문명: Development of an Online Assessment Strategy Consultation Chatbot and Usability Test
• 발행기관: 한국열린교육학회
• 저자명: 이정원(Lee, Jeongwon) 김동호(Kim, Dongho)
• 간행물 정보: 『열린교육연구』열린교육연구 제29권 제3호, 31~53쪽, 전체 23쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2021.05.31

국문 초록

온라인 수업이 확대되고 있는 시점에서 온라인 교수자는 온라인 학습자를 효과적으로 평가하기 위해 온라인 수업 환경에 적합한 평가 전략을 활용하여야 한다. 이에 본 연구는 온라인 교수자들이 온라인 평가 전략을 습득하기 위한 학습 도구로 온라인 평가 전략 상담 챗봇을 개발하고자 하였다. 이 연구는 설계·개발 연구 방법(Richey & Klein, 2012)을 활용하여 온라인 교수자가 온라인 평가에 관한 질문을 하면 질문의 의도를 파악하여 적절한 온라인 평가 전략을 알려주는 대화형 챗봇을 개발하였다. 온라인 평가 이슈 사항과 온라인 평가 전략을 도출하기 위하여 문헌 검토를 실시하였고, 전문가에게 전략의 타당성을 확인받았다. 도출된 온라인 평가 전략을 활용하여 챗봇 프로토타입을 개발하였으며, 대학 교수자와 예비교사를 대상으로 사용성 평가를 실시하여 프로토타입의 주요 장점과 개선점을 파악하였다. 대학 교수자와 예비교사 모두 전반적으로 프로토타입을 긍정적으로 인식하였으며, 사용성 평가에서 확인된 개선점을 반영하여 챗봇을 보완하였다. 본 연구에서 개발된 챗봇은 온라인 교수자가 온라인 평가에 대한 궁금증이나 문제점을 즉각적이고 자율적으로 해결할 수 있도록 돕고, 궁극적으로 온라인 교수자가 온라인 수업을 성공적으로 운영하는 데 기여할 수 있을 것이다. 이러한 연구의 결과를 바탕으로 교육용 챗봇의 활용 가능성과 향후 교육용 챗봇의 개발을 위한 시사점을 제언하였다.

영문 초록

In the era where online education is expanding, for effectively assessing online learners in online courses, online instructors should apply assessment strategies that fit for online environments. In this study, we developed a chatbot to help online instructors use assessment strategies for effective online teaching. Specifically, we adopted the design and development research procedure suggested by Richey and Klein (2012), in order to develop a conversational chatbot. The chatbot was intended to inform online instructors of assessment strategies by classifying instructors’ questions into pre-determined intent. To obtain reliable data for training the chatbot, we first conducted an extensive review of literature and derived online assessment strategies aligned with a range of online instructional contexts. The strategies were then validated by a group of experts. A prototype of the chatbot was developed by using the identified strategies, then an usability test was conducted on university instructors and pre-service teachers to collect users’ opinions and improvement points. Overall, both university instructors and pre-service teachers positively evaluated the prototype. The chatbot was finally developed by incorporating the participants’ feedback obtained from the usability test. The chatbot developed in this study is expected to support online instructors to handle various assessment issues in online learning environments, which will, in turn, improve online learning environments. Based on our findings, we discussed the implications of this study for further research and practice.

목차

Ⅰ. 서론

Ⅱ. 이론적 배경

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 논의 및 결론

키워드

챗봇 온라인 평가 전략 온라인 교수자 설계·개발연구 chatbot online assessment strategies online instructors design and development research