텍스트 마이닝 기법을 활용한 대학생 세계이해 논술형 평가 답안의 수행 수준별 특성 분석

• 영문명: Text-mining Analyses of Undergraduates’ Essays on Global Perspectives by Performance Levels in Korea
• 발행기관: 한국교육평가학회
• 저자명: 함은혜 유예림
• 간행물 정보: 『교육평가연구』제35권 제4호, 687~717쪽, 전체 31쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2022.12.31

국문 초록

이 연구는 텍스트 마이닝 기법을 활용하여 대학생의 세계이해 논술형 평가 답안의 수행 수준별 특성을 탐색하기 위한 것이다. 이를 위해 글로벌 환경의 상호의존성과 국가 간 이해관계 분석에 초점을 맞추어 논술형 평가를 시행하였으며, 채점 결과에 따라 답안을 상, 중, 하의 3개 수준으로 구분하였다. 수행 수준별 답안에 대한 키워드 빈도 분석과 키워드 네트워크 분석 결과는 다음과 같다. 첫째, 하 수준에서는 지시문에 제시된 단어와 지구온난화에 대한 당위적 대응을 기술하는 단어가 자주 등장한 반면, 상 수준에서는 국가 간 입장 차이와 갈등, 기술을 활용한 초국가적 대응에 대한 구체화․세분화된 단어가 자주 등장하였다. 둘째, 하 수준에서는 단어 간 가중 연결중심성 지수의 편차가 크고 단어 간 거리는 먼 반면, 상 수준에서는 단어 간 가중 연결중심성 지수의 편차는 작고가중 매개중심성이 높은 단어들을 중심으로 단어들이 긴밀하게 연결․확장되는 양상을 보였다. 셋째, 논술형 평가 답안의 세부 논의 구조를 파악하는 데에는 모든 수준에서 바이그램 네트워크 분석이 효과적이었다. 끝으로 논술형 평가 답안에서 피험자 수행의 질적 차이를 분석하기 위한 텍스트 마이닝 활용의 유용성과 향후 과제를 논의하였다.

영문 초록

This study aims to illustrate how text-mining can be employed to identify key qualities of student performance on essays according to different performance levels. A total of 111 undergraduates’ essays on ‘climate change and transnational cooperation’ were classified into the upper, middle, and lower levels based on scores. The main findings from keyword frequency and network analyses are as follows. First, the contents of frequently used words were different across the performance levels. In the upper-level answers, the frequency of keywords used to analyze conflicts of interest between countries and to suggest cross-border responses using technology was high. In contrast, in the lower-level answers, everyday words often appeared to describe the need to respond to climate crisis. Second, in the upper-level answers, the weighted degree of centrality was similar across keywords, and the connections between keywords were stronger. While in the lower-level answers, the opposites were observed. Third, bigram network analysis was effective at all levels in identifying the structure of detailed discussions of essays. The usefulness and future directions of using text mining to analyze the qualitative difference in the subjects’ performance in essay assessment were discussed.

목차

Ⅰ. 서론

Ⅱ. 선행연구 분석

Ⅲ. 연구 방법

Ⅳ. 연구 결과

Ⅴ. 논의 및 결론

참고문헌

키워드

텍스트 마이닝 논술형 평가 키워드 네트워크 분석 세계이해 글로벌 역량 Text-mining Essay assessment Keyword network analysis Global perspective Global competence