딥러닝 기법을 이용한 공공기관 설문조사 주관식 문항 활용방안에 관한 연구

• 영문명: A Study on the Utilization Strategies of Subjective Questions in Public Agency Surveys Using Deep Learning Techniques
• 발행기관: 한국자료분석학회
• 저자명: 공준석(Joon Suk Kong) 김유영(Yu Yeong Kim)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.25 No.6, 2187~2200쪽, 전체 14쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2023.12.31

국문 초록

본 연구의 목적은 공공기관 설문조사에서 주관식 문항의 포함 여부가 만족도 조사 결과에 미치는 영향을 딥러닝 기법을 통해 분석하는 데 있다. 매년 약 1,000여 개의 공공기관이 만족도 조사를 시행하고 있으나, 비교가능성을 위해 보편화된 설문을 사용함에 따라 구체적 정보의 확인에 한계를 보이며, 이에 대한 대안으로 주관식 문항이 활용되고 있다. 그러나 주관식 문항에 대한 분석은 분절적으로 이루어져, 실질적으로 만족도 조사에 활용되지 못하고 있다. 이와 같은 문제를 해결하기 위해 K-공공기관 만족도 조사 결과 약 1,500명의 데이터를 통해 주관식 문항의 활용방안을 탐색했다. RoBERTa 알고리즘을 통해 주관식 문항을 Embedding하고, XGBoost, 인공신경망, 로지스틱 회귀분석 등의 알고리즘을 활용하여 만족도 예측 결과를 비교했다. 실험 결과, 알고리즘에 따른 성능 차이는 일반적으로 알려진 것과 같이 Table data에서는 XGBoost의 성능이 우수한 것으로 나타났다. 하지만 주관식 문항을 포함할 때는 결과가 상이할 수 있음을 확인하였다. 나아가 주관식 문항을 포함하여 만족도 점수를 예측할 때 정확도(accuracy)와 재현률(recall)에 긍정적인 영향을 미칠 수 있음을 확인하였다. 따라서 딥러닝 기반의 분석 방법을 통해 주관식 문항의 복잡성과 다양성을 더욱 정확하게 반영할 수 있으며, 이를 통해 만족도 조사의 효과성과 투명성을 높일 수 있다고 기대된다.

영문 초록

The objective of this study is to assess the impact of incorporating subjective questions in public agency satisfaction surveys using deep learning techniques. Each year, around 1,000 public agencies carry out satisfaction surveys. Nevertheless, the reliance on standardized surveys for comparability restricts the gathering of nuanced information. In response, subjective questions have been introduced. Yet, the examination of these questions remains fragmented and hasn't been integrated into mainline satisfaction surveys. To address this gap, we evaluated feedback from roughly 1,500 participants associated with K-Public Agency. For handling these subjective questions, we leveraged the RoBERTa algorithm and employed a range of models, such as XGBoost, neural networks, and logistic regression. Preliminary findings underscore the effectiveness of XGBoost when dealing with structured data. Notably, its performance showed variations when considering subjective inputs. A significant finding was that integrating subjective questions enhanced both the accuracy and recall in predicting satisfaction levels. This indicates that deep learning offers a detailed interpretation of subjective inquiries, which elevates the overall quality of public satisfaction surveys.

목차

1. 서론

2. 이론적 배경

3. 연구설계

4. 분석결과

5. 결론

References

키워드

만족도 조사 Customer satisfaction survey XGBoost Neural network Logistic regression RoBERTa