학술논문
사전학습 모델 기반 발화 동영상 멀티 모달 감정 인식
이용수 19
- 영문명
- Multi-Modal Emotion Recognition in Videos Based on Pre-Trained Models
- 발행기관
- 한국스마트미디어학회
- 저자명
- 김은희(Eun Hee Kim) 신주현(Ju Hyun Shin)
- 간행물 정보
- 『스마트미디어저널』Vol13, No.10, 19~27쪽, 전체 9쪽
- 주제분류
- 공학 > 컴퓨터학
- 파일형태
- 발행일자
- 2024.10.31
4,000원
구매일시로부터 72시간 이내에 다운로드 가능합니다.
이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다.
국문 초록
최근 비대면 상담의 수요가 급증하면서, 텍스트뿐만 아니라 음성, 얼굴 표정 등 다양한 모달리티를 결합한 감정 인식 기술의 필요성이 강조되고 있다. 본 논문에서는 FER-2013, CK+, AFEW와 같은 기존 데이터셋의 외국인 중심, 감정 라벨 불균형 등의 문제를 해결하기 위해 한국어 동영상 데이터를 활용하고, 텍스트 모달리티를 기반으로 이미지 모달리티의 장점을 결합하여 동영상에서 멀티모달 감정 인식의 성능을 향상시키는 방법을 제안하고자 한다. 적은 데이터 학습 데이터로 인한 한계를 극복하기 위해 사전학습 모델을 활용하였는데, 텍스트는 GPT-4 기반의 LLM 모델을 적용하고, 얼굴 표정 이미지는 VGG-19 아키텍처 기반의 사전학습 모델을 파인튜닝하여 적용하였다. 사전 학습을 활용하여 추출된 각 모달리티별 감정 결과를 결합하여 대표 감정을 추출하는 방법은 텍스트에서 추출한 감정 정보와 동영상에서의 얼굴 표정 변화를 결합하는 방법으로 텍스트와 이미지 간 감정 불일치 상황에서 임곗값을 적용하여 텍스트 기반 감정을 신뢰할 수 있을 때 우선 선택하는 전략과 프레임별 감정 분포 정보를 활용하여 대표 감정을 조정하는 전략을 적용하여 기존 프레임별 감정 평균값을 사용하는 방법에 비해 F1-Score를 기준으로 19%의 성능을 향상시킬 수 있었다.
영문 초록
Recently, as the demand for non-face-to-face counseling has rapidly increased, the need for emotion recognition technology that combines various aspects such as text, voice, and facial expressions is being emphasized. In this paper, we address issues such as the dominance of non-Korean data and the imbalance of emotion labels in existing datasets like FER-2013, CK+, and AFEW by using Korean video data. We propose methods to enhance multimodal emotion recognition performance in videos by integrating the strengths of image modality with text modality. A pre-trained model is used to overcome the limitations caused by small training data. A GPT-4-based LLM model is applied to text, and a pre-trained model based on VGG-19 architecture is fine-tuned to facial expression images. The method of extracting representative emotions by combining the emotional results of each aspect extracted using a pre-trained model is as follows. Emotion information extracted from text was combined with facial expression changes in a video. If there was a sentiment mismatch between the text and the image, we applied a threshold that prioritized the text-based sentiment if it was deemed trustworthy. Additionally, as a result of adjusting representative emotions using emotion distribution information for each frame, performance was improved by 19% based on F1-Score compared to the existing method that used average emotion values for each frame.
목차
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 제안하는 방법
Ⅳ. 실험 및 결과
Ⅴ. 결론 및 제언
REFERENCES
해당간행물 수록 논문
- 스마트미디어저널 Vol13, No.10 목차
- 위험 주행 전동 킥보드 감지 프레임워크 연구
- 사전학습 모델 기반 발화 동영상 멀티 모달 감정 인식
- Comparison and analysis of CNN models to Address Skewed Data Issues in Alzheimer's Diagnosis
- 지속가능한 프로젝트 관리를 위한 프로젝트 제어 방안: 도로 침수 예방 사례 프로젝트를 중심으로
- 스마트팜 데이터를 활용한 오이 출하량 예측 시계열 모델 연구
- 3D 패션 시뮬레이션을 활용한 섹슈얼리티 기반의 리조트웨어 샘플 개발
- 스마트 축사내 상황인지 자율이동형 환경센서 개발 및 가축행동 분석에 관한 연구
- Adversarial Sample Generation and Training using Neural Network
- 무인 점포 실시간 이상 행동 감지를 위한 Transformer 기반지능형 CCTV 시스템
- 사회적 자본을 중심으로 찾아본 스마트도시 리빙랩의 성공 요인 분석
- 공서비스 공급 관점에서 살펴본 비의료 건강관리서비스 인증 시범사업과 의료민영화 논쟁
참고문헌
관련논문
공학 > 컴퓨터학분야 BEST
- 청소년들의 스마트폰 중독예방을 위한 이야기치료 집단상담 프로그램 개발
- 지도서비스를 이용한 위치 기반 관광 빅데이터의 시각화
- 광역 대중교통 접근성 향상이 관광 및 지역경제 활성화에 미치는 효과 분석
공학 > 컴퓨터학분야 NEW
- 스마트미디어저널 Vol13, No.11 목차
- YOLO 모델별 독성 해양 생물 탐지 성능 비교 및 스마트 수산 기술 적용 가능성 탐색
- 무인자동 양식어류 급이공급 시스템 개발 및 검증
최근 이용한 논문
교보eBook 첫 방문을 환영 합니다!
신규가입 혜택 지급이 완료 되었습니다.
바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!