VQA 기반의 확률론적 시각적 질문 답변 모델

• 영문명: A Probabilistic Visual Question Answering Model Based VQA
• 발행기관: 한국컴퓨터게임학회
• 저자명: Manva Trivedi Sabah Mohammed
• 간행물 정보: 『한국컴퓨터게임학회논문지』제35권 3호, 65~73쪽, 전체 9쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2022.09.30

국문 초록

시각적 데이터는 도처에 존재하며 자연어는 인간이 이해할 수 있는 의사소통 수단이다. VQA(Visual Question Answering)는 이미지를 이미지에 대한 입력과 질문으로 취하고 복잡한 추론을 사용하여 자연어 답변을 생성하는 시스템이다. 따라서, VQA는 답을 예측하기 위해 이미지에 대한 자세한 이해와 복잡한 이유가 필요하다. 멀티모달 구조와 가능한 실제 구현을 고려할 때, VQA는 인공지능에게 매우 중요한 과제이다. VQA를 위한 심층 신경망에 사용되는 아키텍처와 하이퍼 파라미터는 결과에 큰 영향을 미친다. 이 프로젝트는 이미지 특징을 추출하기 위해 사전 훈련된 모델(VGGNet)과 단어를 내장하기 위해 Word2Vec를 도입하고 질문에서 단어 특징을 얻기 위해 LSTM을 도입하고 결과를 결합한 후 가장 높은 확률을 가진 답을 예측한다.

영문 초록

Visual data is present everywhere and natural language is a way of communication understandable to humans. Visual Question Answering (VQA) is a system which takes image as an input and a question about the image and generates a natural language answer using complex reasoning. Thus, a VQA needs detailed understanding of the image and complex reason to predict the answer. Given its multimodal structure and possible real-world implementations, VQA is a challenge of critical importance for artificial intelligence. The architectures and hyperparameters used in deep neural networks for VQA have a big impact on their results. This project introduces a pretrained model (VGGNet) to extract image features and Word2Vec to embed the words and LSTM to get word features from the question and after combining the results will predict the answer having highest probability.

목차

1. Introduction

2. Literature Review

3. Research Methodology

4. Analysis and Evaluation

5. Conclusion

References

키워드

Visual Question Answering VQA VGGNet RNN Natural Language Processing LSTM Word embeddings feature extraction