A Study of Implementing a Real-Time Digital Human System Using Generative AI and Unreal Engine

• 발행기관: 한국컴퓨터게임학회
• 저자명: 조옥희(Ok-Hue CHO) 유해영(Hye Young YOO)
• 간행물 정보: 『한국컴퓨터게임학회논문지』제37권 4호, 220~230쪽, 전체 11쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2024.12.31

국문 초록

본 연구는 생성적 AI와 언리얼 엔진의 MetaHuman 기술을 통합하여 고급 실시간 디지털 휴먼시스템을 구현하는 것을 탐구한다. Inworld AI의 NPC 시스템 및 NVIDIA의 Avatar Cloud Engine과 같은 기존 기술 통합 사례를 분석하여 연구에 참고하였으며, MetaHuman의 시각적 사실성과 생성적 AI의 동적 행동을 결합한 새로운 아키텍처를 제안한다. 연구 방법론은 캐릭터 제작, AI 모델 통합, 실시간 성능 최적화를 다루고 있다. 시스템은 렌더링 품질, AI 응답 정확도, 사용자 경험을 기준으로 평가되었으며, 그 결과 이러한 통합이 보다 반응성 높고 사실적인 디지털 휴먼을 구현할 잠재력을 입증했다. 본 연구는 게임, 교육, 가상 비서 분야에서의 시사점을 논의하고, 현재의 한계점과 향후 연구 방향을 제시한다. 이를 통해 첨단 AI 기능과 최첨단 실시간 렌더링을 결합한 프레임워크를 제공하여 지능형 가상 캐릭터 개발을 한 단계 발전시키는 데 기여하고자 한다.

영문 초록

This study explores the integration of generative AI with Unreal Engine's MetaHuman technology to create an advanced real-time digital human system. We analyze existing implementations combining these technologies, including Inworld AI's NPC system and NVIDIA's Avatar Cloud Engine, to inform our research. We propose a novel architecture that leverages MetaHuman's visual fidelity and generative AI's dynamic behavior. Our methodology covers character creation, AI model integration, and optimization for real-time performance. The system is evaluated based on rendering quality, AI response accuracy, and user experience. Results demonstrate the potential of this integration for creating more responsive and lifelike digital humans. We discuss implications for gaming, education, and virtual assistants, addressing current limitations and proposing future research directions. This study contributes to the field by providing a framework for combining advanced AI capabilities with state-of-the-art real-time rendering, advancing the development of intelligent virtual characters.

목차

1. Introduction

2. Related Study

3. Analysis of MetaHuman and Generative AI Integration Cases

4. Development

5. Conclusion

Acknowledgement

Reference

키워드

MetaHuman Generative AI Unreal Engine