향상된 유닛 생산과 게임 플레이 경험을 위한 스타크래프트 II 강화학습 AI

• 영문명: A Player-Like StarCraft II AI for Enhanced Fun and Diversity using Reinforcement Learning
• 발행기관: 한국컴퓨터게임학회
• 저자명: 구교승(Kyo Seoung KOO) 성한울(Hanul Sung)
• 간행물 정보: 『한국컴퓨터게임학회논문지』제36권 4호, 31~36쪽, 전체 6쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2023.12.31

국문 초록

기존의 스타크래프트II 내장AI는 미리 정의한 행동 패턴을 따르기 때문에 사용자가 전략을 쉽게 파악할 수 있어 사용자의 흥미를 오랫동안 유지시키기 힘들다. 이를 해결하기 위해, 많은 강화학습 기반의 스타크래프트II AI 연구가 진행되었다. 그러나 기존의 강화학습AI는 승률에만 중점을 두고 에이전트를 학습시킴으로써 소수의 유닛을 사용하거나 정형화 된 전략만을 사용하여 여전히 사용자들이 게임의 재미를 느끼기에 한계가 존재한다. 본 논문에서는 게임의 재미를 향상시키기 위하여, 강화학습을 활용하여 실제 플레이어와 유사한 AI을 제안한다. 에이전트에게 스타크래프트II의 상성표를 학습시키고, 정찰한 정보로 보상을 부여해 유동적으로 전략을 변경하도록 한다. 실험 결과, 사용자가 느끼는 재미와 난이도, 유사도 부분에서 고정된 전략을 사용하는 에이전트보다 본 논문에서 제안하는 에이전트가 더 높은 평가를 받았다.

영문 초록

The built-in AI in StarCraft II follows a predefined pattern of behavior patterns. This makes it easy for users to understand the AI's strategy without spending a lot of time, posing a challenge in maintaining user interest. To solve this problem, reinforcement learning AI has been developed for StarCraft II. But since theses studies focus on the win rate to train the agent, it provides monotonous strategies and misses the fun of the game. In this paper, we propose a player-like AI to improve the fun of the game by producing various units and adaptive strategies. To achieve this, we use reinforcement learning to train the agent the official counter list of StarCraft II and reward it based on the information of the opponent's scouting to make the agent change its strategy flexibly. The training is based on the “Zerg” race on the Simple64 map, and the opponent is the “Protoss” race. Based on the trained data, we evaluated the diversity of unit production, strategic unit production, etc. In addition, we had users play with the AI of existing work and the proposed AI, respectively. We then evaluated the fun and difficulty of the AI and its similarity to the player using a questionnaire. As a result, users rated the proposed AI higher than the fixed-strategy AI fin terms of fun, difficulty, and similarity.

목차

1. 서론

2. 관련 연구

3. 본론

4. 실험 및 평가

5. 결론

Reference

키워드

Game artificial intelligence Reinforcement learning StarCraft II Flexible strategy