근접 정책 최적화 기반의 적 대공 방어 위협하 수리온 에이전트의 최적 기동경로 도출 연구

• 영문명: Proximal Policy Optimization Reinforcement Learning based Optimal Path Planning Study of Surion Agent against Enemy Air Defense Threats
• 발행기관: 한국시뮬레이션학회
• 저자명: 김재환(Jae-Hwan Kim) 김종환(Jong-Hwan Kim)
• 간행물 정보: 『한국시뮬레이션학회 논문지』제33권 제2호, 37~44쪽, 전체 8쪽
• 주제분류: 공학 > 기타공학
• 파일형태: PDF
• 발행일자: 2024.06.30

국문 초록

한국형 헬기 개발사업의 성공적인 결과로 인하여 노후화된 UH-1및 500MD 헬기를 대체하는 수리온(Surion)에 대한 연구가 활발히 진행되고 있다. 특히, 높은 기동성을 보유한 수리온은 미래 전장에서의 병력수송 및 특수작전 등 다양한 임무를 수행할 것으로 예상되며 이를 지원하기 위한 저고도 전술기동 능력이 요구되고 있다. 그러나 수리온 운용시, 대공 위협 요소를 고려한 최적 저고도 전술기동에 대한 연구는 아직까지 미흡한 실정이다. 본 연구는 강화학습 기반의 알고리즘 중에 하나인 Proximal Policy Optimization(PPO) 알고리즘과 적 대공위협을 고려하여 수리온이 작전 목표지역까지 도달하도록 하는 저고도 상에서의 최적화된 기동 경로를 산출하는 방법론을 제안한다. 이를 위해, Unity 환경과 ML-Agents 라이브러리 상에서 실사화된 수리온 모델을 기초로 약 2×107 회의 강화학습을 진행하였고, 제안하는 방법을 적용하여 수리온의 최단시간 및 최소피해를 달성하는 최적 저고도 전술기동 경로를 산출하는 정책을 도출하였다. 그 결과, ‘최단 시간’ 및 ‘최소 피해’라는 두 가지 기준을 충족하는 최적 경로가 도출되었다. 본 연구의 결과는 수리온 및 수리온 무인체계를 운용하는 다양한 작전에 활용되어 기동계획을 수립할 시 기동성, 작전성공율, 그리고 생존율을 예측하는데 보탬이 되기를 기대한다.

영문 초록

The Korean Helicopter Development Program has successfully introduced the Surion helicopter, a versatile multi-domain operational aircraft that replaces the aging UH-1 and 500MD helicopters. Specifically designed for maneuverability, the Surion plays a crucial role in low-altitude tactical maneuvers for personnel transportation and specific missions, emphasizing the helicopter’s survivability. Despite the significance of its low-altitude tactical maneuver capability, there is a notable gap in research focusing on multi-mission tactical maneuvers that consider the risk factors associated with deploying the Surion in the presence of enemy air defenses. This study addresses this gap by exploring a method to enhance the Surion’s low-altitude maneuvering paths, incorporating information about enemy air defenses. Leveraging the Proximal Policy Optimization (PPO) algorithm, a reinforcement learning- based approach, the research aims to optimize the helicopter’s path planning. Visualized experiments were conducted using a Surion model implemented in the Unity environment and ML-Agents library. The proposed method resulted in a rapid and stable policy convergence for generating optimal maneuvering paths for the Surion. The experiments, based on two key criteria, “operation time” and “minimum damage,” revealed distinct optimal paths. This divergence suggests the potential for effective tactical maneuvers in low-altitude situations, considering the risk factors associated with enemy air defenses. Importantly, the Surion’s capability for remote control in all directions enhances its adaptability in complex operational environments.

목차

1. 서론

2. 본론

3. 결과 및 분석

4. 결론

References

키워드

수리온 최적경로 최단시간 최소피해 강화학습 Surion Optimal path PPO Operation time Minimum damage Reinforcement learning