게임 영상의 일러스트 스케치 표현을 위한 RCCL 기반의 GAN 구조 기법

• 영문명: An RCCL-based GAN for Illustrative Sketch Generation from Game Scenes
• 발행기관: 한국컴퓨터게임학회
• 저자명: 염지현(Jihyeon YEOM) 양희경(Heekyung YANG) 민경하(Kyungha MIN)
• 간행물 정보: 『한국컴퓨터게임학회논문지』제34권 1호, 1~8쪽, 전체 8쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2021.03.31

국문 초록

본 논문에서는 게임 입력 영상을 일러스트 스케치로 변환하는 GAN 기반의 프레임워크를 제시한다. 이 프레임워크는 HED(Holistically-Nested Edge Detection) 기법을 통해 게임 입력 영상의 윤곽선과 일러스트 스케치의 윤곽선을 추출하고, 추출한 윤곽선 간의 차이를 LPIPS(Learned Perceptual Image Patch Similarity) 기법으로 추정하는 완화된 순환 일치 손실 모듈을 적용한다. 이 모듈을 통해 게임 입력 영상과 일러스트 스케치의 윤곽선을 비교하여 명확한 선 표현에 집중한다. 또한 집중적으로 변환해야 하는 영역을 식별하기 위해 의미론적인 영역에 초점을 맞춘 어텐션 맵을 사용한다. 본 논문이 제시한 프레임워크는 스타일 추출 모듈, 생성자 모듈, 판별자 모듈 및 완화된 순환 일치 손실 모듈로 구성된다. 먼저 스타일 추출 모듈을 사용하여 일러스트 스케치 영상의 스타일을 추출한다. 다음으로 생성자 모듈을 사용하여 게임 입력 영상에서 추출한 스타일 어텐션 맵을 통해 일러스트 스케치를 생성한다. 생성된 일러스트 스케치 영상을 판별자 모듈을 통해 처리하여 생성된 일러스트 스케치의 품질을 측정한다. 또한 생성된 일러스트 스케치에서 게임 입력 영상의 구조 유지 및 명확한 선 표현을 위해 완화된 순환 일치 손실을 적용한다. 다양한 게임 입력 영상의 스케치를 통해 프레임워크의 우수성을 입증한다.

영문 초록

We present a GAN-based framework for producing illustrative sketches from game scenes. This framework includes a relaxed cycle consistency loss (RCCL) module that estimates the difference between the edges of game scenes and resulting sketches extracted by the holistically-nested edge detection (HED) scheme. We compare the two edges using the learned perceptual image patch similarity (LPIPS) metric to focus on clear line representations. We also employ an attention map that focuses on semantic areas to identify areas that need to be intensively transformed. Our framework consists of a style extraction module, a generator module, a discriminator module, and a relaxed cycle consistency loss module. First, We extract the styles of illustrative sketch images using the style extraction module. Next, we generate illustrative sketches via style attention maps extracted from game scenes using the generator module. We then process the generated sketch images to the discriminator module to obtain the probability that the generated sketch satisfies the quality of illustrative sketch. We also apply RCCL to maintain the structure of the game scenes in the generated illustrative sketches. We demonstrate the superiority of our framework by illustrative sketches from various game scenes.

목차

Ⅰ. Introduction

Ⅱ. Network

Ⅲ. Implementation and Results

Reference

키워드

GAN illustrative sketch game scene relaxed cycle consistency loss attention map