딥러닝 방식의 웨어러블 센서를 사용한 미국식 수화 인식 시스템

• 영문명: American Sign Language Recognition System Using Wearable Sensors with Deep Learning Approach
• 발행기관: 한국전자통신학회
• 저자명: 정택위(Teak-Wei Chong) 김범준(Beom-Joon Kim)
• 간행물 정보: 『한국전자통신학회 논문지』제15권 제2호, 291~297쪽, 전체 7쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2020.04.30

국문 초록

수화는 청각 장애인이 다른 사람들과 의사소통할 수 있도록 설계된 것이다. 그러나 수화는 충분히 대중화되어 있지 않기 때문에 청각 장애인이 수화를 통해서 일반 사람들과 원활하게 의사소통하는 것은 쉽지 않은 문제이다. 이러한 문제점에 착안하여 본 논문에서는 웨어러블 컴퓨팅 및 딥러닝 기반 미국식 수화인식 시스템을 설계하고 구현하였다. 이를 위해서 본 연구에서는 손등과 손가락에 장착되는 총 6개의 IMUs(Inertial Measurement Unit) 센서로 구성된 시스템을 구현하고 이를 이용한 실험을 수행하여 156개 특징이 수집된 데이터 추출을 통해서 총 28개 단어에 대한 미국식 수화 인식 방법을 제안하였다. 특히 LSTM (Long Short-Term Memory) 알고리즘을 사용하여 최대 99.89%의 정확도를 달성할 수 있었고 향후 청각 장애인들의 의사소통에 큰 도움이 될 것으로 예상된다.

영문 초록

Sign language was designed for the deaf and dumb people to allow them to communicate with others and connect to the society. However, sign language is uncommon to the rest of the society. The unresolved communication barrier had eventually isolated deaf and dumb people from the society. Hence, this study focused on design and implementation of a wearable sign language interpreter. 6 inertial measurement unit (IMU) were placed on back of hand palm and each fingertips to capture hand and finger movements and orientations. Total of 28 proposed word-based American Sign Language were collected during the experiment, while 156 features were extracted from the collected data for classification. With the used of the long short-term memory (LSTM) algorithm, this system achieved up to 99.89% of accuracy. The high accuracy system performance indicated that this proposed system has a great potential to serve the deaf and dumb communities and resolve the communication gap.

목차

Ⅰ. Introduction

Ⅱ. Related Works

Ⅲ. System Design

Ⅳ. Experiment and Results

Ⅴ. Conclusion

References

키워드

미국식 수화 딥러닝 인간-컴퓨터 상호 작용 수화 웨어러블 센서 American Sign Language Deep Learning Human-Computer Interaction Sign Language Wearable Sensors