YOLO와 OCR 알고리즘에 기반한 시각 장애우를 위한 유통기한 알림 시스템

• 영문명: Expiration Date Notification System Based on YOLO and OCR algorithms for Visually Impaired Person
• 발행기관: 한국전자통신학회
• 저자명: 김민수(Min-Soo Kim) 문미경(Mi-Kyung Moon) 한창희(Chang-Hee Han)
• 간행물 정보: 『한국전자통신학회 논문지』제16권 제6호, 1329~1337쪽, 전체 9쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2021.12.31

국문 초록

점자를 제외한 시각 장애우들이 유통기한을 확인할 수 있는 효과적인 방법이 거의 개발되어 있지 않으며, 이로 인하여 시각 장애우들의 식품 안전성이 위협받고 있다. 본 연구에서는 시각 장애우의 식품 안전성 확보를 위해 실시간 객체 인식 알고리즘(you only look once, YOLO) 및 광학 문자 인식 (optical character recognition, OCR)에 기반한 유통기한 알림 시스템을 개발했다. 제안하는 시스템은 총 4가지 단계로 시각 장애우에게 유통기한 정보를 전달한다: (1) 표적 제품의 바코드 스캔을 통한 제품 확인 (2) 실시간으로 입력되는 제품 영상에서 YOLO 알고리즘을 활용하여 유통기한이 표기된 이미지 영역 검출; (3) 검출된 이미지 영역에서 OCR 알고리즘을 활용하여 유통기한 문자 인식; (4) Text to Speech (TTS) 기술을 활용하여 유통기한 정보를 사용자에게 전달. 성능 평가를 위한 온라인 실험 결과, 앞이 보이지 않는 피험자가 개발한 시스템을 사용해서 제품의 유통기한을 평균 86%의 높은 정확도로 확인할 수 있음이 검증되었다. 이러한 결과는 제안하는 시스템이 저시력자를 포함한 시각 장애우들의 식품 안전성 확보에 이바지할 수 있음을 보여준다.

영문 초록

There are rarely effective methods to help visually impaired people when they want to know the expiration date of products excepted to only Braille. In this study, we developed an expiration date notification system based on YOLO and OCR for visually impaired people. The handicapped people can automatically know the expiration date of a specific product by using our system without the help of a caregiver, fast and accurately. The proposed system is worked by four different steps: (1) identification of a target product by scanning its barcode; (2) segmentation of an image area with the expiration date using YOLO; (3) classification of the expiration date by OCR: (4) notification of the expiration date by TTS. Our system showed an average classification accuracy of about 86.00% when blindfolded subjects used the proposed system in real-time. This result validates that the proposed system can be potentially used for visually impaired people.

목차

Ⅰ. 서론

Ⅱ. 관련 연구

Ⅲ. 시스템 개발

Ⅳ. 평가 및 테스트

Ⅴ. 결론 및 향후 개선 방향

Reference

키워드

시각 장애우 유통기한 인공지능 객체 인식 광학 문자 인식 Visually Impaired Person Expiration Date Artificial Intelligence You Only Look Once Optical Character Recognition