초거대 언어 모델 기반 궤적 예측을 활용한 산업 안전사고 예방

• 영문명: A Large Language Model-based Trajectory Prediction Algorithm for Industrial Accident Prevention
• 발행기관: 한국스마트미디어학회
• 저자명: 전민수(Minsu Jeon) 김진완(Jinwan Kim) 박현수(Hyunsu Park) 이수빈(Subin Lee) 노정현(Jeonghyun Noh) 박진선(Jinsun Park)
• 간행물 정보: 『스마트미디어저널』제14권 제2호, 53~63쪽, 전체 11쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2025.02.28

국문 초록

지게차와 같은 산업용 차량의 궤적 예측은 차량의 적재 능력과 지형 변화, 제한된 공간 등과 같은 복잡한 산업 환경을 고려해야 한다. 보행자나 개인 차량의 궤적 예측과 달리, 산업용 차량의 궤적은 위와 같은 요인에 의해 영향을 받으므로 이러한 물리적 요인을 예측 모델에 반영하여 정확한 궤적 예측 모델을 구현할 필요가 있다. 본 연구는 위와 같은 요인을 초거대 언어 모델(Large Language Model, LLM)의 입력에 프롬프트(Prompt) 엔지니어링을 적용하여 부피에 기반한 궤적 예측 방법을 제안한다. 구체적으로, LLM의 입력에 바운딩 박스의 크기와 지형 특성을 포함하여 물리적, 공간적 제약을 프롬프트로 제공함으로써, 산업용 차량의 특성을 고려한 예측을 도출할 수 있도록 한다. 본 연구를 위한 데이터가 부족하여 필요한 영상을 확보하고, 컴퓨터 비전 기술을 활용해 처리하여 데이터셋을 직접 구축하였다. 실험 결과는 이전 연구와 달리, 보행자 뿐 아니라 차량 객체에 대한 궤적을 더 합리적으로 추론하는 결과를 보였으며, 본 연구에서 준비한 데이터셋에 대한 비교 실험에서 베이스라인 모델과 비교해 ADE 기준 0.051m 개선된 성능을 보였다. 본 연구는 궤적 예측 과제에서 수치적 데이터를 처리하는 LLM의 활용 가능성을 제시하며, 산업 분야에서의 컴퓨터 비전 기술과 LLM의 멀티모달 활용성과 잠재력을 보여준다.

영문 초록

Trajectory prediction for industrial vehicles, such as forklifts, must account for complex industrial environments, including load capacity, variations of terrain, and confined spaces. Unlike trajectory prediction for pedestrians or personal vehicles, the trajectories of industrial vehicles are influenced by these physical factors, necessitating models that integrate such considerations for accurate predictions. This study proposes a volume-based trajectory prediction method by applying prompt engineering to the input of large language models (LLMs). Specifically, the study includes the size of the bounding box and terrain characteristics in the LLM input, providing physical and spatial constraints as prompts, to derive predictions that take into account the characteristics of industrial vehicles. The data required for this study was insufficient, so necessary videos were collected and processed using computer vision techniques to build the dataset. Experimental results demonstrate that, unlike previous studies, the proposed method achieves more reasonable trajectory predictions for both pedestrian and vehicle objects. In comparative experiments using our prepared dataset, the proposed approach outperformed baseline models, reducing the Average Displacement Error (ADE) by 0.051 meters. This study highlights the potential of LLMs to handle numerical data in trajectory prediction tasks and underscores the feasibility of multimodal applications combining computer vision and LLMs in industrial applications.

목차

Ⅰ. 서론

Ⅱ. 관련 연구

Ⅲ. 제안하는 방법

Ⅳ. 실험 방법 및 결과

Ⅴ. 결론

REFERENCES

키워드

초거대 언어 모델 공간 궤적 예측 멀티모달 토큰화 프롬프트 엔지니어링 LLM Trajectory Multi-Modal Tokenizer Prompt Engineering