촉감 및 강체 피드백을 포함한 저비용 메타버스 인터페이스

• 영문명: Metaverse Interface with Haptic and Rigid Sense Feedback at a Low Cost
• 발행기관: 적정기술학회
• 저자명: 이종서 김수현 장선웅 문준영 서덕영
• 간행물 정보: 『적정기술학회지』Vol.8 No.2, 91~98쪽, 전체 8쪽
• 주제분류: 공학 > 기타공학
• 파일형태: PDF
• 발행일자: 2022.08.31

국문 초록

메타버스 시대에는 누구나 쉽게 메타버스에 접근할 수 있어야 하고, 실감나게 가상 현실을 즐길 수 있는 기회를 제공할 수 있어야 하기 때문에 저렴한 가격으로 구현될 수 있는 메타버스 인터페이스 프로토타입을 제안한다. 크게 4가지 성능 및 모듈이 포함된 형태의 작품으로, 1. Haptic feedback: piezo 센서는 다양한 texture의 촉각 정보를 수집하는데 사용되고, 이는 오디오 데이터 형태로 전송하여 장갑에 부착된 LRA 모터(Actuator)에 의해 손끝에서 현실적인 촉각 정보를 재현한다. 2. Force feedback: 3D 모델링을 통해 서보모터를 제어하도록 설계되었다. 게임 엔진인 유니티에서 물체의 두께만큼 손을 잡도록 서보모터를 제어한다. 3. Controller: flex 센서를 사용하여 finger bending에 따른 저항 변화를 측정하여 유니티에서 손가락 동작을 재현한다. MPU-6050(IMU sensor)를 이용하여 유니티에서 yawing/pitching/rolling 동작을 구현한다. 4. Pose estimation: 웹캠에 의해 사용자의 현재 움직임은 mediapipe library를 통한 포즈 추정에 사용된다. Controller로부터 serial로 수신된 손 자세와 통합되어 유니티 게임 내에서 사용자의 자세를 구현한다. 이러한 방식으로 개발된 인터페이스는 메타버스에서 life logging과 mirror world 서비스에 적용될 수 있다.

영문 초록

In the metaverse era, anyone should be able to easily access the metaverse for non-discrimination. This study proposes a prototype of a metaverse interface that can be implemented at a low price. It shows reasonable performance. It includes the following 4 modules. 1. Haptic feedback: Piezo sensors have been used for tactile information of various textures, which is transported as an audio data format, and reconstructed at the fingertips by an actuator (LRA motor) attached to a glove. 2. Force feedback: The module was designed to control the servomotor through 3D modeling. It provides force feedback by controlling the servo motor to grab the hand as much as the thickness of the object on Unity, the game engine. 3. Controller: Reproduce finger movement in Unity by measuring resistance change according to finger bending using a Flex sensor. Implement Yawing/Pitching/Rolling movement in Unity through MPU-6050(IMU) sensor. 4. Pose estimation: The user's current movement captured by the webcam is used for pose estimation through the Mediapipe library. It is integrated with the hand posture received serially from the controller to render the user posture inside the Unity game. The developed interface can be applied to life logging service and mirror world service, which are one of the most important applications in the metaverse.

목차

Introduction

Materials and Experimental Method

Results and Discussion

Conclusion

Acknowledgement

References

키워드

Metaverse VR Haptic Unity Life logging Mirror world