AI로봇을 위한 온디바이스 시각-언어 지능 통합 기술

기술개요

• VLM-TTS 기반 온디바이스 시각 언어 지능 통합 기술로써, 로봇의 카메라 센서로 포착한 상황을 사람이 이해할 수 있는 언어와 음성으로 실시간 변환해 사람 로봇 상호작용(HRI)을 구현하며, 클라우드 없이 온디바이스로 추론을 수행해 지연을 최소화하고 개인정보를 보호하며, 제한된 메모리와 연산 자원을 고려한 파이프라인 최적화 및 ROS2와 ZeroMQ 기반의 경량 통신으로 로봇 제어 스택과 AI 응용을 효율적으로 연동하는 기술임

기술개발 목적 및 필요성

• • 네트워크 품질 저하·보안 정책 등으로 클라우드 기반 시각-언어 지능 사용이 어려운 현장에서는 카메라 입력을 온디바이스 상에서 즉시 변환하는 기술이 필요

  
  

  • 개인정보·보안구역 등 민감 영상의 외부 전송을 차단하고 규제 준수를 보장하기 위한 온디바이스 AI를 활용한 로컬 추론이 반드시 필요

  
  

  • 서비스·물류·순찰 로봇 등에서 시각 인지 후 첫 발화까지 1초 미만으로 안내·경고를 제공해 현장 안전과 업무 연속성을 확보하는 저지연 HRI 구현 필요

기술의 특징 및 장점

• • VLM–TTS 간 실행 파이프라인 최적화 : 카메라 입력부터 시각 인식, 텍스트 생성(VLM), 음성 합성(TTS)까지의 전 체 흐름을 하나의 런타임 파이프라인으로 구성하여 연산 부하를 분산하고 지연 경로를 최소화함. 이를 통해 빠른 응 답성과 높은 실시간성을 확보함

  
  

  • ZeroMQ 경량 통신 및 메모리 최적화: ROS2의 Topic 기반 메시지 전달 구조에 ZeroMQ Queue를 결합하여, 모델 간 통신의 지연을 줄이고, 사전 로딩(Preloading) 및 메모리 관리 기법을 통해 시스템 자원 사용을 효율화함

  
  

  • On-Demand 기반 파이프라인 제어 및 우선순위 큐 관리: 요청 발생 시에만 파이프라인이 활성화되는 구조로, 불필 요한 연산 낭비를 줄이고 Idle 자원 활용을 최적화함. 또한 Queue 기반 요청 우선순위 관리 기법을 통해 긴급 응답이 필요한 상황에서도 안정적인 동작을 보장함