병렬 NPU기반 멀티 AI 모델 운영을 위한 온디바이스 AI 플랫폼

기술개요

• 이 기술은 병렬 NPU 온디바이스 AI 플랫폼으로, 단일 MPU·PCIe 스위치 기반 복수 NPU 동시 구동, 시각지능·시계열 모델 병렬 실행 기반 다단계 AI 추론 실시간 제공, CM5·Hailo-8 기반 병렬 NPU 구조로 전력·연산속도 극대화 공용 하드웨어 플랫폼, 네트워크 협력 기반 다중 모델 시각지능 서비스 최적화 SW, 경량 NPU 기반 IoT 시계열 데이터 추론 SW로 구성된다

기술 도입 필요성

• • 기존 클라우드 기반 AI 분석은 트래픽 지연과 보안 유출 우려가 있어, 영상·센서 데이터를 엣지단에서 직접 분석하고 국산 NPU 기반 병렬 온디바이스 플랫폼으로 연산 자원을 모델별로 분할·할당해 초저지연 다중 AI 모델 분석을 지원한다

기술 특장점

• • PCIe 스위치로 복수 NPU를 연결해 고성능 병렬 연산 하드웨어 구조를 구현했다

  
  

  • 온디바이스 AI 가속장치로 다중 AI 모델 추론 병렬처리와 다채널 영상 분석에 최적화된 파이프라인을 적용했다

  
  

  • 원격 서버와 협력해 이상상태를 실시간으로 알리고 고차원 AI 분석까지 결합한 시각지능 서비스를 구현할 수 있다

  
  

  • 온디바이스 AI 가속장치 기반으로 IoT 시계열 데이터 추론 AI 모델을 운영해 예측값 기반 예보·알람 등 다양한 시계열 응용 서비스를 제공한다