NPU기반 이미지 분류용 딥러닝 모델 추론용 실행파일 생성 기술

기술개요

• 이 기술은 딥러닝 모델을 특정 NPU에 맞춰 컴파일해 이미지 분류용 추론 실행파일을 생성하는 컴파일러 기술로, NPU 전문지식이 부족해도 활용 가능하며 NPU 기업이 저수준 제어 API를 제공하면 SW 개발환경

  구축이 가능하다

기술 도입 필요성

• • 딥러닝 모델 컴파일러를 활용하면 개발사는 자사 모델을 NPU에서 쉽게 테스트해 개발 편의성·비용 절감, 개발 시간 단축이 가능하고, 양자화 등 경량화로 정확도 감소를 최소화하며 모델 크기·연산 오버헤드를 줄일 수 있으며, NPU 업체는 SW 개발 환경 구축 자원 사용을 최소화하고, 저수준 API와 컴파일러를 연동해 개별 모델 테스트용 실행파일을 생성할 수 있다

기술 특장점

• • 딥러닝 모델의 공통 포맷인 ONNX를 입력으로 활용해 높은 범용성을 갖췄다. 32비트 실수형으로 학습한 딥러닝 모델을 8비트 정수형으로 양자화해 메모리 사용량과 연산 오버헤드를 줄였다

  
  

  • 딥러닝 모델 추론과 개별 레이어 처리에 맞춰 버퍼를 자동으로 할당·해제해 메모리 사용을 최적화했다

  
  

  • NPU에 대한 전문 지식이 없는 SW 개발자도 컴파일러가 자동으로 실행파일까지

  생성해줘 쉽게 테스트할 수 있다