단안 및 양안 디지털 휴먼의 인공지능 기반 실시간 실감화 기술

기술개요

• 중·저품질 단·양안 디지털 휴먼을 실시간으로 실감화하고, 프레임 독립 처리로 추가 지연 없이 시공간적 일관성을 확보해 떨림(flickering)을 억제함으로써 3D 모델 제작의 고비용과 현행 생성형 AI의 시공간 일관성 한계를 극복하여 VR/무안경 입체 디바이스, 인터랙티브 응용 등 실시간 서비스에 적용 가능한 AI 영상 품질 향상 기술

기술개발 목적 및 필요성

• • 고품질 단·양안 디지털 휴먼 제작 비용 절감을 위해 저품질로 저작자의 제작의도 담은 영상을 쉽게 제작하고 이의 품질을 향상시키는 기술 개발

  
  

  • 생성형 AI 영상의 깜빡임·저해상도·부자연스러운 동작·고연산비용으로 인한 실시간 서비스 한계를 해소

  • 고가의 정밀 3D 모델 제작을 대체/보완하고 유니티/언리얼 등 기존 파이프라인에 쉽게 통합 가능한 기술 수요

  
  

  • VR·무안경 입체·인터랙티브 응용(게임·키오스크·라이브 방송 등)에서 실시간 요구 충족과 산업 경쟁력 확보

기술특징

• • 시공간축(Spatio-Temporal) 일치성을 지원하여 동영상의 깜빡임 제어

  - 일반적으로 생성형 AI를 이용하여 만든 동영상은 시간축 일치성을 미지원하여 동영상의 깜빡임 발생으로 품질 저하, 본 기술은 생성된 동영상의 깜빡임 현상 제거

  
  

  • 실시간 추론 지원

  - 실시간 추론을 지원하여 키오스크, 게임 등 실시간 인터랙티브 영상에 적용 가능 (RTX 3090을 기준으로 FHD 영상 실시간 처리), 단 영상의 복잡도, 입력영상의 다양성 지원 범위 등에 따라 달라질 수 있음

  
  

  • 기존의 콘텐츠 제작 파이프라인에 쉽게 적용 가능

  - 기존의 상용 저작도구를 통해 만들어진 3D 콘텐츠를 유니티 혹은 언리얼로 렌더링한 2D 영상에 실감 가시화 수행 ⇒ 이를 통해 업체의 기 보유 프로젝트에 쉽게 통합 가능  

  
  

  • 저비용으로 실사 디지털 휴먼 서비스 가능

  - 본 기술은 중/저품질로 모델링하여 렌더링된 영상을 실사 수준의 영상으로 변경함으로써 저 비용으로 실사 수준의 디지털 휴먼 서비스 가능