자연어 문장 기반 동영상 검색 AI 기술

기술개요

• 사용자가 자유롭게 입력한 자연어 문장을 질의어로 활용하여, 방대한 비디오 데이터셋에서 의미적으로 가장 유사한 영상을 검색하는 AI 기술. 본 기술은 대규모 비디오-텍스트 데이터셋으로 사전학습된 시각-언어 모델을 적용하여, 사전에 생성한 메타데이터가 없이도 직관적이고 정확한 검색 결과를 제공

기술개발 목적 및 필요성

• • 개인의 휴대 단말기와 공공·사설 CCTV 등에서 다양한 영상 콘텐츠가 지속적으로 생성됨

  
  

  •  이렇게 축적되는 방대한 영상 콘텐츠를 효과적으로 활용하기 위해서는 직관적이고 효율적인 검색 방법이 필요

  
  

  • 기존의 동영상 검색 기술은 자막 또는 사람이 생성하거나 전처리로 자동 생성한 메타데이터에 의존하여 활용성에 한계가 존재

  
  

  • 특정 키워드가 아닌 사용자가 자유롭게 만든 자연어 문장으로 원하는 영상을 검색하는 기술이 이러한 필요를 충족

기술의 특징 및 장점

• • 시각-언어 정보 선별 융합 및 인코딩 기술

  - 언어 정보와 무관한 시각정보는 바이패스하여, 시각-언어 정보를 선별적으로 융합

  - 대용량 비디오-텍스트 데이터셋(Web-Vid 2.5)과 이미지-텍스트 데이터셋(CC3M)으로 사전학습

  - 특정 태스크에 맞게 디코더를 추가하여 파인튜닝 시, 다양한 시각-언어 태스크로 확장 가능

  
  

  • 시각-언어 이해 기반의 자연어 질의문을 이용한 비디오 검색 기술

  - 시각-언어 사전학습 모델을 활용해 사용자가 자유 기술한 질의어로 비디오  검색 구현

  - 비디오 검색 벤치마크 데이터셋(MSR-VTT, ActivityNet Captions, DiDeMo) 3종으로 파인튜닝 및 성능 검증