분산 데이터 파이프라인 기술 및 배리어프리 AI 적용 시범서비스

기술개요

• 본 기술은 다수의 기관 및 도메인에 분산된 데이터를 효율적으로 처리할 수 있도록 지원하는 분산 데이터 파이프라인 실행 및 관리 기술임. 사용자 인증, 이기종 컴퓨팅 자원 통합 모니터링, 협업 기반 데이터 파이프라인 개발, 분산 파이프라인 실행 및 모니터링 등 데이터 파이프라인의 전 과정을 통합 제공함으로써 협업성과 실행 효율성을 극대화함

  또한, 본 기술을 활용한 “AI 배리어프리 챗봇 장애인 일자리 찾기 서비스”는 장애인 구직자를 대상으로 맞춤형 일자리를 추천 및 연계하는 시범서비스임. 본 서비스는 수어 데이터의 라벨링, 품질 개선, 재학습 등의 수어 인식 모델 관리 과정을 데이터 파이프라인으로 자동화하여 운영 효율성을 높임. 아울러 장애인 구직자에게 특화된 수어 입력 인터페이스를 제공하여 실시간으로 맞춤형 일자리를 제안함으로써 사회적 문제 해결과 디지털 포용 실현에 기여함

기술개발 목적 및 필요성

• • 공공 및 민간 영역에서 데이터 유통과 활용 수요가 급격히 증가함에 따라, 이기종 자원과 다수의 데이터 주체를 아우 를 수 있는 분산 데이터 처리 체계의 필요성이 증대되고 있음

  
  

  • 기존의 단일 기관 중심 데이터 파이프라인 환경은 확장성, 협업성, 효율성 한계를 지니고 있어, 다기관 및 다도메인 환 경에 적합한 새로운 접근이 요구됨

  
  

  • 산업계와 공공기관은 데이터 처리의 자동화, 실시간 모니터링, 협업형 파이프라인 개발 환경을 통해 서비스 개발과 운영의 효율성을 높일 수 있는 기술적 기반을 필요로 함

기술의 특징 및 장점

• • 분산 데이터 환경 인증 및 컴퓨팅 자원 관리

  - 사용자 인증 및 자격 정보 관리, 이기종 자원(CPU, 메모리 등)의 정적/동적 메트릭 수집, 시계열 DB 기반 실시간 모니 터링 대시보드 제공

  
  

  • 협업 중심 데이터 파이프라인 개발

  - 다수 사용자 동시 접속을 지원하는 공동 협업 설계 환경, DAG(directed acyclic graph) 기반 데이터 파이프라인 저 작 지원

  
  

  • 분산 파이프라인 실행 및 상태 모니터링

  - 파티셔닝 기반 태스크 스케줄링 및 자동 분산 배포 지원, 실행 상태·오류 로그·성능 지표 등을 실시간 모니터링 및 대 시보드 제공