Lablup – Backend.AI

Lablup - Backend.AI

기계학습 모델을 훈련하고 실행하는 모든 과정을 클라우드 또는
자신의 서버에서 엄청나게 쉽게 빠르게 돌려주는 세련된 플랫폼

기계학습 모델을 훈련하고 실행하는 모든 과정을
클라우드 또는 자신의 서버에서
엄청나게 쉽게 빠르게 돌려주는 세련된 플랫

Backend.AI 특화 기능 >
컨테이너 기반 GPU 스케일링
  • 컨테이너별로 CUDA SMP 및 GPU RAM을 나눠줌
    예) 2.5 GPUs, 0.3 GPUs를 각 컨테이너에 할당
  • 단일 GPU 공유 : 교육 및 추론 워크로드에 적합
  • 다중 GPU 할당 : 모델 훈련 등 대규모 워크로드에 적합
  • 자체 개발한 CUDA 가상화 계층으로 구현
NVIDIA 플랫폼 통합
  • DGX 패밀리 최적화
  • NGC 이미지 지원
머신러닝 교육용 클라우드 사례 >
머신러닝 교육 및 개발 클라우드 서비스 공급
  • 사용자 25인
  • 교육 기간 학기당 2개월
GPU 가상화를 통한 교육/개발 각각에 대한 최적 활용 제공
  • GPU 분할 공유를 통한 자원 최적 활용으로 인프라 비용 75% 이상 절감
GUI를 통한 자원 할당 관리 자동화, 개발 환경 제공
  • Web GUI로 주요기능을 자동화하여 제공, 전담 관리자 없이도 최적 운영
  • 장기적 유지보수 부담 원천 제거
GPU 가상화를 통한 인프라 비용 저감과 관리 부담 제거는 설치형 솔루션에도 공히 적용됨.