dstack

dstack은 AI 및 머신러닝 팀이 직면한 과제를 해결하기 위해 특별히 설계된 강력한 오픈 소스 컨테이너 오케스트레이터입니다. 주요 목표는 복잡한 워크로드 오케스트레이션 프로세스를 단순화하고 값비싼 GPU 리소스의 활용도를 크게 향상시키는 것입니다. 벤더에 구애받지 않는 플랫폼인 dstack은 모든 GPU 클라우드(AWS, GCP, Azure, OCI 등), 온프레미스 클러스터 및 NVIDIA, AMD, TPU 등을 포함한 다양한 가속 하드웨어와 원활하게 통합되는 통합 컴퓨팅 레이어를 제공합니다. 이러한 유연성은 팀이 단일 공급업체에 종속되지 않고 어디서든 필요에 맞는 최상의 하드웨어를 활용할 수 있도록 보장합니다.

이 플랫폼은 개발자 경험을 핵심으로 설계되어 기본 인프라의 복잡성을 추상화합니다. 이를 통해 ML 엔지니어와 연구원은 서버, 종속성 및 확장을 관리하는 대신 모델 구축, 훈련 및 배포에 집중할 수 있습니다. dstack은 빠른 프로토타이핑에서 대규모 다중 노드 분산 훈련 작업까지 확장할 수 있는 능력으로 Electronic Arts 및 Mobius Labs와 같은 세계적 수준의 ML 팀으로부터 신뢰를 받고 있습니다.

dstack 사용 방법

dstack 시작은 빠른 채택을 위해 설계된 간단한 프로세스입니다:

1. 서버 설정: uv tool install "dstack[all]"과 같은 간단한 명령을 사용하여 로컬 머신에 dstack 서버를 설치하고 dstack server로 실행하여 시작할 수 있습니다. 또는 공식 Docker 이미지를 사용하여 어디서나 배포하거나, 직접 호스팅을 피하기 위해 관리형 클라우드 버전인 dstack Sky에 가입할 수 있습니다.
2. 구성 정의: dstack의 워크플로는 프로젝트 리포지토리 내의 간단한 YAML 파일을 사용하여 정의됩니다. 이러한 구성은 작업의 환경, 리소스 및 명령을 설명합니다. 주요 구성 유형은 다음과 같습니다:
   • 개발 환경(Dev Environments): 로컬 IDE(예: VS Code)를 강력한 원격 GPU 머신에 연결할 수 있는 대화형 개발용입니다.
   • 작업(Tasks): 모델 사전 훈련 또는 미세 조정과 같은 배치 작업을 예약하는 데 사용됩니다. 완료될 때까지 실행되는 워크로드에 이상적입니다.
   • 서비스(Services): 모델을 안전하고 자동 확장되며 OpenAI와 호환되는 엔드포인트로 배포하는 데 사용됩니다.
   • 플릿(Fleets): 클라우드 또는 온프레미스 인스턴스 그룹을 단일 리소스 풀로 관리하는 데 사용됩니다.
3. 구성 적용: YAML 파일이 준비되면 명령줄 인터페이스를 사용하여 적용합니다: dstack apply. 그러면 dstack이 나머지 모든 것을 처리합니다: 필요한 인프라 프로비저닝, 작업 예약, 자동 확장 관리, 포트 포워딩 처리 및 터미널로 로그 스트리밍. 분리된 실행을 위해서는 -d 플래그를 사용할 수 있습니다.

dstack의 핵심 기능

• 통합 컴퓨팅 레이어: 클라우드 또는 온프레미스에 있는 모든 AI 컴퓨팅 리소스에 대해 단일의 벤더에 구애받지 않는 제어 플레인을 제공합니다.
• 광범위한 가속기 지원: NVIDIA GPU, AMD GPU, Google Cloud TPU, Intel Gaudi 및 Tenstorrent 가속기를 포함한 다양한 하드웨어를 기본적으로 지원합니다.
• 개발자 중심 워크플로: 대화형 코딩을 위한 개발 환경, 배치 처리를 위한 작업, 쉬운 모델 배포를 위한 서비스와 같은 특화된 구성을 제공합니다.
• 효율적인 리소스 관리: GPU 활용도를 극대화하기 위한 내장 스케줄러를 갖추고 있습니다. 활용도가 낮은 인스턴스를 자동으로 종료하여 비용을 절감하는 정책을 포함합니다.
• 원활한 통합: 주요 GPU 클라우드(AWS, GCP, Azure, OCI)와 원활하게 작동하며 기존 Kubernetes 클러스터 위에서 실행할 수 있습니다. SSH 플릿을 통해 베어메탈 서버를 연결할 수 있습니다.
• 자동 확장 서비스: 자동 확장, HTTPS 및 OpenAI 호환 API 엔드포인트와 같은 기능을 갖춘 프로덕션 준비 서비스로 모델을 쉽게 배포할 수 있습니다.
• 데이터 지속성: 네트워크 및 인스턴스 볼륨을 지원하여 실행 간에 데이터, 모델 및 캐시를 유지하여 상태가 손실되지 않도록 합니다.
• 고급 구성: 용량 문제에 대한 재시도 정책, 환경 변수 관리 및 사용자 지정 Docker 이미지 지원과 같은 기능으로 세밀한 제어가 가능합니다.

dstack의 사용 사례

dstack은 다재다능하며 광범위한 ML 워크플로를 지원합니다:

• 모델 훈련 및 미세 조정: TRL, Axolotl, DeepSpeed와 같은 인기 있는 프레임워크를 사용하여 대규모 언어 모델(LLM)에 대한 단일 노드 또는 분산 훈련 작업을 실행합니다.
• 추론 및 모델 서빙: vLLM, SGLang, TGI 및 NVIDIA NIM과 같은 고성능 서빙 프레임워크를 사용하여 추론을 위해 최적화된 모델을 배포합니다.
• 대화형 AI 개발: ML 엔지니어는 몇 초 만에 강력한 GPU 지원 개발 환경을 가동하여 로컬 IDE를 연결하고 대화식으로 코드를 실험하고 디버깅할 수 있습니다.
• 고성능 클러스터 관리: GCP A3 Mega 또는 AWS EFA 지원 인스턴스와 같은 특수 다중 노드 클러스터에서 테스트(예: NCCL 테스트)를 설정, 구성 및 실행합니다.
• 교차 클라우드 비용 최적화: 주어진 작업에 대해 여러 클라우드 제공업체에서 가장 비용 효율적인 GPU 인스턴스를 손쉽게 비교하고 활용합니다.

dstack의 장점

dstack의 주요 장점은 AI 인프라를 극적으로 단순화하는 능력입니다. ML 팀이 인프라 대신 연구와 모델에 집중할 수 있도록 지원합니다. 주요 이점으로는 생산성 향상, 더 나은 GPU 활용 및 스팟 인스턴스 액세스를 통한 상당한 비용 절감, 벤더 종속 방지 등이 있습니다. 오픈 소스 특성은 투명성과 커뮤니티 주도 개발을 촉진하며, 개발자 중심 설계는 GPU 가용성이나 복잡한 설정에 대해 걱정할 필요 없이 구성을 정의하고 실행하는 것을 매우 쉽게 만듭니다.

가격 및 플랜

dstack은 다양한 요구에 맞는 유연한 가격 구조를 제공합니다:

• dstack (오픈 소스): 핵심 플랫폼은 오픈 소스이며 무료로 사용할 수 있습니다. 라이선스 비용 없이 자체 인프라에서 직접 호스팅할 수 있습니다.
• dstack Sky: dstack 서버 호스팅을 처리해주는 관리형 클라우드 서비스입니다. 또한 가장 저렴한 GPU 마켓플레이스에 대한 액세스를 제공합니다. 시작을 위한 무료 등급을 제공합니다.
• dstack Enterprise: 대규모 조직을 위해 설계된 자체 호스팅 버전으로, SSO(Single Sign-On), 고급 거버넌스 제어 및 전용 엔터프라이즈 지원과 같은 엔터프라이즈급 기능을 포함합니다. 이 버전에 대한 평가판을 요청할 수 있습니다.

이 모델은 개인 연구원, 스타트업 및 대기업 모두가 dstack을 이용할 수 있게 합니다.