dstack

dstackは、AIおよび機械学習チームが直面する課題に対処するために特別に設計された、強力なオープンソースのコンテナオーケストレーターです。その主な目標は、複雑なワークロードのオーケストレーションプロセスを簡素化し、高価なGPUリソースの利用率を大幅に向上させることです。ベンダーに依存しないプラットフォームとして、dstackは、あらゆるGPUクラウド（AWS、GCP、Azure、OCIなど）、オンプレミスクラスター、およびNVIDIA、AMD、TPUなどを含む幅広い高速化ハードウェアとシームレスに統合する統一されたコンピューティングレイヤーを提供します。この柔軟性により、チームは単一のプロバイダーにロックインされることなく、どこにいてもニーズに最適なハードウェアを活用できます。

このプラットフォームは、開発者エクスペリエンスを核に設計されており、基盤となるインフラの複雑さを抽象化します。これにより、MLエンジニアや研究者は、サーバー、依存関係、スケーリングの管理ではなく、モデルの構築、トレーニング、デプロイに集中できます。dstackは、迅速なプロトタイピングから大規模なマルチノード分散トレーニングジョブまでスケールできる能力で、Electronic ArtsやMobius Labsなどの世界クラスのMLチームから信頼されています。

dstackの使い方

dstackの開始は、迅速な導入のために設計された簡単なプロセスです：

1. サーバーのセットアップ： uv tool install "dstack[all]"のような簡単なコマンドを使用してローカルマシンにdstackサーバーをインストールし、dstack serverで実行することから始められます。または、公式のDockerイメージを使用してどこにでもデプロイするか、自分でホスティングするのを避けるためにマネージドクラウドバージョンであるdstack Skyにサインアップすることもできます。
2. 構成の定義： dstackのワークフローは、プロジェクトリポジトリ内の簡単なYAMLファイルを使用して定義されます。これらの構成は、タスクの環境、リソース、およびコマンドを記述します。主要な構成タイプは次のとおりです：
   • 開発環境（Dev Environments）： ローカルIDE（VS Codeなど）を強力なリモートGPUマシンに接続できるインタラクティブな開発用です。
   • タスク（Tasks）： モデルの事前トレーニングやファインチューニングなどのバッチジョブのスケジューリング用です。完了まで実行されるワークロードに最適です。
   • サービス（Services）： モデルを安全で自動スケーリングされ、OpenAI互換のエンドポイントとしてデプロイするためです。
   • フリート（Fleets）： クラウドまたはオンプレミスのインスタンスのグループを単一のリソースプールとして管理するためです。
3. 構成の適用： YAMLファイルの準備ができたら、コマンドラインインターフェースを使用して適用します：dstack apply。その後、dstackが残りのすべてを処理します：必要なインフラのプロビジョニング、ジョブのスケジューリング、自動スケーリングの管理、ポートフォワーディングの処理、およびターミナルへのログのストリーミング。デタッチモードで実行するには、-dフラグを使用できます。

dstackの主な機能

• 統一されたコンピューティングレイヤー： クラウド上かオンプレミスかにかかわらず、すべてのAIコンピューティングリソースに対して、単一のベンダーに依存しないコントロールプレーンを提供します。
• 幅広いアクセラレーターサポート： NVIDIA GPU、AMD GPU、Google Cloud TPU、Intel Gaudi、Tenstorrentアクセラレーターなど、幅広いハードウェアをネイティブにサポートします。
• 開発者中心のワークフロー： インタラクティブなコーディングのための開発環境、バッチ処理のためのタスク、簡単なモデルデプロイのためのサービスなど、専門的な構成を提供します。
• 効率的なリソース管理： GPU利用率を最大化するための組み込みスケジューラーを備えています。十分に活用されていないインスタンスを自動的に終了してコストを節約するポリシーが含まれています。
• シームレスな統合： 主要なGPUクラウド（AWS、GCP、Azure、OCI）とスムーズに連携し、既存のKubernetesクラスター上で実行できます。SSHフリートにより、ベアメタルサーバーの接続が可能です。
• 自動スケーリングサービス： 自動スケーリング、HTTPS、OpenAI互換のAPIエンドポイントなどの機能を備えた本番環境対応のサービスとしてモデルを簡単にデプロイできます。
• データ永続性： ネットワークボリュームとインスタンスボリュームをサポートし、実行間でデータ、モデル、キャッシュを永続化し、状態が失われないようにします。
• 高度な構成： 容量問題に対する再試行ポリシー、環境変数管理、カスタムDockerイメージのサポートなどの機能により、きめ細かい制御が可能です。

dstackの使用例

dstackは多用途であり、幅広いMLワークフローをサポートします：

• モデルのトレーニングとファインチューニング： TRL、Axolotl、DeepSpeedなどの一般的なフレームワークを使用して、大規模言語モデル（LLM）のシングルノードまたは分散トレーニングジョブを実行します。
• 推論とモデルサービング： vLLM、SGLang、TGI、NVIDIA NIMなどの高性能サービングフレームワークを使用して、推論用に最適化されたモデルをデプロイします。
• インタラクティブなAI開発： MLエンジニアは、数秒で強力なGPUバックの開発環境を立ち上げ、ローカルIDEを接続してインタラクティブにコードを実験およびデバッグできます。
• 高性能クラスター管理： GCP A3 MegaやAWS EFA対応インスタンスなどの特殊なマルチノードクラスターでテスト（例：NCCLテスト）を設定、構成、実行します。
• クロスクラウドのコスト最適化： 特定のタスクに対して、さまざまなクラウドプロバイダーで最もコスト効果の高いGPUインスタンスを簡単に比較して利用します。

dstackの利点

dstackの主な利点は、AIインフラを劇的に簡素化できることです。MLチームがインフラではなく研究とモデルに集中できるようにすることで、彼らを力づけます。主な利点には、生産性の向上、より良いGPU利用とスポットインスタンスへのアクセスによる大幅なコスト削減、ベンダーロックインの防止などがあります。そのオープンソースの性質は透明性とコミュニティ主導の開発を促進し、開発者中心の設計は、GPUの可用性や複雑な設定を心配することなく、構成を定義して実行することを非常に簡単にします。

料金プラン

dstackは、さまざまなニーズに合わせて柔軟な料金体系を提供しています：

• dstack（オープンソース）： コアプラットフォームはオープンソースで無料で使用できます。ライセンス料なしで独自のインフラで自己ホストできます。
• dstack Sky： dstackサーバーのホスティングを代行するマネージドクラウドサービスです。また、最も安価なGPUのマーケットプレイスへのアクセスも提供します。開始するための無料ティアを提供しています。
• dstack Enterprise： 大規模組織向けに設計された自己ホストバージョンで、シングルサインオン（SSO）、高度なガバナンスコントロール、専用のエンタープライズサポートなどのエンタープライズグレードの機能が含まれています。このバージョンのトライアルをリクエストできます。

このモデルにより、dstackは個人の研究者、スタートアップ、大企業のいずれもが利用できるようになります。