dstack

dstack 是一款功能強大的開源容器編排器，專門為解決 AI 和機器學習團隊面臨的挑戰而設計。其主要目標是簡化複雜的工作負載編排過程，並顯著提高昂貴 GPU 資源的利用率。作為一個與供應商無關的平台，dstack 提供了一個統一的運算層，能夠無縫整合任何 GPU 雲（如 AWS、GCP、Azure、OCI）、本地叢集以及包括 NVIDIA、AMD、TPU 在內的各種加速硬體。這種靈活性確保團隊不會被鎖定在單一供應商，並可以根據需求在任何地方利用最佳硬體。

該平台以開發者體驗為核心進行設計，抽象了底層的基礎設施複雜性。這使得機器學習工程師和研究人員能夠專注於建構、訓練和部署模型，而不是管理伺服器、依賴項和擴展。dstack 因其能夠從快速原型設計擴展到大型多節點分散式訓練任務而受到 Electronic Arts 和 Mobius Labs 等世界級機器學習團隊的信賴。

如何使用 dstack

dstack 的入門過程非常直接，旨在實現快速採用：

1. 設定伺服器： 您可以首先使用簡單的指令 uv tool install "dstack[all]" 在本地機器上安裝 dstack 伺服器，並用 dstack server 執行它。或者，您可以使用官方 Docker 映像檔在任何地方部署它，或註冊 dstack Sky（託管雲端版本），以避免自己託管。
2. 定義配置： dstack 中的工作流透過專案儲存庫中的簡單 YAML 檔案進行定義。這些配置描述了任務的環境、資源和指令。關鍵配置類型包括：
   • 開發環境 (Dev Environments)： 用於互動式開發，允許您將本地 IDE（如 VS Code）連接到功能強大的遠端 GPU 機器。
   • 任務 (Tasks)： 用於排程批次處理作業，例如預訓練或微調模型。這非常適合運行至完成的工作負載。
   • 服務 (Services)： 用於將模型部署為安全的、可自動擴展的、與 OpenAI 相容的端點。
   • 叢集 (Fleets)： 用於將一組雲端或本地實例作為單一資源池進行管理。
3. 應用配置： 準備好 YAML 檔案後，使用命令列介面應用它：dstack apply。dstack 會處理剩下的所有事情：配置必要的基礎設施、排程作業、管理自動擴展、處理連接埠轉發，並將日誌串流傳輸回您的終端機。要進行分離式執行，您可以使用 -d 旗標。

dstack 的核心功能

• 統一運算層： 為您所有的 AI 運算資源（無論是雲端還是本地）提供單一的、與供應商無關的控制平面。
• 廣泛的加速器支援： 原生支援多種硬體，包括 NVIDIA GPU、AMD GPU、Google Cloud TPU、Intel Gaudi 和 Tenstorrent 加速器。
• 以開發者為中心的工作流： 提供專門的配置，如用於互動式編碼的開發環境、用於批次處理的任務以及用於輕鬆部署模型的服務。
• 高效的資源管理： 內建排程器以最大化 GPU 利用率。它包含自動終止未充分利用實例的策略，從而節省成本。
• 無縫整合： 與主流 GPU 雲（AWS、GCP、Azure、OCI）順暢協作，並可在現有 Kubernetes 叢集之上運行。SSH 叢集功能允許連接裸機伺服器。
• 自動擴展服務： 輕鬆將模型部署為生產就緒的服務，具有自動擴展、HTTPS 和與 OpenAI 相容的 API 端點等功能。
• 資料持久化： 支援網路和實例磁碟區，以在多次運行之間持久化資料、模型和快取，確保狀態不會遺失。
• 進階配置： 允許透過容量問題的重試策略、環境變數管理和自訂 Docker 映像檔支援等功能進行精細控制。

dstack 的使用案例

dstack 功能多樣，支援廣泛的機器學習工作流：

• 模型訓練與微調： 使用 TRL、Axolotl 和 DeepSpeed 等流行框架，為大型語言模型（LLM）運行單節點或分散式訓練作業。
• 推論與模型服務： 使用 vLLM、SGLang、TGI 和 NVIDIA NIM 等高效能服務框架部署最佳化後的模型進行推論。
• 互動式 AI 開發： 機器學習工程師可以在幾秒鐘內啟動由 GPU 支援的強大開發環境，連接本地 IDE 進行互動式實驗和程式碼除錯。
• 高效能叢集管理： 在專門的多節點叢集（如 GCP A3 Mega 或啟用 AWS EFA 的實例）上設定、配置和運行測試（例如 NCCL 測試）。
• 跨雲成本優化： 輕鬆比較和利用不同雲端供應商中針對任何給定任務的最具成本效益的 GPU 實例。

dstack 的優勢特點

dstack 的主要優勢在於其能夠極大地簡化 AI 基礎設施。它透過讓機器學習團隊專注於他們的研究和模型而非基礎設施來賦能他們。主要好處包括提高生產力、透過更好的 GPU 利用率和存取競價實例來顯著節省成本，以及防止供應商鎖定。其開源性質促進了透明度和社群驅動的開發，而以開發者為中心的設計使其能夠極其輕鬆地定義配置並運行，而無需擔心 GPU 可用性或複雜的設定。

定價和計劃

dstack 提供靈活的定價結構以滿足不同需求：

• dstack (開源)： 核心平台是開源且免費的。您可以在自己的基礎設施上自託管，無需任何授權費用。
• dstack Sky： 一項託管雲端服務，為您處理 dstack 伺服器的託管。它還提供存取最便宜 GPU 的市場。它提供免費方案供您入門。
• dstack Enterprise： 專為大型組織設計的自託管版本，包括單一登入（SSO）、進階治理控制和專屬企業支援等企業級功能。此版本可申請試用。

這種模式使 dstack 能夠為個人研究人員、新創公司和大型企業所用。