dstack

dstack 是一款功能强大的开源容器编排器，专门为解决 AI 和机器学习团队面临的挑战而设计。其主要目标是简化复杂的工作负载编排过程，并显著提高昂贵 GPU 资源的利用率。作为一个与供应商无关的平台，dstack 提供了一个统一的计算层，能够无缝集成任何 GPU 云（如 AWS、GCP、Azure、OCI）、本地集群以及包括 NVIDIA、AMD、TPU 在内的各种加速硬件。这种灵活性确保团队不会被锁定在单一供应商，并可以根据需求在任何地方利用最佳硬件。

该平台以开发者体验为核心进行设计，抽象了底层的技术设施复杂性。这使得机器学习工程师和研究人员能够专注于构建、训练和部署模型，而不是管理服务器、依赖项和扩展。dstack 因其能够从快速原型设计扩展到大型多节点分布式训练任务而受到 Electronic Arts 和 Mobius Labs 等世界级机器学习团队的信赖。

如何使用 dstack

dstack 的入门过程非常直接，旨在实现快速采用：

1. 设置服务器： 您可以首先使用简单的命令 uv tool install "dstack[all]" 在本地机器上安装 dstack 服务器，并用 dstack server 运行它。或者，您可以使用官方 Docker 镜像在任何地方部署它，或注册 dstack Sky（托管云版本），以避免自己托管。
2. 定义配置： dstack 中的工作流通过项目仓库中的简单 YAML 文件进行定义。这些配置描述了任务的环境、资源和命令。关键配置类型包括：
   • 开发环境 (Dev Environments)： 用于交互式开发，允许您将本地 IDE（如 VS Code）连接到功能强大的远程 GPU 机器。
   • 任务 (Tasks)： 用于调度批处理作业，例如预训练或微调模型。这非常适合运行至完成的工作负载。
   • 服务 (Services)： 用于将模型部署为安全的、可自动扩展的、与 OpenAI 兼容的端点。
   • 集群 (Fleets)： 用于将一组云或本地实例作为单个资源池进行管理。
3. 应用配置： 准备好 YAML 文件后，使用命令行界面应用它：dstack apply。dstack 会处理剩下的所有事情：配置必要的基础设施、调度作业、管理自动扩展、处理端口转发，并将日志流式传输回您的终端。要进行分离式执行，您可以使用 -d 标志。

dstack 的核心功能

• 统一计算层： 为您所有的 AI 计算资源（无论是云上还是本地）提供单一的、与供应商无关的控制平面。
• 广泛的加速器支持： 原生支持多种硬件，包括 NVIDIA GPU、AMD GPU、Google Cloud TPU、Intel Gaudi 和 Tenstorrent 加速器。
• 以开发者为中心的工作流： 提供专门的配置，如用于交互式编码的开发环境、用于批处理的任务以及用于轻松部署模型的服务。
• 高效的资源管理： 内置调度器以最大化 GPU 利用率。它包含自动终止未充分利用实例的策略，从而节省成本。
• 无缝集成： 与主流 GPU 云（AWS、GCP、Azure、OCI）顺畅协作，并可在现有 Kubernetes 集群之上运行。SSH 集群功能允许连接裸机服务器。
• 自动扩展服务： 轻松将模型部署为生产就绪的服务，具有自动扩展、HTTPS 和与 OpenAI 兼容的 API 端点等功能。
• 数据持久化： 支持网络和实例卷，以在多次运行之间持久化数据、模型和缓存，确保状态不会丢失。
• 高级配置： 允许通过容量问题的重试策略、环境变量管理和自定义 Docker 镜像支持等功能进行精细控制。

dstack 的使用案例

dstack 功能多样，支持广泛的机器学习工作流：

• 模型训练与微调： 使用 TRL、Axolotl 和 DeepSpeed 等流行框架，为大型语言模型（LLM）运行单节点或分布式训练作业。
• 推理与模型服务： 使用 vLLM、SGLang、TGI 和 NVIDIA NIM 等高性能服务框架部署优化后的模型进行推理。
• 交互式 AI 开发： 机器学习工程师可以在几秒钟内启动由 GPU 支持的强大开发环境，连接本地 IDE 进行交互式实验和代码调试。
• 高性能集群管理： 在专门的多节点集群（如 GCP A3 Mega 或启用 AWS EFA 的实例）上设置、配置和运行测试（例如 NCCL 测试）。
• 跨云成本优化： 轻松比较和利用不同云提供商中针对任何给定任务的最具成本效益的 GPU 实例。

dstack 的优势特点

dstack 的主要优势在于其能够极大地简化 AI 基础设施。它通过让机器学习团队专注于他们的研究和模型而非基础设施来赋能他们。主要好处包括提高生产力、通过更好的 GPU 利用率和访问竞价实例来显著节省成本，以及防止供应商锁定。其开源性质促进了透明度和社区驱动的开发，而以开发者为中心的设计使其能够极其轻松地定义配置并运行，而无需担心 GPU 可用性或复杂的设置。

定价和计划

dstack 提供灵活的定价结构以满足不同需求：

• dstack (开源)： 核心平台是开源且免费的。您可以在自己的基础设施上自托管，无需任何许可费用。
• dstack Sky： 一项托管云服务，为您处理 dstack 服务器的托管。它还提供访问最便宜 GPU 的市场。它提供免费套餐供您入门。
• dstack Enterprise： 专为大型组织设计的自托管版本，包括单点登录（SSO）、高级治理控制和专属企业支持等企业级功能。此版本可申请试用。

这种模式使 dstack 能够为个人研究人员、初创公司和大型企业所用。