Anyscale

Anyscale 是领先的开源统一计算框架 Ray 背后的公司，该框架简化了 AI 和 Python 应用程序的扩展。Anyscale 平台为运行 Ray 工作负载提供了一个全托管、企业级的环境，抽象了复杂的基础设施管理，并加速了整个机器学习生命周期。它受到 OpenAI、Uber 和 Instacart 等行业领导者的信赖，用于支持其要求最严苛的 AI 工作负载。该平台专为开发人员和数据科学家设计，帮助他们从笔记本电脑上的开发无缝过渡到大规模生产，通常无需进行重大的代码更改。

如何使用 Anyscale

使用 Anyscale 涉及一个以开发人员为中心的工作流程，专注于在托管环境中利用 Ray 框架：

1. 选择部署模型： 首先选择您偏好的部署选项。您可以在 Anyscale 的托管云中运行工作负载以快速入门，也可以在您自己的云环境（AWS、GCP）或本地基础设施中部署，以获得更大的控制权和数据局部性。
2. 使用 Ray API 进行开发： 利用 Ray 简单直观的 Pythonic API 来并行化您的代码。通过向 Python 函数和类添加像 @ray.remote 这样的简单装饰器，您可以在集群中分发任务和 actor。这适用于数据处理、模型训练、超参数调整和模型服务。
3. 在 Anyscale 平台上部署： 将您的 Ray 应用程序部署到 Anyscale 平台。平台会自动处理集群配置、自动扩展、依赖管理和容错，让您专注于应用程序逻辑而非基础设施。
4. 监控和优化： 利用 Anyscale 全面的可观测性工具套件。监控作业进度、可视化资源利用率、调试复杂的分布式应用程序，并分析性能指标以优化速度和成本。
5. 无缝扩展： 轻松地将您的应用程序从用于测试的单台机器扩展到用于大规模生产工作负载的数千个 CPU 和 GPU。Anyscale 的引擎 RayTurbo 确保在任何规模下都能实现最佳的资源利用和性能。

Anyscale 的核心功能

• RayTurbo 引擎： Anyscale 专有的、性能优化的 Ray 运行时版本，为生产工作负载提供卓越的性能、效率和可靠性。
• 统一 AI 计算： 一个单一、内聚的平台，适用于整个 AI/ML 流程，从大规模数据处理和分布式训练到强化学习和在线服务。
• Python 原生可扩展性： 以最少的代码修改扩展原生 Python 及其丰富的库生态系统（如 PyTorch、TensorFlow、Hugging Face），使所有 Python 开发人员都能轻松进行分布式计算。
• 多云和混合灵活性： 在任何主要云提供商（AWS、GCP）、本地服务器或混合配置中部署工作负载，避免供应商锁定并将计算置于数据旁边。
• 企业级治理和安全： 功能强大的访问控制、用户角色、使用情况监控和警报。在您自己的安全云环境中运行，完全控制数据隐私和合规性。
• 高级开发人员工具： 包括用于可观测性、调试和日志记录的集成工具，提供从开发到生产的平滑工作流程，并缩短上市时间。
• 无服务器体验： Anyscale 管理底层基础设施，为开发人员提供无服务器体验。它根据工作负载需求自动扩展资源。

Anyscale 的使用案例

Anyscale 功能多样，为各行各业的各种高要求 AI 应用提供支持：

• LLM 训练和微调： 正如 OpenAI 和 Cohere 所展示的，Anyscale 用于训练和微调世界上最大的语言模型，高效地管理大规模分布式训练作业。
• 生成式 AI 应用： 像 Jasper 这样的公司使用 Anyscale 来构建和扩展其 AI 内容平台，支持像检索增强生成（RAG）和多模态模型这样的复杂工作负载。
• 大规模数据处理： 高效地预处理和转换 PB 级数据用于 ML 模型训练，显著加快数据准备阶段。
• 分布式机器学习： Instacart 利用 Anyscale 将深度学习工作负载运行速度提高 12 倍，并在 100 倍以上的数据上训练模型，从而优化其物流和用户体验。
• 实时模型服务和推理： Samsara 利用该平台扩展模型部署，并成功将推理成本降低了 50%，同时加快了部署周期。

Anyscale 的优势特点

Anyscale 为希望扩展其 AI 计划的组织提供了显著优势：

• 大幅降低成本： 通过最大化 GPU 和 CPU 利用率并提供高效的编排，客户报告云计​​算成本显著降低，有时甚至超过 90%。
• 加快开发速度： 平台的简洁性和强大的工具使开发人员能够更快地迭代，在极短的时间内从概念走向生产。
• 无与伦比的可扩展性： Anyscale 专为处理全球规模的工作负载而构建，可以扩展以满足最雄心勃勃的 AI 项目的需求。
• 灵活性和未来保障： 支持任何云、任何加速器和任何 ML 库，确保您的 AI 技术栈保持现代化并能适应未来的创新。
• 经过生产验证： 经过世界领先 AI 公司的实战检验，Anyscale 为关键任务应用提供了所需的可靠性和性能。

定价和计划

Anyscale 提供灵活的、按使用付费的定价模型，基于计算使用量，而非 token。

• 免费开始： 获得 100 美元信用额度以开始探索平台。
• 部署模型：
  1. 在您的云中部署： 使用您自己的计算资源（AWS、GCP、本地）。您在云提供商成本之外，向 Anyscale 支付少量平台服务费（按分钟计）。价格因实例类型而异（例如，仅 CPU 约 0.00006 美元/分钟，NVIDIA A100 80GB 约 0.02941 美元/分钟）。
  2. 在 Anyscale 的云中部署： 一个全托管解决方案，由 Anyscale 管理基础设施。价格是全包的，也因实例类型而异（例如，仅 CPU 约 0.00855 美元/分钟，NVIDIA A100 80GB 约 0.11312 美元/分钟）。
• 批量折扣： 为大规模企业用户提供定制报价和显著折扣。请联系销售了解详情。
• 支持计划： 提供分层支持计划（开发者、企业、白金），提供不同级别的响应时间 SLA、专用支持渠道以及来自 Ray 创建者的专家指导。