Anyscale

Anyscale 是領先的開源統一計算框架 Ray 背後的公司，該框架簡化了 AI 和 Python 應用程式的擴展。Anyscale 平台為運行 Ray 工作負載提供了一個全託管、企業級的環境，抽象了複雜的基礎設施管理，並加速了整個機器學習生命週期。它受到 OpenAI、Uber 和 Instacart 等行業領導者的信賴，用於支援其要求最嚴苛的 AI 工作負載。該平台專為開發人員和數據科學家設計，幫助他們從筆記型電腦上的開發無縫過渡到大規模生產，通常無需進行重大的程式碼更改。

如何使用 Anyscale

使用 Anyscale 涉及一個以開發人員為中心的工作流程，專注於在託管環境中利用 Ray 框架：

1. 選擇部署模型： 首先選擇您偏好的部署選項。您可以在 Anyscale 的託管雲中運行工作負載以快速入門，也可以在您自己的雲環境（AWS、GCP）或本地基礎設施中部署，以獲得更大的控制權和數據局部性。
2. 使用 Ray API 進行開發： 利用 Ray 簡單直觀的 Pythonic API 來並行化您的程式碼。通過向 Python 函數和類別添加像 @ray.remote 這樣的簡單裝飾器，您可以在叢集中分發任務和 actor。這適用於數據處理、模型訓練、超參數調整和模型服務。
3. 在 Anyscale 平台上部署： 將您的 Ray 應用程式部署到 Anyscale 平台。平台會自動處理叢集配置、自動擴展、依賴管理和容錯，讓您專注於應用程式邏輯而非基礎設施。
4. 監控和優化： 利用 Anyscale 全面的可觀測性工具套件。監控作業進度、可視化資源利用率、調試複雜的分佈式應用程式，並分析性能指標以優化速度和成本。
5. 無縫擴展： 輕鬆地將您的應用程式從用於測試的單台機器擴展到用於大規模生產工作負載的數千個 CPU 和 GPU。Anyscale 的引擎 RayTurbo 確保在任何規模下都能實現最佳的資源利用和性能。

Anyscale 的核心功能

• RayTurbo 引擎： Anyscale 專有的、性能優化的 Ray 執行時版本，為生產工作負載提供卓越的性能、效率和可靠性。
• 統一 AI 計算： 一個單一、內聚的平台，適用於整個 AI/ML 流程，從大規模數據處理和分佈式訓練到強化學習和線上服務。
• Python 原生可擴展性： 以最少的程式碼修改擴展原生 Python 及其豐富的庫生態系統（如 PyTorch、TensorFlow、Hugging Face），使所有 Python 開發人員都能輕鬆進行分佈式計算。
• 多雲和混合靈活性： 在任何主要雲提供商（AWS、GCP）、本地伺服器或混合配置中部署工作負載，避免供應商鎖定並將計算置於數據旁邊。
• 企業級治理和安全： 功能強大的訪問控制、用戶角色、使用情況監控和警報。在您自己的安全雲環境中運行，完全控制數據隱私和合規性。
• 高級開發人員工具： 包括用於可觀測性、調試和日誌記錄的集成工具，提供從開發到生產的平滑工作流程，並縮短上市時間。
• 無伺服器體驗： Anyscale 管理底層基礎設施，為開發人員提供無伺服器體驗。它根據工作負載需求自動擴展資源。

Anyscale 的使用案例

Anyscale 功能多樣，為各行各業的各種高要求 AI 應用提供支援：

• LLM 訓練和微調： 正如 OpenAI 和 Cohere 所展示的，Anyscale 用於訓練和微調世界上最大的語言模型，高效地管理大規模分佈式訓練作業。
• 生成式 AI 應用： 像 Jasper 這樣的公司使用 Anyscale 來構建和擴展其 AI 內容平台，支援像檢索增強生成（RAG）和多模態模型這樣的複雜工作負載。
• 大規模數據處理： 高效地預處理和轉換 PB 級數據用於 ML 模型訓練，顯著加快數據準備階段。
• 分佈式機器學習： Instacart 利用 Anyscale 將深度學習工作負載運行速度提高 12 倍，並在 100 倍以上的數據上訓練模型，從而優化其物流和用戶體驗。
• 實時模型服務和推理： Samsara 利用該平台擴展模型部署，並成功將推理成本降低了 50%，同時加快了部署週期。

Anyscale 的優勢特點

Anyscale 為希望擴展其 AI 計劃的組織提供了顯著優勢：

• 大幅降低成本： 通過最大化 GPU 和 CPU 利用率並提供高效的編排，客戶報告雲計算成本顯著降低，有時甚至超過 90%。
• 加快開發速度： 平台的簡潔性和強大的工具使開發人員能夠更快地迭代，在極短的時間內從概念走向生產。
• 無與倫比的可擴展性： Anyscale 專為處理全球規模的工作負載而構建，可以擴展以滿足最雄心勃勃的 AI 項目的需求。
• 靈活性和未來保障： 支援任何雲、任何加速器和任何 ML 庫，確保您的 AI 技術棧保持現代化並能適應未來的創新。
• 經過生產驗證： 經過世界領先 AI 公司的實戰檢驗，Anyscale 為關鍵任務應用提供了所需的可靠性和性能。

定價和計劃

Anyscale 提供靈活的、按使用付費的定價模型，基於計算使用量，而非 token。

• 免費開始： 獲得 100 美元信用額度以開始探索平台。
• 部署模型：
  1. 在您的雲中部署： 使用您自己的計算資源（AWS、GCP、本地）。您在雲提供商成本之外，向 Anyscale 支付少量平台服務費（按分鐘計）。價格因實例類型而異（例如，僅 CPU 約 0.00006 美元/分鐘，NVIDIA A100 80GB 約 0.02941 美元/分鐘）。
  2. 在 Anyscale 的雲中部署： 一個全託管解決方案，由 Anyscale 管理基礎設施。價格是全包的，也因實例類型而異（例如，僅 CPU 約 0.00855 美元/分鐘，NVIDIA A100 80GB 約 0.11312 美元/分鐘）。
• 批量折扣： 為大規模企業用戶提供定制報價和顯著折扣。請聯繫銷售了解詳情。
• 支援計劃： 提供分層支援計劃（開發者、企業、白金），提供不同級別的響應時間 SLA、專用支援渠道以及來自 Ray 創建者的專家指導。