Banana

重要通知：Banana 無伺服器 GPU 平台已於 2024 年 3 月 31 日正式關閉，不再是活躍服務。以下描述詳細介紹了該平台在停止營運前的功能與特性。

Banana 是一個專門的雲端基礎設施平台，旨在簡化 AI 模型的部署和推理擴展。它主要針對需要可靠、高吞吐量且具成本效益的解決方案來運行 GPU 密集型工作負載，而又不想處理管理自身基礎設施複雜性的 AI 團隊和開發者。該平台建立在提供無縫開發者體驗的原則之上，將無伺服器架構與強大的 GPU 資源相結合。

Banana 產品的核心是其無伺服器 GPU 託管服務，允許模型在可自訂的容器環境中部署。這得益於 Banana 的開源 Python 框架 Potassium，它使開發者能夠輕鬆封裝他們的模型（來自 PyTorch、TensorFlow 和 Hugging Face 等流行函式庫）並為部署做好準備。該平台的架構專為高吞吐量推理而設計，能自動管理資源以高效處理波動的需求。

如何使用 Banana

在 Banana 上的開發和部署工作流程被設計得簡單直接，並與標準開發實踐相結合：

1. 模型準備：開發者使用 Potassium 框架來建構他們的 Python 程式碼。這通常包括一個 `init()` 函數，用於在啟動時將模型和其他大型資產載入到記憶體中，以及一個 `handler()` 函數，用於使用預載入的模型處理傳入的推理請求。
2. 容器化：應用程式及其所有依賴項（例如 `torch`、`transformers`）被打包到一個 Docker 容器中，確保了環境的一致性和可重現性。
3. 部署：開發者可以使用提供的命令列介面（CLI）或透過與 GitHub 的直接整合進行 CI/CD 管道部署，將他們的容器化應用部署到 Banana 平台。這支援了滾動部署和基於分支的測試環境等功能。
4. 擴展與推理：部署後，Banana 會為模型提供一個唯一的 API 端點。平台的自動擴展器會根據即時請求流量自動增加或減少 GPU 副本，從零開始擴展以應對突發流量，並在閒置時縮減至零以節省成本。

Banana 的核心功能

• 自動擴展 GPU：根據需求自動調整活動 GPU 實例的數量，確保高峰時段的高性能並在低谷時段最小化成本。
• 穿透式定價：提供透明的定價模型，包括固定的月度平台費和 GPU 計算時間的直接成本價，沒有任何加價。
• 全功能 DevOps 平台：包括現代開發所必需的工具，如 GitHub 整合、CI/CD、強大的 CLI、滾動部署、追蹤和集中式日誌記錄。
• 可觀測性與分析：提供內建儀表板，用於即時監控請求流量、延遲和錯誤率。它還提供業務分析功能，以追蹤支出和端點使用情況。
• Potassium 框架：一個開源 Python 框架，簡化了創建生產就緒、容器化的模型伺服器的過程。
• 自動化 API：一個全面的 API，附帶 SDK，允許以編程方式管理和自動化部署及其他平台資源。

Banana 的使用案例

Banana 非常適合各種 AI 推理任務，特別是那些需要自訂模型或專門處理邏輯的任務。常見用例包括：

• 託管經過微調的大型語言模型（LLM），用於自訂聊天機器人或內容生成應用。
• 部署像 Stable Diffusion 這樣的圖像生成模型，並帶有自訂的預處理或後處理步驟。
• 為即時或批量處理任務提供 Whisper 等音訊轉錄模型服務。
• 運行電腦視覺模型，用於目標檢測、圖像分類或其他分析任務。

Banana 的優勢特點

Banana 的主要優勢在於它能夠抽象化 GPU 基礎設施管理的複雜性。這使得團隊能夠專注於構建和改進他們的模型，而不是 DevOps。其從零開始的自動擴展和按成本計算的模型使其成為處理可變流量工作負載的極具成本效益的解決方案。以開發者為中心的工具和整合簡化了從開發到部署和監控的整個 MLOps 生命週期。

定價和計劃

在關閉之前，Banana 提供以下計劃：

• 團隊計劃：定價為每月 1200 美元外加按成本計算的費用。該計劃專為小團隊設計，支援 10 名團隊成員、5 個專案和最多 50 個並行 GPU，並包含日誌記錄、分析和自訂 GPU 類型等功能。
• 企業計劃：提供自訂定價外加按成本計算的費用。它包括團隊計劃的所有功能，外加企業級功能，如 SAML SSO、專用的自動化 API、更高的並行 GPU 限制、可自訂的推理佇列和專屬支援。