Banana

重要なお知らせ：BananaサーバーレスGPUプラットフォームは2024年3月31日に正式に閉鎖され、現在アクティブなサービスではありません。以下の説明は、サービス停止前のプラットフォームの機能と性能について詳述したものです。

Bananaは、AIモデルのデプロイと推論のスケーリングを簡素化するために設計された専門的なクラウドインフラプラットフォームでした。これは、自身のインフラを管理する複雑さなしに、GPU集約型のワークロードを実行するための信頼性が高く、高スループットで、コスト効率の良いソリューションを必要とするAIチームや開発者を対象としていました。このプラットフォームは、サーバーレスアーキテクチャと強力なGPUリソースを組み合わせることで、シームレスな開発者体験を提供するという原則に基づいて構築されました。

Bananaの提供の中核は、モデルをカスタマイズ可能なコンテナ環境にデプロイできるサーバーレスGPUホスティングでした。これは、BananaのオープンソースPythonフレームワークであるPotassiumによって支えられており、開発者はPyTorch、TensorFlow、Hugging Faceなどの人気ライブラリのモデルを簡単にラップし、デプロイの準備をすることができました。プラットフォームのアーキテクチャは、高スループットの推論用に設計されており、変動する需要を効率的に処理するためにリソースを自動的に管理していました。

Bananaの使い方

Bananaでの開発とデプロイのワークフローは、標準的な開発慣行と統合され、簡単になるように設計されていました：

1. モデルの準備：開発者はPotassiumフレームワークを使用してPythonコードを構造化しました。これには通常、起動時にモデルやその他の重いアセットをメモリにロードする`init()`関数と、プリロードされたモデルを使用して受信推論リクエストを処理する`handler()`関数が含まれていました。
2. コンテナ化：アプリケーションは、すべての依存関係（例：`torch`、`transformers`）とともにDockerコンテナにパッケージ化され、一貫性のある再現可能な環境を保証しました。
3. デプロイ：開発者は、提供されたコマンドラインインターフェース（CLI）を使用するか、CI/CDパイプラインのためにGitHubと直接統合することで、コンテナ化されたアプリケーションをBananaプラットフォームにデプロイできました。これにより、ローリングデプロイやブランチベースのテスト環境などの機能が可能になりました。
4. スケーリングと推論：デプロイされると、Bananaはモデルに一意のAPIエンドポイントを提供しました。プラットフォームのオートスケーラーは、リアルタイムのリクエストトラフィックに基づいてGPUレプリカを自動的に増減させ、ピークに対応するためにゼロからスケールアップし、アイドル期間中はコストを節約するためにゼロにスケールダウンしました。

Bananaの主な機能

• オートスケーリングGPU：需要に基づいてアクティブなGPUインスタンスの数を自動的に調整し、ピーク時の高性能を確保し、閑散時のコストを最小限に抑えました。
• パススルー価格設定：固定の月額プラットフォーム料金と、マークアップなしのGPUコンピューティング時間の直接原価を組み合わせた透明性の高い価格モデルを提供しました。
• 完全なDevOpsプラットフォーム：GitHub統合、CI/CD、強力なCLI、ローリングデプロイ、トレーシング、集中ロギングなど、現代の開発に不可欠なツールが含まれていました。
• 可観測性と分析：リクエストトラフィック、レイテンシ、エラー率をリアルタイムで監視するための組み込みダッシュボードを提供しました。また、支出とエンドポイントの使用状況を追跡するためのビジネス分析も提供しました。
• Potassiumフレームワーク：本番環境に対応したコンテナ化されたモデルサーバーの作成プロセスを簡素化するオープンソースのPythonフレームワーク。
• 自動化API：デプロイやその他のプラットフォームリソースをプログラムで管理および自動化できるSDKを備えた包括的なAPI。

Bananaの使用例

Bananaは、さまざまなAI推論タスク、特にカスタムモデルや特殊な処理ロジックを必要とするタスクに最適でした。一般的な使用例は次のとおりです：

• カスタムチャットボットやコンテンツ生成アプリケーションのためのファインチューニングされた大規模言語モデル（LLM）のホスティング。
• カスタムの前処理または後処理ステップを持つStable Diffusionのような画像生成モデルのデプロイ。
• リアルタイムまたはバッチ処理のためのWhisperなどの音声文字起こしモデルの提供。
• 物体検出、画像分類、その他の分析タスクのためのコンピュータビジョンモデルの実行。

Bananaの利点

Bananaの主な利点は、GPUインフラ管理の複雑さを抽象化する能力でした。これにより、チームはDevOpsではなく、モデルの構築と改善に集中できました。ゼロからのオートスケーリングと原価計算モデルは、変動するトラフィックを持つワークロードにとって非常にコスト効率の良いソリューションでした。開発者中心のツールと統合は、開発からデプロイ、監視までのMLOpsライフサイクル全体を合理化しました。

料金プラン

サービス終了前、Bananaは以下のプランを提供していました：

• チームプラン：月額1200ドル＋原価計算。このプランは小規模チーム向けに設計され、10人のチームメンバー、5つのプロジェクト、最大50の並列GPUをサポートし、ロギング、分析、カスタムGPUタイプなどの機能が含まれていました。
• エンタープライズプラン：カスタム価格＋原価計算。チームプランのすべての機能に加えて、SAML SSO、専用の自動化API、より高い並列GPU制限、カスタマイズ可能な推論キュー、専用サポートなどのエンタープライズグレードの機能が含まれていました。