Baseten

Basetenは、本番環境でAIモデルをデプロイ、提供、スケーリングするために設計された包括的なプラットフォームです。AI製品を迅速かつ効率的に市場に投入するために必要なインフラ、ツール、専門知識を提供します。Baseten Inference Stackを搭載し、ミッションクリティカルな推論ワークロード向けに、高性能なモデルランタイム、クロスクラウドの高可用性、開発者中心のエクスペリエンスを提供します。

Basetenの使い方

1. デプロイ方法を選択：プロトタイピングのために事前最適化されたモデルに即座にアクセスできるModel APIを利用するか、カスタム、ファインチューニング、またはオープンソースモデル用のDedicated Deploymentを作成します。
2. Trussでモデルをパッケージ化：Trussは、あらゆる機械学習フレームワークをサポートするBasetenのオープンソース標準です。
3. 好みの環境にデプロイ：Basetenのフルマネージドクラウド、セルフホスティング用の独自のVPC、または両方を組み合わせたハイブリッドセットアップにデプロイします。
4. トラフィックに基づいてアプリケーションを自動スケーリング：高速なコールドスタートや99.99%のアップタイムなどの機能を活用します。
5. （オプション）Basetenの推論に最適化されたインフラを活用して、最高の生産性能を得るためにモデルをトレーニングします。

Basetenの主な機能

• Baseten Inference Stack：カスタムカーネル、高度なキャッシング、最新のデコーディング技術を備えた高性能エンジンで、低レイテンシーと高スループットを実現します。
• 柔軟なデプロイオプション：セキュリティとパフォーマンスのニーズに合わせて、Baseten Cloud（フルマネージド）、Self-hosted（VPC内）、Hybridデプロイメントから選択できます。
• 幅広いモデルサポート：LLM、画像生成モデル（ComfyUIワークフローなど）、文字起こし、テキスト読み上げなど、あらゆるカスタム、プロプライエタリ、またはオープンソースモデルをデプロイします。
• 本番環境対応のModel API：DeepSeek、Kimi、Qwenなどの人気モデルのライブラリに即座にアクセスし、本番環境グレードのパフォーマンスで評価します。
• クラウドネイティブインフラストラクチャ：自動スケーリング、あらゆるクラウドプロバイダーにわたるグローバルリージョンサポート、超高速のコールドスタート、99.99%のアップタイム保証を特徴とします。
• 複合AIチェーン：複雑なマルチモデルAIワークフローに対して、きめ細かいハードウェア制御と自動スケーリングを可能にし、GPU使用率を向上させ、レイテンシーを削減します。
• 専門的なエンジニアリングサポート：プロトタイプから本番環境まで、ハンズオンでの支援を提供するフォワードデプロイドエンジニアへのアクセスが可能です。

Basetenの使用例

Basetenは、要求の厳しいリアルタイムAIアプリケーションの構築に最適です。使用例には、低レイテンシーのAI電話エージェントの強化、画像やテキスト作成のための生成AI製品の開発、検索や取得のための高スループットの埋め込みモデルの提供、金融やヘルスケアなどの専門業界向けのカスタムビルドLLMのデプロイなどがあります。

Basetenの利点

Basetenの主な利点は、その卓越したパフォーマンス、コスト効率、スケーラビリティです。推論スタック全体を最適化することで、レイテンシーを大幅に削減し、スループットを向上させます。これは、Bland AIなどのクライアントが400ms未満の応答時間を達成するのを助けたことからも明らかです。従量課金モデルによりアイドル時間のコストが不要になり、トラフィックベースの自動スケーリングにより急成長中の信頼性が確保されます。また、このプラットフォームはSOC 2 Type II認定およびHIPAAに準拠しており、エンタープライズグレードのセキュリティを保証します。

料金プラン

Basetenは、成長に合わせて設計された階層的な料金体系を提供しています。
- Basic：月額0ドルからの従量課金プラン。Dedicated Deployments、Model API、高速コールドスタートへのアクセスが含まれ、SOC 2 Type IIおよびHIPAAに準拠しています。
- Pro：需要の高いGPUへの優先アクセス、専用コンピュート、より高いレート制限、SlackおよびZoomによるハンズオンサポートを追加するカスタム見積もりプラン。
- Enterprise：VPC内でのセルフホスティング、カスタムSLA、高度なセキュリティ、既存のクラウドコミットメントの使用機能を提供する、完全な制御のためのカスタム見積もりプラン。

利用料金は2つのモデルに基づいて請求されます。
- Model API：100万入力および出力トークンごとに価格設定されます。例えば、Kimi K2は100万入力トークンあたり0.60ドル、100万出力トークンあたり2.50ドルです。
- Dedicated Deployments：コンピュート時間の分単位で請求されます。例えば、A10G GPUインスタンスは分あたり0.02012ドル、H100 GPUは分あたり0.10833ドルです。