Truefoundry

Truefoundryは、エージェント型AI（Agentic AI）アプリケーションを統制、デプロイ、スケーリング、追跡するために設計された、包括的なエンタープライズグレードのプラットフォームです。実験から本番稼働まで、AI/MLライフサイクル全体にわたる統一されたコントロールプレーンとして機能します。このプラットフォームは、オンプレミス、VPC、エアギャップ、またはマルチクラウドのセットアップを含むあらゆる環境で実行できるように構築されており、完全なデータ主権を保証します。MLOps、LLMops、およびインフラ管理のための堅牢なツールを提供することで、組織が安全かつ効率的にAIの導入を加速できるよう支援します。

Truefoundryの使い方

1. Truefoundryのウェブサイトでアカウントを登録します。組織固有のURL（例：your-company.truefoundry.cloud）が付与されます。
2. 確認メール経由でアカウントを有効化し、ログインします。
3. AIゲートウェイを利用して、単一の統一されたAPIエンドポイントを介して様々なLLMを接続・管理します。
4. 高性能なバックエンドを使用して、LLM、埋め込みモデル、またはカスタムモデルを含むあらゆるAIモデルをデプロイします。
5. プラットフォームを使用して、独自のデータでモデルをファインチューニングし、本番環境に直接デプロイします。
6. ロールベースのアクセス制御（RBAC）、レート制限、コスト予算などのガバナンスポリシーを設定・適用します。
7. 統合された可観測性ダッシュボードを使用して、プロンプトの実行やトークン使用量からGPUパフォーマンスまで、AIスタックのあらゆる側面を監視します。

Truefoundryの主な機能

• AIゲートウェイ： 負荷分散、フォールバック、セマンティックキャッシング、レート制限などの機能を備え、すべてのLLMリクエストを管理、ルーティング、保護する中央集権型ゲートウェイ。
• エージェント型AIオーケストレーション： 複雑なAIエージェントやワークフローのために、インテリジェントな多段階推論、ツール使用、メモリを可能にします。
• モデルのデプロイとサービング： vLLMやTGIなどの最適化されたバックエンドで、あらゆるオープンソースまたはカスタムAIモデルをホストします。Langgraph、CrewAI、AutoGenなどのフレームワークをサポートします。
• LLMファインチューニング： ファインチューニングジョブの開始、実験の追跡、更新されたモデルのデプロイを効率化するワークフロー。
• エンタープライズガバナンスとセキュリティ： 詳細なRBAC、SSO、不変の監査ログ、リアルタイムのポリシー適用機能を備えています。SOC 2、HIPAA、GDPR基準に準拠しています。
• 包括的な可観測性： プロンプト実行からGPUパフォーマンスまでのフルスタック追跡を提供し、Grafana、Datadog、Prometheusとの統合が可能です。
• 自動化されたインフラ最適化： GPUオーケストレーション、オートスケーリング、フラクショナルGPUサポートを自動的に管理し、使用率を最大化し、クラウドコストを削減します。

Truefoundryの使用例

MLOpsおよびDevOpsチーム向け： MLモデルのデプロイ、スケーリング、監視を効率化し、DevOpsの負担とインフラのオーバーヘッドを削減します。
エンタープライズAIプラットフォーム向け： 組織全体で安全なAI実験と本番化を可能にする、中央集権的で安全なガバナンスの効いたAIインフラを構築します。
データサイエンスチーム向け： ファインチューニングとデプロイのための統合ツールにより、モデルの実験から本番対応サービスへの移行を加速します。
AIアプリケーション開発者向け： マネージドで本番対応のスタックを使用して、複雑なRAGおよびエージェント型アプリケーションをより迅速に構築・デプロイします。

Truefoundryの利点

価値実現の加速： モデルのデプロイタイムラインを60%以上短縮し、モデルの市場投入までの時間を最大80%削減します。
大幅なコスト削減： 自動化されたインフラの適正化によりクラウド支出を40〜50%削減し、GPUクラスターの使用率を最大80%向上させます。
統一された制御とガバナンス： すべてのAIモデルとクラウドにわたるセキュリティ、可観測性、ポリシーを管理するための単一プラットフォームを提供します。
デプロイの柔軟性： オンプレミス、VPC、エアギャップ、マルチクラウドのデプロイをサポートし、完全な主権を提供します。
高性能： AIゲートウェイは低遅延（約3msの追加）と高スループット（1 vCPUで350+ RPS）を実現するように設計されており、応答性の高いユーザーエクスペリエンスを保証します。

料金プラン

Truefoundryは、さまざまなチーム規模とニーズに合わせて設計された柔軟なプランを提供しています：
- Developerプラン： 月額$0。月間5万リクエスト、最大3ユーザーまでサポート。個人や初期段階の実験に最適です。
- Proプラン： 月額$499。月間100万リクエスト、最大10ユーザーまでサポート。セマンティックキャッシング、高度なルーティング、より高い制限などの高度な機能が利用可能になります。
- Enterpriseプラン： カスタム価格。カスタムリクエスト量、高度なセキュリティ（SSO、GDPR、HIPAA）、オンプレミス/VPCデプロイ、エンタープライズグレードのSLAを必要とする大規模組織向けに設計されています。