FriendliAI

FriendliAIは、AIモデルのデプロイとスケーリングを簡単、高速、かつコスト効率よく行うことを目指す、包括的な生成AIインフラストラクチャ企業です。このプラットフォームは、生成AIの推論を加速させるための一連のツールを提供し、企業が開発から本番環境へシームレスに移行できるよう支援します。画期的な最適化技術を活用することで、FriendliAIはパフォーマンスを向上させながら、運用コストとハードウェア要件を大幅に削減します。Llama、Mixtral、Qwenなどの人気のオープンソースLLMや、カスタムおよびマルチモーダルモデルを含む40万以上のモデルからなる広大なエコシステムをサポートしています。

FriendliAIの提供するサービスの中核は、さまざまなデプロイニーズに合わせて調整された3つの主要製品を含むFriendli Suiteです。保証されたパフォーマンスのためのFriendli Dedicated Endpoints、従量課金制の柔軟性を持つFriendli Serverless Endpoints、そして企業自身のインフラ内で最高のセキュリティを実現するFriendli Containerです。このプラットフォームは、Iteration Batching（Continuous Batching）、最適化されたGPUカーネル、ネイティブ量子化といった独自の技術に基づいて構築されており、これらが一体となって業界をリードするスループットと低遅延を実現します。

FriendliAIの使い方

FriendliAIの利用開始は、開発者やMLOpsチーム向けに設計されており、非常に簡単です。一般的なワークフローは以下の通りです。

1. サインアップと製品選択： Friendli Suiteでアカウントを作成します。ニーズに応じて、無料トライアルまたはクレジットで開始できます。Dedicated Endpoints、Serverless Endpoints、またはContainerソリューションから選択します。
2. 新しいエンドポイントの作成： ダッシュボードで新しいプロジェクトを作成し、次に新しいエンドポイントを作成します。一意の名前を付けます。
3. モデルの選択： Hugging FaceやWeights & Biases (W&B)などの人気リポジトリから直接モデルをデプロイできます。モデルIDを提供するだけです。または、独自にトレーニングしたカスタムモデルをアップロードすることもできます。
4. インスタンスの設定： モデルのサイズとパフォーマンス要件に基づいて、適切なGPUインスタンスタイプ（例：A100、H100）を選択します。プラットフォームはVRAMの問題を防ぐための提案を提供します。
5. 自動スケーリングの設定： コストとパフォーマンスを効果的に管理するために、自動スケーリングパラメータを設定します。最小および最大のレプリカ数を設定でき、アイドル期間中のコストをなくすためにゼロにスケールダウンする機能もあります。
6. デプロイとテスト： 「作成」をクリックしてエンドポイントをデプロイします。初期化後、内蔵の「プレイグラウンド」を使用してテストプロンプトを送信し、出力を確認できます。
7. アプリケーションとの統合： 提供されたAPIキーとコードスニペット（cURL、Python）を使用して、推論エンドポイントをアプリケーション、製品、またはサービスに統合します。
8. 監視と最適化： 統合されたダッシュボードを活用して、エンドポイントのパフォーマンスを監視し、ログを表示し、メトリクスを分析して、デプロイをさらに最適化します。

FriendliAIの主な機能

• Friendli Suite： 3つのデプロイオプション（Dedicated Endpoints（リソース保証）、Serverless Endpoints（従量課金）、Container（オンプレミス/VPC））を備えたオールインワンプラットフォーム。
• 画期的なパフォーマンス： Iteration Batching（Continuous Batching）などの独自技術を活用し、代替ソリューションと比較して最大10.7倍高いスループットと6.2倍低い遅延を実現します。
• コスト効率： 同じワークロードに必要なGPUを最大6倍削減することで、50〜90%のコスト削減を実現します。
• 広範なモデルサポート： Hugging Face、W&Bから40万以上のモデルをシームレスにデプロイ、またはマルチモーダルモデルを含むカスタムモデルをアップロードできます。
• 高度な量子化： FP8、INT8、AWQなどのネイティブ量子化技術をサポートし、精度を損なうことなく効率的にモデルを提供します。
• インテリジェントな自動スケーリング： リアルタイムの需要に基づいてリソースを自動的に調整し、コストを最小限に抑えるためにゼロへのスケーリングも可能です。
• AIエージェント構築ツール： モデルに依存しない関数呼び出し、構造化出力、ウェブ検索や計算機などのツールとの統合を特徴とし、信頼性が高く複雑なAIエージェントを構築できます。
• 本番環境対応： 保証されたSLA、クラウドまたはオンプレミス展開のための堅牢なセキュリティ、高度な監視およびデバッグツールを提供します。

FriendliAIの使用例

FriendliAIは、要求の厳しい本番グレードのAIアプリケーションで、主要企業から信頼されています。

• 大規模AIサービス： SKTのような通信事業者は、FriendliAIを使用して数百万人のユーザー向けにAIサービスを提供し、5倍高いスループットと3倍のコスト削減を達成しています。
• 高トラフィックチャットボット： NextDay AIのような企業は、毎月3兆トークン以上を処理するパーソナライズされたキャラクターチャットボットを運営し、Friendli ContainerでGPU使用量を50%以上削減しています。
• エンタープライズAIアプリケーション： Friendli Containerを使用して、内部ナレッジベース検索、コード生成、顧客サポートの自動化など、特定のビジネス機能向けにカスタム調整されたモデルを完全なデータプライバシーでデプロイします。
• モデルの評価と選択： Serverless Endpointsの並べて比較機能を使い、特定のユースケースに最適なパフォーマンスのモデルを評価・選択します。
• 複雑なAIエージェントの構築： 外部ツールと信頼性の高い関数呼び出しでAIエージェントを強化し、データ分析、予約システム、自動化されたワークフローなどの複雑なタスクを実行します。

FriendliAIの利点

FriendliAIは、パフォーマンス、コスト、柔軟性に重点を置くことで、明確な競争優位性を提供します。その中核となる利点は、他のソリューションを劇的に上回る独自の推論エンジンにあります。これにより、クラウドコンピューティング費用の大幅な削減や、より少ないハードウェアでより多くのユーザーにサービスを提供できるといった直接的なメリットがもたらされます。プラットフォームの柔軟性により、企業はセキュリティとスケーリングのニーズに最適なデプロイモデルを選択できます。完全マネージドのサーバーレスAPIであれ、プライベートクラウドで実行されるコンテナであれ、選択は自由です。Hugging Faceからワンクリックでデプロイできる使いやすさと包括的な監視ツールは、エンジニアリングチームの運用負担を軽減し、革新的なAI製品の構築に集中できるようにします。

料金プラン

FriendliAIは、フリーミアムのエントリーポイントを持つ、柔軟な使用量ベースの料金モデルを提供しています。

• ベーシックプラン： 5ドルの無料クレジットで始められます。このプランは従量課金制で、設定可能な自動スケーリングやカスタムモデルのデプロイなどのコア機能にアクセスできます。
• エンタープライズプラン： 大規模なデプロイ向けに設計されており、ベーシックプランのすべてに加えて、需要の高いGPUへの優先アクセス、高度な監視（メトリクス＆ログ）、専用サポート、カスタム料金見積もりが含まれます。

Friendli Dedicated Endpointsの料金はGPU時間ごとに請求され、レートはGPUの種類によって異なります。

• A100 80GB： 2.9ドル/時間
• H100 80GB： 4.9ドル/時間
• H200 141GB： 5.9ドル/時間

Friendli ContainerおよびFriendli Serverless Endpointsの料金も利用可能で、それぞれの特定の利用パターンに合わせて調整されています。エンタープライズのお客様は、営業に連絡してカスタマイズされた割引料金プランを入手できます。