withpi.ai

Pi Labsによって開発されたwithpi.aiは、データと共に進化する高度な評価および検索システムを開発者が構築するために設計された先進的なプラットフォームです。自然言語とコードベースの基準の両方をあらゆるAIアプリケーションに統合し、調整可能なランキングおよびスコアリングシステムを作成するための一連のツールを提供します。このプラットフォームの核となる使命は、主観的な評価を、AIスタック全体で使用できる、正確でユーザーによって調整された、コスト効率の高いシグナルに変換することです。

高価で遅い大規模言語モデル（LLM）を判定者として利用する従来の方法とは異なり、withpi.aiは、評価タスクの速度と精度に最適化された専門の基盤モデルであるPi Scorerを提供します。これにより、開発者はAIのパフォーマンスの複数のカスタムディメンションを迅速かつ手頃な価格で測定でき、ユーザーの期待とビジネス目標との継続的な整合性を確保できます。

withpi.aiの使い方

withpi.aiをワークフローに統合するのは簡単で、わずか数行のコードで完了します。プロセスには通常、以下が含まれます：

1. サインアップしてAPIキーを取得： withpi.aiのウェブサイトで登録し、API認証情報を取得します。
2. クライアントのインストール： 簡単な統合のために公式のPythonライブラリをインストールします。
3. スコアリング基準の定義： 評価のための質問と基準を定義する`scoring_spec`を作成します。これは、製品要件、ユーザーフィードバック、またはその他の関連メトリクスに基づいています。例：`[{"question": "強力な行動喚起はありますか？"}]`。
4. AI出力のスコアリング： `pi.scoring_system.score()`メソッドを使用し、LLMの入力、LLMの出力、および定義したスコアリング仕様を渡します。
5. スコアの統合： 返されるスコアは決定論的であり、スタックのどこでも使用できます：オフライン評価、オンラインの可観測性、トレーニングデータの品質向上、モデルの最適化、エージェントの制御フローなど。プラットフォームはフレームワークに依存せず、Googleスプレッドシート、Promptfoo、CrewAIなどのツールに簡単にプラグインできます。

withpi.aiの主な機能

• Pi Scorer： スコアリング専用に設計された高度に最適化された基盤モデル。評価タスクにおいて、汎用LLMよりも高速で正確です。
• Pi Ranking： 検索と推薦のための強力なランキングシステムを構築するためのカスタマイズ可能なクロスエンコーダーを提供します。
• Pi Embedding： 高性能な検索アプリケーション向けに調整されたカスタマイズ可能な埋め込みを提供します。
• ユーザーによる調整システム： 独自のラベル、ユーザーの好み、専門家のフィードバックで調整することにより、スコアリングシステムを継続的に改善し、整合性を保ちます。
• 包括的なメトリクス： システムは、「ソフト」な指標（ライティングスタイル、トーン、自然さなど）と「ハード」な指標（コードの正しさ、事実の正確さなど）の両方を同時に評価できます。
• Pi Copilot： 開発者やプロダクトマネージャーがスコアリングメトリクスを定義、改良、調整するのを支援するAIアシスタントです。
• フレームワーク非依存： オフライン評価からリアルタイムの生産監視まで、AI開発ライフサイクルのあらゆる部分にシームレスに統合されます。

withpi.aiの使用例

withpi.aiは多目的であり、幅広いシナリオに適用できます：

• LLM評価： 事前に定義された一連の原則に対して、LLMの応答の品質を一貫して客観的に評価します。
• RAGの最適化： 検索されたドキュメントの関連性と品質をスコアリングすることで、検索拡張生成（RAG）システムを調整し、最終的な出力を改善します。
• AIエージェントの制御フロー： スコアをAIエージェント内の意思決定ノードとして使用し、タスクの再試行や生成された計画の続行など、次の最善のアクションを決定します。
• コンテンツの品質保証： ブログ投稿、マーケティングコピー、会議の要約などの生成されたコンテンツの品質、ブランドボイス、事実の正確性を自動的にスコアリングします。
• 専門の評価者： SQLクエリ評価者、ログセキュリティ分析者、スタートアップの履歴書分析者、さらにはチェスの指し手評価者など、ニッチなドメイン向けのカスタムスコアラーを構築します。

withpi.aiの利点

withpi.aiを使用する主な利点は、その専門的な設計に由来します：

• 速度とパフォーマンス： 100ミリ秒未満で20以上のカスタムディメンションをスコアリングでき、リアルタイムのフィードバックループを可能にします。
• コスト効率： 評価にGPT-4のような大規模LLMを使用するよりも最大5倍安価であり、高コストなしでより包括的で頻繁なテストが可能です。
• 優れた精度： Pi Scorerモデルは、コンテンツを模倣するだけでなく、原則を理解するようにトレーニングされているため、一般的なモデルよりも正確で信頼性の高いスコアを生成します。
• 人間の判断との整合性： プラットフォームは好循環のフィードバックループを中心に構築されており、チームの専門知識や実際のユーザーの行動に合わせてシステムを継続的に改良できます。
• 全体的な評価： 定性的および定量的な測定を独自に組み合わせることで、AIのパフォーマンスの全体像を提供します。

料金プラン

withpi.aiは、開発者が簡単に始められ、必要に応じてスケールアップできるように設計された、シンプルでアクセスしやすい料金モデルを提供しています。

• 無料ティア： 約2500万トークンをカバーする10ドル分の無料クレジットが含まれています。これは、テスト、開発、小規模プロジェクトに最適です。
• 従量課金制： 無料クレジットを使い切った後、コストは100万トークンあたり0.40ドルの定額料金です。このプランは無制限の使用を可能にし、消費量に直接比例してスケールします。

同社は、価格設定はまだ改良中であり、ユーザーからのフィードバックを歓迎していると述べています。