LangWatch

LangWatchは、大規模言語モデル（LLM）アプリケーション開発のライフサイクル全体を対象とした、包括的なオープンソースプラットフォームです。チームがAIエージェントやRAGシステムを監視、評価、最適化するための統一されたソリューションを提供します。可観測性、高度な評価フレームワーク、自動最適化、堅牢なガードレールを統合することで、LangWatchは開発者や企業が自信を持ってAI製品をリリースできるよう支援します。

LangWatchの際立った特徴は、エージェントテストフレームワーク「Scenario」です。これにより、チームはシミュレートされた現実環境でAIエージェントをテストできます。このプロアクティブなアプローチは、バグ、リグレッション、エッジケースがユーザーに影響を与える前に特定するのに役立ちます。プラットフォームはOpenTelemetryを基盤に構築されており、シームレスな統合と、プロンプトやツールコールからコスト、レイテンシーに至るまで、AIスタック全体の完全な可視性を保証します。LangWatchはコラボレーションを念頭に設計されており、技術的な専門知識がなくてもドメインエキスパートがデータを注釈付けし、テストシナリオを構築できるユーザーフレンドリーなUIと、開発者向けの強力なSDKを提供します。

LangWatchの使い方

LangWatchの導入は迅速かつ簡単に行えるように設計されており、通常は数分で完了します。一般的なワークフローは以下の通りです。

1. 統合： LangWatch SDKをPythonまたはTypeScript/JavaScriptアプリケーションに統合します。LangWatchはOpenTelemetryのネイティブサポートも提供しており、JavaやGoなどの他の言語で書かれたアプリケーションとも簡単に統合できます。
2. 監視と可観測性： 統合が完了すると、LangWatchはスタック全体のすべてのリクエストを自動的にトレースし始めます。ダッシュボードでトークン使用量、応答時間、レイテンシー、コストを視覚化できます。これにより、複雑なプロンプトエンジニアリングの問題をデバッグし、根本原因を迅速に特定できます。
3. AIエージェントテスト： 「Scenario」フレームワークを使用して、バージョン管理されたテストスイートを作成します。これらのテストは、現実的なユーザーの行動やエッジケースをシミュレートし、毎日実行したり、CI/CDパイプラインに統合して更新ごとにリグレッションを検出したりできます。
4. 評価とガードレール： LLM-as-a-Judgeまたはコードベースのテストを使用して、自動LLM評価を設定します。応答の品質を測定し、ハルシネーションを検出し、事実の正確性を確保します。ジェイルブレイクの試み、個人識別情報（PII）、その他の機密コンテンツを検出するためのガードレールを実装します。
5. 最適化： DSPyオプティマイザを活用する最適化スタジオを使用して、モデルに最適なプロンプトとフューショット例を自動的に見つけます。ドラッグアンドドロップインターフェースを介して、さまざまなプロンプト技術を試します。
6. コラボレーション： ドメインエキスパートをプラットフォームに招待します。直感的なUIを使用してテストシナリオを構築し、エージェントのインタラクションに注釈を付け、フィードバックを提供することで、継続的な改善ループを作成します。

LangWatchの主な機能

• AIエージェントテスト（Scenario）： シミュレートされたユーザー環境でエージェントをテストし、本番前に問題を検出するオープンソースフレームワーク。CI/CDでのバージョン管理されたテストスイートをサポートします。
• LLM可観測性： ネイティブのOpenTelemetryサポートにより、プロンプト、変数、ツールコール、エージェントの動作を完全に可視化します。リクエストのトレース、メトリクス（コスト、レイテンシー、トークン）の視覚化、迅速なデバッグが可能です。
• LLM評価とガードレール： LLM-as-a-Judgeとコードベースのテストでオフラインおよびオンライン評価を実行します。ハルシネーションの検出、RAG品質の測定、ジェイルブレイク検出、PII墨消し機能が含まれます。
• LLM最適化スタジオ： MIPROv2などのDSPyオプティマイザを使用して、プロンプトとフューショット例を自動的に最適化します。ChainOfThoughtやReActなどの技術を試すためのビジュアライザとローコードインターフェースを備えています。
• ドメインエキスパートとのコラボレーション： UIベースのアプローチにより、非技術的な専門家がエージェントの動作をテストし、注釈を付け、評価データセットを構築でき、技術チームとビジネスチームのコラボレーションを促進します。
• 柔軟なデプロイメントとエンタープライズコントロール： 完全なデータ管理のために、マネージドクラウドサービスとセルフホストオプションの両方を提供します。GDPRに準拠し、ISO 27001認証を取得しており、ロールベースのアクセス制御（RBAC）も含まれています。

LangWatchの使用例

LangWatchは多用途であり、AI開発のさまざまな段階で適用できます。

• AIエージェントの品質保証： LangGraphやCrewAIなどのフレームワークで複雑なエージェントを構築するチームは、Scenarioを使用してリグレッションテストを自動化し、一貫した動作を保証できます。
• RAGシステムの改善： 開発者は、コンテキストの関連性、回答の忠実度を測定し、ハルシネーションを減らすことで、検索拡張生成（RAG）システムの品質を評価できます。
• 本番環境の監視とデバッグ： ライブアプリケーションを監視して、問題を迅速に特定・解決し、運用コストを追跡し、ユーザーのインタラクションを理解します。
• エンタープライズAIにおけるコンプライアンスとセキュリティ： 企業はLangWatchをオンプレミスでデプロイして、機密データを完全に管理し、PII墨消し機能を使用し、GDPRなどの規制への準拠を確保できます。
• プロンプトエンジニアリングの加速： 最適化スタジオを使用して、手動の試行錯誤なしにプロンプトのパフォーマンスを科学的に改善し、異なるモデルやプロンプト間で結果を比較します。

LangWatchの利点

LangWatchは、いくつかの主要な利点で他のLLMOpsツールと一線を画しています。

• 統一プラットフォーム： テスト、可観測性、評価、最適化を単一のまとまりのあるプラットフォームに統合し、複数の分散したツールを不要にします。
• 高度なエージェントテスト： シミュレーションベースのエージェントテストに重点を置いていることが大きな差別化要因であり、従来の単体テストよりも堅牢なQAプロセスを提供します。
• オープンで拡張可能： オープンソースであり、OpenTelemetryなどの標準に基づいて構築されているため、最大限の柔軟性を提供し、ベンダーロックインを回避します。
• コラボレーションを前提とした設計： エンジニアとドメインエキスパートの間のギャップを埋めるように設計されており、より良く、より関連性の高いAI製品につながります。
• エンタープライズ対応： セルフホスティング、ISO 27001認証、詳細なアクセス制御などの機能により、大企業のセキュリティとコンプライアンスのニーズに対応します。

料金プラン

LangWatchは、個人の開発者から大企業まで、さまざまなニーズに合わせて柔軟な料金体系を提供しています。

• デベロッパープラン（無料）： 月間1,000トレース、2ユーザー、30日間のデータ保持、すべてのプラットフォーム機能が含まれます。入門に最適です。
• ローンチプラン（月額59ユーロ）： 小規模チーム向け。月間20,000トレース、3ユーザー（追加ユーザーは19ユーロ/人）、180日間のデータ保持、無制限の評価、Slack/メールサポートが含まれます。
• アクセラレートプラン（月額199ユーロ）： より多くのサポートとセキュリティを必要とする大規模チーム向け。月間20,000トレース（追加トレースのコストは低減）、最大2年間のデータ保持、5ユーザー（追加ユーザーは10ユーロ/人）、ISO27001レポートが含まれます。
• エンタープライズプラン（カスタム）： セルフホスティングまたはカスタムクラウドデプロイメント、カスタムトレースとユーザー制限、監査ログ、SSO、専任サポートエンジニア、カスタムSLAを提供します。

データとインフラストラクチャの最大限の管理を必要とするエンタープライズクライアント向けに、セルフホストオプションが利用可能です。