Giskard

Evidently AIは、LLMおよびMLモデルのモニタリングに特化した、AI製品向けの包括的なテスト・評価プラットフォームです。自動評価、合成データ生成、継続的テスト、敵対的攻撃を通じて、チームがAIの安全性、信頼性、パフォーマンスを確保するのを支援します。強力なオープンソースライブラリを基盤とし、データサイエンティストやMLOpsエンジニアが幻覚、データドリフト、PII漏洩などの問題をユーザーに影響が及ぶ前に検出できるよう設計されています。

RagaAIは、開発者や企業が信頼性の高いAIアプリケーションを構築するのを支援するために設計された、包括的なAIテストおよびオブザーバビリティプラットフォームです。AIエージェント、LLM、RAGシステムを監視、評価、デバッグするための一連のツールを提供します。主な機能には、エージェントテスト、リアルタイムガードレール、合成データ生成、ファインチューニング機能が含まれます。RagaAIはマルチモーダルデータ（LLM、コンピュータビジョン、表形式データ）をサポートし、問題の検出から解決まで、AIの品質保証ライフサイクル全体を自動化し、堅牢で信頼性の高いAIの展開を目指します。

Maihemは、AIセキュリティとロボティクスのための先進的なプラットフォームであり、特に大規模言語モデル（LLM）アプリケーション向けの自動化されたレッドチーム演習と脆弱性テストを専門としています。プロンプトインジェクションやデータポイズニングなどのOWASPトップ10 LLM脆弱性を体系的にテストし、AIシステムの安全で信頼性の高い、コンプライアンスに準拠した展開を保証します。

Qaseは、QAチームがソフトウェアのデリバリー速度と品質を向上させるために設計された、AIファーストのテスト管理プラットフォームです。手動テストと自動テストを単一の直感的なワークスペースに統合し、AIを活用してテストの生成、変換、分析を行い、35以上の開発者ツールとシームレスに連携します。

Katalonは、Web、API、モバイル、デスクトップアプリケーション向けの包括的なAI拡張テスト自動化プラットフォームです。ローコード、フルコード、ノーコードのソリューションで、あらゆる規模のチームを支援し、テストの作成、実行から分析、管理までの品質ライフサイクル全体を合理化します。

Evidently AIは、LLMおよびMLモデルのモニタリングに特化した、AI製品向けの包括的なテスト・評価プラットフォームです。自動評価、合成データ生成、継続的テスト、敵対的攻撃を通じて、チームがAIの安全性、信頼性、パフォーマンスを確保するのを支援します。強力なオープンソースライブラリを基盤とし、データサイエンティストやMLOpsエンジニアが幻覚、データドリフト、PII漏洩などの問題をユーザーに影響が及ぶ前に検出できるよう設計されています。

Deepchecksは、LLMベースのアプリケーションを評価、検証、監視するためのエンドツーエンドのプラットフォームです。AIチームがAIの進捗を定義、測定、検証するのを支援し、開発からCI/CD、本番環境までのテストを合理化することで、高品質で信頼性の高いアプリケーションのリリースを保証します。

RagaAIは、開発者や企業が信頼性の高いAIアプリケーションを構築するのを支援するために設計された、包括的なAIテストおよびオブザーバビリティプラットフォームです。AIエージェント、LLM、RAGシステムを監視、評価、デバッグするための一連のツールを提供します。主な機能には、エージェントテスト、リアルタイムガードレール、合成データ生成、ファインチューニング機能が含まれます。RagaAIはマルチモーダルデータ（LLM、コンピュータビジョン、表形式データ）をサポートし、問題の検出から解決まで、AIの品質保証ライフサイクル全体を自動化し、堅牢で信頼性の高いAIの展開を目指します。

Maihemは、AIセキュリティとロボティクスのための先進的なプラットフォームであり、特に大規模言語モデル（LLM）アプリケーション向けの自動化されたレッドチーム演習と脆弱性テストを専門としています。プロンプトインジェクションやデータポイズニングなどのOWASPトップ10 LLM脆弱性を体系的にテストし、AIシステムの安全で信頼性の高い、コンプライアンスに準拠した展開を保証します。

promptfooは、大規模言語モデル（LLM）のための包括的なテスト・評価フレームワークです。開発者や企業が体系的なテスト、ベンチマーキング、AIによるレッドチーミングを通じて、プロンプトの品質比較、モデル性能の評価、AIセキュリティの強化を行うのを支援します。50以上のLLMプロバイダーとローカルモデルをサポートし、開発者フレンドリーなCLIで開発ワークフローにシームレスに統合できます。

Autoblocksは、AI開発チームが安全で信頼性の高いAIアプリケーションをテスト、評価、ローンチするための包括的なプラットフォームです。医療や金融などのハイステークスな業界向けに設計されており、開発者と主題専門家（SME）の連携を効率化し、信頼できるAIチャットボットやエージェントの展開を加速させます。

Robust Intelligence（現在はCisco傘下）は、エンドツーエンドのAIリスク管理プラットフォームです。リアルタイムのAIファイアウォールと自動テストにより、AIモデルのライフサイクル全体でセキュリティを確保し、企業がセキュリティ、倫理、運用上のリスクを軽減して、安全かつ責任ある形でAIを導入できるよう支援します。

EvalsOneは、生成AIアプリケーション向けに設計されたオールインワン評価プラットフォームです。強力で直感的なインターフェースを通じて、チームがLLMプロンプト、RAGパイプライン、AIエージェントを容易に評価、反復、最適化し、堅牢で競争力のあるAI製品を確保できるよう支援します。

Qaseは、QAチームがソフトウェアのデリバリー速度と品質を向上させるために設計された、AIファーストのテスト管理プラットフォームです。手動テストと自動テストを単一の直感的なワークスペースに統合し、AIを活用してテストの生成、変換、分析を行い、35以上の開発者ツールとシームレスに連携します。

Katalonは、Web、API、モバイル、デスクトップアプリケーション向けの包括的なAI拡張テスト自動化プラットフォームです。ローコード、フルコード、ノーコードのソリューションで、あらゆる規模のチームを支援し、テストの作成、実行から分析、管理までの品質ライフサイクル全体を合理化します。

Testsigmaは、統一されたAI搭載のテスト自動化プラットフォームで、チームがコードなしでWeb、モバイル、API、ERPアプリケーションのテストを作成、実行、維持できるようにします。AIエージェントを使用してテスト生成を加速し、メンテナンスを90%削減し、大規模なエンドツーエンドテストを実現します。

getmaximは、AI開発チーム向けに設計された包括的なGenAI評価およびオブザーバビリティプラットフォームです。ユーザーはLLMやRAGパイプラインの広範な評価、テストの自動化、リアルタイムのプロダクション監視を通じてAIアプリケーションをテスト、監視、改善し、高品質で信頼性が高く、責任あるAIを実現できます。

Confident AIは、エンジニアリングチーム向けのLLM評価およびオブザーバビリティプラットフォームです。オープンソースのDeepEvalライブラリの作成者によって構築され、包括的なメトリクス、回帰テスト、詳細なトレースを通じてLLMアプリケーションのベンチマーク、保護、改善を支援し、一貫したAIパフォーマンスを保証します。

Virtuosoは、AIを搭載したWebアプリケーション向けのコードレステスト自動化プラットフォームです。QAチームや開発者が自然言語を使用してエンドツーエンドのテストを作成、実行、維持することを可能にします。インテリジェントなボットが人間のようにアプリケーションを操作し、自己修復機能がUIの変更に自動的に適応することで、テストのメンテナンスを大幅に削減し、ソフトウェアのデリバリーサイクルを加速させます。