Giskard

Evidently AI 是一个面向AI产品的综合性测试与评估平台，专注于LLM和ML模型的监控。它通过自动化评估、合成数据生成、持续测试和对抗性攻击，帮助团队确保AI的安全性、可靠性和性能。该平台基于一个强大的开源库构建，专为数据科学家和MLOps工程师设计，用于在问题影响用户前检测幻觉、数据漂移和PII泄漏等问题。

RagaAI 是一个全面的人工智能测试与可观测性平台，旨在帮助开发者和企业构建可靠的 AI 应用。它提供了一整套工具，用于观察、评估和调试 AI 代理、大语言模型（LLM）和 RAG 系统。核心功能包括代理测试、实时护栏、合成数据生成和微调能力。RagaAI 支持多模态数据（LLM、计算机视觉、表格数据），致力于自动化整个 AI 质量保障生命周期，从问题检测到解决，确保 AI 部署的稳健性和可信度。

Maihem 是一个先进的AI安全与机器人平台，专注于为大语言模型（LLM）应用提供自动化的红队演练和漏洞测试。它系统性地测试OWASP Top 10 LLM漏洞，如提示注入和数据投毒，以确保AI系统的安全、可靠和合规部署。

Qase 是一个 AI 优先的测试管理平台，专为 QA 团队设计，旨在提高软件交付速度和质量。它将手动和自动化测试统一到一个直观的工作空间中，利用 AI 生成、转换和分析测试，并与超过 35 种开发工具无缝集成。

Katalon 是一个全面的、由 AI 增强的测试自动化平台，适用于 Web、API、移动和桌面应用程序。它通过低代码、全代码和无代码解决方案为各种规模的团队赋能，简化从测试创建、执行到分析和管理的整个质量生命周期。

Evidently AI 是一个面向AI产品的综合性测试与评估平台，专注于LLM和ML模型的监控。它通过自动化评估、合成数据生成、持续测试和对抗性攻击，帮助团队确保AI的安全性、可靠性和性能。该平台基于一个强大的开源库构建，专为数据科学家和MLOps工程师设计，用于在问题影响用户前检测幻觉、数据漂移和PII泄漏等问题。

Deepchecks 是一个用于评估、验证和监控基于 LLM 的应用程序的端到端平台。它帮助人工智能团队定义、衡量和验证人工智能的进展，通过简化从开发、CI/CD 到生产的整个测试流程，确保发布高质量、可靠的应用程序。

RagaAI 是一个全面的人工智能测试与可观测性平台，旨在帮助开发者和企业构建可靠的 AI 应用。它提供了一整套工具，用于观察、评估和调试 AI 代理、大语言模型（LLM）和 RAG 系统。核心功能包括代理测试、实时护栏、合成数据生成和微调能力。RagaAI 支持多模态数据（LLM、计算机视觉、表格数据），致力于自动化整个 AI 质量保障生命周期，从问题检测到解决，确保 AI 部署的稳健性和可信度。

Maihem 是一个先进的AI安全与机器人平台，专注于为大语言模型（LLM）应用提供自动化的红队演练和漏洞测试。它系统性地测试OWASP Top 10 LLM漏洞，如提示注入和数据投毒，以确保AI系统的安全、可靠和合规部署。

promptfoo 是一个全面的大型语言模型（LLM）测试和评估框架。它帮助开发者和企业通过系统性测试、基准评估和AI驱动的红队演练，来比较提示词质量、评估模型性能并增强AI安全性。它支持超过50家LLM提供商，包括本地模型，并提供对开发者友好的CLI，可无缝集成到开发工作流中。

Autoblocks 是一个面向 AI 开发团队的综合平台，用于测试、评估和发布安全、可靠的 AI 应用程序。它专为医疗、金融等高风险行业设计，简化了开发人员与领域专家 (SME) 之间的协作，以加速可信赖的 AI 聊天机器人和智能体的部署。

Robust Intelligence（现为思科旗下公司）是一个端到端的AI风险管理平台。它通过实时的AI防火墙和自动化测试，在AI模型的整个生命周期内保障其安全，帮助企业减轻安全、道德和运营风险，从而安全、负责任地部署AI。

EvalsOne 是一个专为生成式AI应用设计的一站式评估平台。它使团队能够通过一个强大直观的界面，轻松地评估、迭代和优化LLM提示语、RAG流程和AI智能体，确保AI产品既健壮又具竞争力。

Qase 是一个 AI 优先的测试管理平台，专为 QA 团队设计，旨在提高软件交付速度和质量。它将手动和自动化测试统一到一个直观的工作空间中，利用 AI 生成、转换和分析测试，并与超过 35 种开发工具无缝集成。

Katalon 是一个全面的、由 AI 增强的测试自动化平台，适用于 Web、API、移动和桌面应用程序。它通过低代码、全代码和无代码解决方案为各种规模的团队赋能，简化从测试创建、执行到分析和管理的整个质量生命周期。

Testsigma 是一个统一的、由人工智能驱动的测试自动化平台，使团队能够无需代码即可为 Web、移动、API 和 ERP 应用程序创建、运行和维护测试。它使用人工智能代理来加速测试生成，将维护工作减少90%，并大规模实现端到端测试。

getmaxim 是一个全面的生成式AI评估与可观测性平台，专为AI开发团队设计。它使用户能够通过对LLM和RAG管道进行广泛评估、自动化测试以及提供实时生产监控来测试、监控和改进AI应用，从而确保高质量、可靠和负责任的AI。

Confident AI 是一个面向工程团队的 LLM 评估和可观测性平台。由开源库 DeepEval 的创建者打造，它通过全面的指标、回归测试和详细的追踪来帮助基准测试、保障和改进 LLM 应用，确保 AI 性能的稳定性。

Virtuoso 是一个由人工智能驱动的、用于Web应用程序的无代码测试自动化平台。它使QA团队和开发人员能够使用自然语言创建、执行和维护端到端测试。其智能机器人像人类一样导航应用程序，而其自我修复功能可自动适应UI变化，显著减少测试维护工作并加速软件交付周期。