EvalsOne

Basalt 是一个为开发者和产品团队设计的端到端平台，用于构建、评估和监控可靠的 AI 代理。它提供了一套全面的工具，包括自动化评估、A/B 测试、带 AI 助手的提示工程以及对开发者友好的 SDK，确保您的 AI 功能值得信赖并可随时投入生产。

ParsePrompt 是一个专为开发者和AI团队设计的高级提示工程平台。它能帮助您解析、分析、管理和优化LLM提示。将非结构化的文本提示转化为结构化、可复用的模板，跟踪版本并进行有效协作，从而构建更可靠、更具成本效益的AI应用。

Confident AI 是一个面向工程团队的 LLM 评估和可观测性平台。由开源库 DeepEval 的创建者打造，它通过全面的指标、回归测试和详细的追踪来帮助基准测试、保障和改进 LLM 应用，确保 AI 性能的稳定性。

一个为开发者设计的平台，使用基于Git的版本控制来管理大型语言模型（LLM）的提示词。简化您的提示词工程工作流，与团队协作，并无缝部署变更，无需修改代码。

一款专为开发者设计的VSCode扩展，旨在简化提示词工程。它支持在代码库中直接并排比较超过40种LLM（如OpenAI、Anthropic、Mistral）的响应，帮助您高效地为任何任务找到最佳模型。

getmaxim 是一个全面的生成式AI评估与可观测性平台，专为AI开发团队设计。它使用户能够通过对LLM和RAG管道进行广泛评估、自动化测试以及提供实时生产监控来测试、监控和改进AI应用，从而确保高质量、可靠和负责任的AI。

Deepchecks 是一个用于评估、验证和监控基于 LLM 的应用程序的端到端平台。它帮助人工智能团队定义、衡量和验证人工智能的进展，通过简化从开发、CI/CD 到生产的整个测试流程，确保发布高质量、可靠的应用程序。

Confident AI 是一个面向工程团队的 LLM 评估和可观测性平台。由开源库 DeepEval 的创建者打造，它通过全面的指标、回归测试和详细的追踪来帮助基准测试、保障和改进 LLM 应用，确保 AI 性能的稳定性。

promptfoo 是一个全面的大型语言模型（LLM）测试和评估框架。它帮助开发者和企业通过系统性测试、基准评估和AI驱动的红队演练，来比较提示词质量、评估模型性能并增强AI安全性。它支持超过50家LLM提供商，包括本地模型，并提供对开发者友好的CLI，可无缝集成到开发工作流中。

Orq.ai 是一个端到端的生成式 AI 协作平台，专为软件团队设计，旨在将 LLM 应用从原型扩展到生产环境。它提供实验、部署和可观测性工具，使团队能够自信、可控地构建、监控和优化代理式 AI 系统。

thisorthis.ai 是一个强大的生成式AI模型并排比较平台。只需提交一个提示（文本或图片），即可同时接收并评估多达6个不同模型（如GPT-4o、Gemini 1.5和Llama 3）的输出。它采用灵活的即用即付模式，无需多个订阅。对于希望为任何任务找到最优质AI生成回复的专业人士和研究人员来说，它是优化效率和产出质量的理想选择。

Velvet是一个开发者网关，现已并入Arize AI，专为分析、评估和监控AI功能而设计。它为AI可观测性、LLM追踪和模型性能管理提供了一套全面的解决方案，帮助开发者从开发到生产的全过程构建和完善AI应用。

Basalt 是一个为开发者和产品团队设计的端到端平台，用于构建、评估和监控可靠的 AI 代理。它提供了一套全面的工具，包括自动化评估、A/B 测试、带 AI 助手的提示工程以及对开发者友好的 SDK，确保您的 AI 功能值得信赖并可随时投入生产。

一个为开发者设计的平台，使用基于Git的版本控制来管理大型语言模型（LLM）的提示词。简化您的提示词工程工作流，与团队协作，并无缝部署变更，无需修改代码。

一款专为开发者设计的VSCode扩展，旨在简化提示词工程。它支持在代码库中直接并排比较超过40种LLM（如OpenAI、Anthropic、Mistral）的响应，帮助您高效地为任何任务找到最佳模型。

nonfinito 是一个用于评估和比较多模态AI模型的综合平台。它使开发人员、研究人员和企业能够在自定义提示上并排测试各种LLM，通过“通过/失败”评级评估其性能，并分析原始输出。创建公共或私人基准测试，为任何任务找到最佳模型。

OctoAI 是一个高性能计算平台，旨在帮助开发者高效地运行、调整和扩展生成式AI模型。它为Llama、Mixtral和Stable Diffusion等流行的开源模型提供优化的、生产就绪的API端点。通过专注于深度系统优化，OctoAI提供了更快的推理速度和更低的成本，使企业能够轻松构建和部署可扩展的AI应用程序，而无需管理复杂的基础设施。

Arize 是一个专为开发、可观测性和评估而设计的人工智能与智能体工程平台。它为团队提供统一的解决方案，以更快地构建、监控、调试和改进 LLM 及机器学习模型。通过打通开发与生产之间的闭环，Arize 帮助确保人工智能系统在规模化应用中可靠、值得信赖且高性能。

Braintrust 是一个用于开发、评估和部署稳健的 LLM 应用程序的端到端平台。它为提示词工程、模型评估、实时追踪和生产监控提供了一套全面的工具。Braintrust 专为技术和非技术团队成员设计，有助于简化 AI 开发生命周期，确保 AI 产品可靠、有效并为生产做好准备。