Tropir

Parea AI 是一个用于开发、测试和监控 LLM（大语言模型）应用的一站式平台。它提供实验跟踪、可观测性、评估和人工标注工具，帮助团队自信地将 AI 系统投入生产。

Langfuse 是一个开源的 LLM 工程平台，为调试、评估和改进 LLM 应用提供全面的工具。它提供追踪、提示词管理、评估框架和指标等功能，为使用大语言模型进行构建的团队简化整个开发生命周期。

Braintrust 是一个用于开发、评估和部署稳健的 LLM 应用程序的端到端平台。它为提示词工程、模型评估、实时追踪和生产监控提供了一套全面的工具。Braintrust 专为技术和非技术团队成员设计，有助于简化 AI 开发生命周期，确保 AI 产品可靠、有效并为生产做好准备。

Vellum AI 是一个端到端的企业级平台，用于构建、评估和部署关键任务型AI代理和应用程序。它为编排、提示工程、RAG、评估和监控提供了一个统一的环境，使团队能够以10倍的速度构建可靠的AI解决方案。

Freeplay 是一个企业级平台，专为 AI 团队设计，用于构建、测试和持续改进 AI 产品及智能体。它将提示管理、实验、LLM 可观测性和数据审查统一到单个工作流中，为加速产品质量和开发速度创建了强大的数据飞轮。

LangWatch 是一个一体化的开源平台，用于监控、评估和优化 LLM 应用。它专注于通过模拟用户环境进行 AI 代理测试，帮助团队在生产前捕获回归和边缘案例。该平台结合了可观测性、评估、优化和护栏功能，以确保 AI 应用的可靠性、安全性和高性能。

Parea AI 是一个用于开发、测试和监控 LLM（大语言模型）应用的一站式平台。它提供实验跟踪、可观测性、评估和人工标注工具，帮助团队自信地将 AI 系统投入生产。

Langfuse 是一个开源的 LLM 工程平台，为调试、评估和改进 LLM 应用提供全面的工具。它提供追踪、提示词管理、评估框架和指标等功能，为使用大语言模型进行构建的团队简化整个开发生命周期。

Braintrust 是一个用于开发、评估和部署稳健的 LLM 应用程序的端到端平台。它为提示词工程、模型评估、实时追踪和生产监控提供了一套全面的工具。Braintrust 专为技术和非技术团队成员设计，有助于简化 AI 开发生命周期，确保 AI 产品可靠、有效并为生产做好准备。

Pydantic 是一个面向开发者的综合平台，提供强大的数据验证、AI 开发工具和全栈可观测性解决方案。它通过利用类型提示进行运行时数据验证，并提供从本地开发到生产环境的深度洞察，从而在 Python 和其他语言中实现更快、更稳健的应用程序开发。

Helicone 是一个为开发者提供的开源平台，集成了 AI 网关和 LLM 可观测性功能。它通过提供路由、监控、调试和分析 LLM 使用情况的工具，帮助构建可靠的 AI 应用程序。主要功能包括支持100多种模型的统一 API、智能缓存、速率限制、提示词管理和详细的性能分析。

FutureAGI 是一个全面的大语言模型（LLM）可观测性与评估平台，专为企业和开发者设计。它帮助构建、评估和改进 AI 应用，以实现高达 99% 的准确率，提供合成数据生成、无代码实验、多模态评估和实时生产监控等工具。

HoneyHive 是一款面向使用 LLM 和 AI 智能体的开发人员的一体化 AI 可观测性与评估平台。它提供了一个统一的解决方案，用于构建、测试、调试和监控 AI 应用，涵盖从初步实验到企业级部署的全过程。该平台帮助团队系统地衡量 AI 质量，深入了解智能体交互，监控成本和延迟等性能指标，并协作管理提示词和数据集等关键资产，确保自信地交付可靠的 AI 产品。

Metoro 是一个专为 Kubernetes 设计的 AI 驱动的可观测性平台。它利用 eBPF 技术实现零侵入式监控，能够自主检测问题、分析根本原因，并通过拉取请求自动生成代码修复。一分钟内即可投入使用，为传统监控工具提供了一个全面且经济高效的替代方案。

Metorial 是一个专为 AI 代理设计的集成平台，使开发者能够快速构建、部署和监控强大的代理式 AI 应用。它通过其无服务器模型上下文协议 (MCP) 平台，提供与数百种工具、数据源和 API 的无缝连接，为可扩展的 AI 解决方案提供强大的 SDK、可观测性和企业级安全性。

Keywords AI 是一个专为AI初创公司和开发者设计的全面LLM可观测性与监控平台。它提供统一的API来部署、测试、监控和优化LLM工作流，支持超过200种模型，通过简单的两行代码集成，帮助团队更快地构建和发布可靠的AI功能。

Atla AI 是一个专为 AI 代理（Agent）设计的可观测性和评估平台。它通过深入洞察代理行为，帮助开发者发现、理解和修复代理的故障。该平台能自动检测错误、识别重复出现的模式，并提供可行的改进建议，以持续提升代理的性能和任务完成率。

Valyr (前身为 Helicone) 是一个开源的 LLM 可观测性平台和 AI 网关。它帮助开发者监控、调试和分析他们的 AI 应用，通过单一集成即可访问超过100种模型，管理成本，并通过缓存和速率限制等功能提高可靠性。

fixa 是一个专为 AI 语音代理设计的开源可观测性平台。它通过跟踪延迟、打断和对话正确性等关键指标，帮助开发者监控、调试和改进其语音 AI，确保提供高质量的用户体验。