HoneyHive

LangWatch 是一个一体化的开源平台，用于监控、评估和优化 LLM 应用。它专注于通过模拟用户环境进行 AI 代理测试，帮助团队在生产前捕获回归和边缘案例。该平台结合了可观测性、评估、优化和护栏功能，以确保 AI 应用的可靠性、安全性和高性能。

Atla AI 是一个专为 AI 代理（Agent）设计的可观测性和评估平台。它通过深入洞察代理行为，帮助开发者发现、理解和修复代理的故障。该平台能自动检测错误、识别重复出现的模式，并提供可行的改进建议，以持续提升代理的性能和任务完成率。

Laminar 是一个专为构建可靠 AI 应用的开发者设计的开源可观测性与评估平台。它提供全面的工具用于追踪、评估和调试由 LLM 驱动的系统。核心功能包括实时追踪、浏览器代理可观测性、交互式实验场和集成的数据集管理，从而简化从开发到生产的整个 MLOps 生命周期。

Arize 是一个专为开发、可观测性和评估而设计的人工智能与智能体工程平台。它为团队提供统一的解决方案，以更快地构建、监控、调试和改进 LLM 及机器学习模型。通过打通开发与生产之间的闭环，Arize 帮助确保人工智能系统在规模化应用中可靠、值得信赖且高性能。

Zencoder 是一款先进的 AI 编码代理，旨在自动化常规开发任务。它深度集成到您的工作流中，理解您的整个代码库，以自主实现功能、编写测试、修复错误和重构代码。借助可定制的“Zen Agents”以及与 VS Code、JetBrains 和 100 多种开发工具的无缝集成，Zencoder 使工程团队能够专注于创新并更快地交付产品。

Braintrust 是一个用于开发、评估和部署稳健的 LLM 应用程序的端到端平台。它为提示词工程、模型评估、实时追踪和生产监控提供了一套全面的工具。Braintrust 专为技术和非技术团队成员设计，有助于简化 AI 开发生命周期，确保 AI 产品可靠、有效并为生产做好准备。

Laminar 是一个专为构建可靠 AI 应用的开发者设计的开源可观测性与评估平台。它提供全面的工具用于追踪、评估和调试由 LLM 驱动的系统。核心功能包括实时追踪、浏览器代理可观测性、交互式实验场和集成的数据集管理，从而简化从开发到生产的整个 MLOps 生命周期。

Langfuse 是一个开源的 LLM 工程平台，为调试、评估和改进 LLM 应用提供全面的工具。它提供追踪、提示词管理、评估框架和指标等功能，为使用大语言模型进行构建的团队简化整个开发生命周期。

Teammately 是一个专为AI工程师设计的高级AI代理平台。它能自动化并加速整个AI开发生命周期，从提示词生成、RAG构建到多维度评估和生产环境可观测性。用更少的时间，构建可靠、可扩展且安全的，难以出错的AI应用。

Atla AI 是一个专为 AI 代理（Agent）设计的可观测性和评估平台。它通过深入洞察代理行为，帮助开发者发现、理解和修复代理的故障。该平台能自动检测错误、识别重复出现的模式，并提供可行的改进建议，以持续提升代理的性能和任务完成率。

Valyr (前身为 Helicone) 是一个开源的 LLM 可观测性平台和 AI 网关。它帮助开发者监控、调试和分析他们的 AI 应用，通过单一集成即可访问超过100种模型，管理成本，并通过缓存和速率限制等功能提高可靠性。

Helicone 是一个为开发者提供的开源平台，集成了 AI 网关和 LLM 可观测性功能。它通过提供路由、监控、调试和分析 LLM 使用情况的工具，帮助构建可靠的 AI 应用程序。主要功能包括支持100多种模型的统一 API、智能缓存、速率限制、提示词管理和详细的性能分析。

OpenLIT 是一个专为生成式 AI 和 LLM 应用设计的开源、OpenTelemetry 原生可观测性平台。它通过请求追踪、成本跟踪、异常监控和性能分析等工具简化了开发流程。OpenLIT 拥有集中的提示词仓库、用于存储密钥的安全保管库以及用于比较 LLM 的实验场，为高效监控和扩展 AI 应用提供了全面的解决方案。

Radicalbit 是一个企业级 MLOps 平台，专为大规模部署、服务和监控 AI 及 LLM 模型而设计。它提供实时可观测性、可解释性和数据完整性，以加速价值实现时间、降低运营成本，并确保 AI 应用的强大治理和合规性。

smallhours 是一个为开发者打造的AI平台，可实现全天候自动化根本原因分析（RCA）。它通过OpenTelemetry与您的技术栈集成，监控系统，利用您的代码库和运行手册作为上下文诊断问题，将解决时间加快10倍，从而最大限度地减少停机时间并简化值班职责。

Firecrawl 是一个开源的、开发者优先的 API，可将任何网站转化为干净的、适用于大语言模型（LLM）的数据。它能处理网页抓取的所有复杂问题，包括 JavaScript 渲染、代理轮换和速率限制，让您能够使用可靠的网页内容来驱动 AI 应用、智能体和 RAG 系统。它通过一个简单的 API 提供抓取、爬取和搜索功能。

Pydantic 是一个面向开发者的综合平台，提供强大的数据验证、AI 开发工具和全栈可观测性解决方案。它通过利用类型提示进行运行时数据验证，并提供从本地开发到生产环境的深度洞察，从而在 Python 和其他语言中实现更快、更稳健的应用程序开发。

Mastra 是一个开源 TypeScript 框架，专为开发人员设计，用于构建、部署和管理复杂的人工智能智能体和工作流。它提供了一个对开发者友好的 SDK，具备持久化内存、工具调用、检索增强生成（RAG）和确定性工作流图等功能。Mastra 由 Gatsby 团队打造，旨在简化在 JavaScript 生态系统中创建生产级 AI 应用的过程。

Langflow 是一个开源的可视化用户界面，用于构建和部署 AI 应用。它提供拖放式界面，可连接大型语言模型（LLM）、AI 代理和工具，从而实现 RAG 和多代理系统等复杂工作流的快速原型设计和部署。它支持广泛的集成，并提供自托管和云端两种选择。