Langfuse

Langfuse 是一个全面的开源 LLM 工程平台，旨在帮助开发者和团队更高效地构建、调试和迭代生产级的 LLM 应用程序。它提供了一套统一的工具，涵盖了从初始实验到生产监控和改进的整个开发工作流程。作为一个开源解决方案，Langfuse 提供了极大的灵活性，允许团队进行私有化部署以实现最大限度的数据控制和安全性，或者使用其托管的 Langfuse Cloud 服务以获得便利。

该平台围绕四大核心支柱构建：可观测性、提示词管理、评估和指标。它能捕获 LLM 交互的详细追踪信息，为应用程序的行为、延迟和成本提供深入的洞察。这种精细的可见性对于调试复杂的智能体工作流和多步骤链至关重要。凭借其强大的功能集和广泛的集成，Langfuse 已成为超过40,000名开发人员信赖的工具，使他们能够更快地交付可靠、高质量的 LLM 驱动功能。

如何使用 Langfuse

将 Langfuse 集成到您的项目中非常直接，并为开发者提供了友好的体验。该过程通常包括以下步骤：

1. 集成：首先安装 Langfuse SDK，支持 Python 和 JavaScript/TypeScript。该平台基于 OpenTelemetry 构建，确保了广泛的兼容性。
2. 原生集成：对于流行的框架，Langfuse 提供了无缝的原生集成。您可以轻松地将其与 LangChain、Llama-Index、OpenAI SDK、CrewAI、Haystack 等许多框架连接。这通常只需要几行代码即可完成配置。
3. 数据记录：配置好 SDK 后，您的 LLM 应用程序将自动将详细的追踪、生成、评分和其他事件记录到您的 Langfuse 项目中。这包括输入、输出、模型参数、令牌数量和成本。
4. 使用 UI 界面：登录 Langfuse UI（云端或私有化部署）以访问可观测性仪表板。在这里，您可以筛选和搜索追踪信息以调试问题、分析性能并了解用户交互。
5. 管理和测试提示词：使用提示词管理功能进行版本控制、协作编辑和部署提示词。直接在 LLM Playground 中测试不同版本和模型，无需编写任何代码。
6. 评估和改进：从您的生产追踪中创建数据集，并运行评估以衡量质量。收集用户反馈或使用“LLM-as-a-Judge”（以 LLM 作为评判者）来为响应评分，并指导改进。

Langfuse 的核心功能

• 可观测性与追踪：为每次 LLM 交互获取详细、低延迟的追踪。跟踪用户会话，精确调试错误，并分析复杂的智能体图。
• 提示词管理：一个用于管理提示词的协作中心。它支持版本控制、变量管理和低延迟部署变更。您可以将提示词直接链接到生产追踪，以了解它们的实际性能。
• LLM Playground：一个用于测试和迭代提示词的交互式环境。它允许并排比较不同的模型和设置，并支持工具调用和结构化输出等高级功能。
• 评估框架：收集用户反馈并运行程序化评估。定义自定义评分逻辑或使用基于模型的评估器（LLM-as-a-Judge）来系统地衡量您的应用程序的质量。
• 数据集：一键从您的生产数据中整理数据集。使用这些数据集进行回归测试、微调模型或运行评估。
• 指标和仪表板：监控关键性能指标，如成本、延迟和质量得分。创建自定义仪表板以可视化趋势并与团队分享见解。
• 广泛的集成：原生支持各种 LLM 框架、模型提供商（OpenAI、Google Gemini、Anthropic 等）和工具，确保它能融入任何现有技术栈。

Langfuse 的使用案例

Langfuse 功能多样，支持广泛的 LLM 开发需求：

• 生产调试：通过检查复杂的 LLM 链或智能体的详细执行流程追踪，快速诊断和修复错误。
• 提示词工程与优化：使用 Playground 和 A/B 测试功能来优化提示词，比较不同模型和参数以达到最佳效果。
• 质量保证：从真实世界的交互中创建评估数据集，以运行回归测试，确保新的更新不会降低性能或引入新问题。
• 成本管理：按用户、功能或模型跟踪令牌使用量和相关成本，使您能够做出明智的决策来控制预算。
• 协作开发：为开发人员、产品经理和数据科学家提供单一信息源，以便在构建、测试和监控 LLM 应用程序方面进行协作。

Langfuse 的优势特点

Langfuse 因以下几个关键原因而脱颖而出：

• 开源：提供终极的灵活性、透明度和控制力。您可以在自己的基础设施上进行私有化部署，避免供应商锁定并确保数据隐私。
• 一体化平台：它将可观测性、提示词管理和评估整合到一个紧密集成的平台中，简化了开发流程。
• 开发者优先的设计：凭借简单的 SDK、全面的文档和直观的用户界面，它被设计得易于采用和使用。
• 企业级安全：云版本通过了 SOC 2 Type II 和 ISO 27001 认证，提供 SSO、精细的 RBAC 和正常运行时间 SLA 等企业级功能。
• 强大的社区：背后有一个充满活力的开源社区和一支响应迅速的团队，他们根据用户反馈不断推出新功能。

定价和计划

Langfuse 为其云版本和私有化部署版本提供灵活的定价。

• 私有化部署：免费且开源。您可以在自己的基础设施上部署。
• Hobby (云端)：免费。包括每月 5 万个单位、30 天数据访问和最多 2 个用户。非常适合个人项目和概念验证。
• Core (云端)：起价为每月 59 美元。包括每月 10 万个单位、90 天数据访问和无限用户。专为生产项目设计。
• Pro (云端)：起价为每月 199 美元。提供 Core 计划的所有功能，外加无限数据访问、高费率限制以及安全报告（SOC2, ISO27001）的访问权限。
• Enterprise (云端)：自定义定价。提供 Pro 计划的所有功能，外加 SSO、自定义费率限制、正常运行时间 SLA 和专属支持等功能。

（注意：Langfuse 定价中的“单位”对应一个观测值，如一次追踪、生成或评分。）