Braintrust

Braintrust 是一个全面的端到端平台，旨在帮助团队充满信心地构建、评估和交付世界一流的 AI 及 LLM 驱动的应用程序。在一个 AI 模型可能具有不确定性和不可预测性的时代，Braintrust 提供了必要的基础设施，将严格的测试、监控和迭代改进引入 AI 开发生命周期。它受到领先 AI 团队的信赖，以弥合开发与可靠的生产部署之间的关键差距，将 AI 开发转变为一种更结构化、更可预测的工程学科。

该平台围绕“Evals”（评估）这一核心概念构建，允许团队系统地测试对提示词、模型或其 AI 系统任何其他部分的更改。通过创建示例数据集和定义评分器，开发人员可以获得关于性能的客观指标，防止性能衰退，并确保每一次更改都是一次改进。这使得回答“当我们更改提示词时，哪些示例出现了衰退？”或“如果我尝试这个新模型会发生什么？”等关键问题变得轻而易举。

如何使用Braintrust

使用 Braintrust 需要将其集成到您现有的 AI 开发工作流程中。该过程旨在让整个团队都能直观地操作：

1. 植入您的代码：首先将 Braintrust SDK（支持 Python 和 TypeScript）集成到您的应用程序中。这使您可以将所有 LLM 交互、输入和输出记录到 Braintrust 平台。
2. 创建和管理提示词：使用 Braintrust UI 或直接在代码中定义提示词。该平台为您的所有提示词提供了一个集中的、版本控制的存储库，可以轻松进行测试和更新。
3. 构建测试数据集：从您的生产日志中捕获有趣或有问题的示例，以创建“黄金”数据集。这些数据集作为评估未来更改的基准。
4. 定义和运行评估（Evals）：将您的提示词、模型和数据集结合起来创建一个“Eval”。运行实验，并排比较不同的模型提供商（如 GPT-4o、Claude 3.5 Sonnet、Llama 3）、提示词版本或其他参数。
5. 使用追踪进行调试：当应用程序行为异常时，使用 Braintrust 的追踪功能来可视化 LLM 调用的整个执行路径。这有助于精确定位错误或意外输出的根本原因。
6. 在生产中监控：部署后，使用监控仪表板跟踪您的 AI 应用程序的真实性能、成本和质量。为异常或性能下降设置警报。
7. 迭代和改进：利用来自评估、人工审核和生产监控的洞察，不断优化您的提示词和数据集，从而创建一个强大的改进反馈循环。

Braintrust的核心功能

• LLM 评估（Evals）：使用各种预构建或自定义编码的评分器（例如，编辑距离、相似度、幻觉检查），系统地测试和比较提示词、模型和配置。
• 提示词管理：一个集中的、版本控制的系统，用于创建、测试和部署提示词，这些提示词在 UI 和您的代码库之间无缝同步。
• 实时追踪与调试：可视化您的 AI 应用程序的完整端到端执行流程，以快速识别瓶颈、错误和优化机会。
• 生产监控：深入了解真实世界的性能、成本、延迟和用户交互，以确保您的模型在实时环境中表现最佳。
• 协作式 Playground：一个类似 IDE 的环境，技术和非技术团队成员可以在其中实时试验提示词、模型和数据。
• 黄金数据集：从真实世界数据中创建、管理和版本化精选数据集，用于稳健的回归测试和评估。
• 自托管选项：在您自己的基础设施上部署 Braintrust，以完全控制您的数据，满足严格的安全和合规性要求。
• AI 代理：一个统一的接口，用于与各种 LLM 提供商进行交互，简化 API 调用、凭证管理和模型切换。
• 人工审核工作流程：一个内置系统，允许人类专家对 AI 输出进行评分，提供可集成到您的数据集和评估中的宝贵反馈。

Braintrust的使用案例

Braintrust 功能多样，可应用于 AI 开发的各种场景：

• A/B 测试 LLM 提示词：开发人员可以创建两个版本的提示词，并在黄金数据集上运行评估，以客观地确定哪一个在准确性、相关性或语气等指标上表现更好。
• 模型基准测试和迁移：当像 Claude 3.5 Sonnet 这样的新模型发布时，团队可以使用 Braintrust 在决定迁移之前，评估其在关键业务任务上相对于当前模型（例如 GPT-4o）的性能和成本。
• 调试复杂的 AI 代理：对于进行多次顺序 LLM 调用的代理，Braintrust 的追踪功能可以可视化整个思维链，使其易于发现逻辑失败或产生不正确结果的地方。
• RAG 系统的质量保证：团队可以构建问题和预期答案的数据集，以持续测试其检索增强生成（RAG）系统，确保其质量不会下降或开始产生幻觉。
• 成本和延迟优化：产品经理可以使用监控仪表板跟踪生产中 AI 功能的成本和响应时间，识别需要工程关注的昂贵查询或性能瓶颈。

Braintrust的优势特点

Braintrust 为使用 AI 构建的团队提供了显著的竞争优势：

• 端到端解决方案：它独特地覆盖了从初始实验和评估到生产监控和持续改进的整个 AI 应用生命周期。
• 管理 AI 的不确定性：它为不可预测的 LLM 世界带来了结构化测试和客观指标，帮助团队构建稳健可靠的产品。
• 促进团队协作：其直观的 UI 专为工程师和像产品经理这样的非技术利益相关者设计，使每个人都能为改进 AI 产品做出贡献。
• 代码与 UI 的协同作用：它在用户友好的 UI 和生产代码库之间无缝同步像提示词这样的配置，弥合了实验与部署之间的鸿沟。
• 灵活且可扩展：通过支持自定义评分器、自定义函数和自托管，它可以适应任何组织的特定需求和基础设施。

定价和计划

Braintrust 提供分层定价结构，旨在随您的需求扩展：

• 免费计划：每月 0 美元。该计划非常适合个人和小型团队入门。它包括 100 万次追踪、1 GB 处理数据、10,000 次评分、14 天数据保留和无限用户。
• 专业版计划：每月 249 美元。针对成长中的团队和生产应用程序，该计划提供无限次追踪、5 GB 处理数据（超出部分每 GB 3 美元）、50,000 次评分（超出部分每 1,000 次 1.50 美元）、1 个月数据保留和无限用户。
• 企业版计划：自定义定价。该计划适用于大型组织或拥有大量或隐私敏感数据的组织。它包括高级支持、专用基础设施以及本地或私有云部署选项。