boundaryml

boundaryml，也被称为 BAML (Boundary AI Markup Language)，是一种功能强大且富有表现力的语言，专为使用大型语言模型 (LLM) 的开发人员设计。其主要目标是解决 AI 开发中的一个关键挑战：从 LLM 通常不可预测的输出中可靠地获取结构化数据，例如 JSON。BAML 用一个健壮的、类型安全的框架取代了脆弱的提示工程和手动解析，将 LLM 交互视为软件开发生命周期的核心部分。

该平台提供了一个全面的工具包，简化了定义、测试和部署由 AI 驱动的数据提取管道的整个过程。通过在 `.baml` 文件中定义数据模式和提示，开发人员可以利用静态分析、实时反馈和专用的 VSCode 游乐场来快速迭代。BAML 的智能解析器是一个突出的功能，它能自动纠正常见的 LLM 输出错误，如尾随逗号、未加引号的键和其他 JSON 格式问题，从而防止运行时失败并确保数据完整性。

如何使用 boundaryml

对于开发人员来说，开始使用 boundaryml 非常简单。该过程从通过 pip 安装必要的包开始：

$ pip install baml-py

1. 定义您的模式： 在您的项目中创建一个 `.baml` 文件。在此文件中，您可以使用 BAML 直观的语法（包括类和枚举，类似于现代编程语言）来定义所需的输出结构。您还可以编写将发送给 LLM 的提示，并使用 Jinja 模板来处理动态内容。

2. 在游乐场中开发和测试： 使用 BAML VSCode 扩展，它提供了一个集成的游乐场。这使您能够针对不同的 LLM（如 GPT-4o、Claude 3.5 等）测试您的提示，查看实时输出，并在编写任何应用程序代码之前调试任何问题。该游乐场还支持多模态输入，允许您使用图像和音频进行测试。

3. 生成和使用客户端： BAML 的编译器会以您选择的语言（例如 Python、TypeScript）生成一个类型安全的客户端。然后，您可以直接在您的应用程序代码中导入和调用您的 BAML 函数，就像任何其他库函数一样。BAML 会处理底层的 LLM API 调用、解析和错误纠正。

4. 自信地部署： 集成后，您的应用程序可以可靠地调用 LLM 以获取结构化数据。对于生产环境，boundaryml 提供了 Boundary Studio，这是一个用于可观察性、监控和微调的 MLOps 套件。

boundaryml 的核心功能

• 富有表现力的 BAML 语言： 一种用于定义提示和数据模式的专用语法，将提示工程转变为更结构化的编码实践。
• 高级错误纠正解析器： 自动修复来自 LLM 输出的损坏的 JSON 和其他格式错误，确保高可靠性。
• 模型无关的函数调用： 与包括 OpenAI、Anthropic、Google 和开源替代品在内的各种模型无缝协作，通常性能优于原生的函数调用功能。
• 类型安全的客户端生成： 为多种语言（Python、TypeScript、Ruby、Go 等）生成客户端，提供完整的类型安全和编辑器自动完成功能。
• 集成的 VSCode 游乐场： 一个用于快速原型设计、测试和调试提示及数据提取逻辑的交互式环境。
• 语义流式传输： 一种先进的技术，用于流式传输结构化数据对象，而不仅仅是原始文本令牌，从而实现更灵敏的用户体验。
• 多模态能力： 在提示中支持如音频和图像等非文本输入。
• 开源核心： 核心的 BAML 语言和工具是免费的，并根据 Apache 2.0 许可证开源。

boundaryml 的使用案例

boundaryml 非常适用于任何依赖于从 LLM 获取结构化信息的应用程序：

• 数据提取： 将简历、发票、合同和客户邮件等非结构化文档解析为结构化格式。
• AI 代理开发： 通过确保 LLM 的输出正确匹配所需的函数签名，构建使用工具和函数的可靠 AI 代理。
• 内容分类和标记： 根据内容自动对用户反馈、支持工单或文章进行分类。
• RAG (检索增强生成) 系统： 结构化 RAG 管道的输出，例如，以一致的格式生成带引用的答案。
• 自然语言到 API： 将用户的自然语言请求转换为结构化的 API 调用或数据库查询。

boundaryml 的优势特点

开发人员选择 boundaryml 的原因有几个关键优势：

• 增强的可靠性： 大大减少解析失败，并消除了对复杂的 `JSON.parse()` try-catch 块的需求。
• 改善的开发体验： 类似代码的语法、静态分析和集成的测试游乐场显著加快了迭代速度并提高了代码质量。
• 成本和性能优化： BAML 高效的提示技术可以减少令牌使用量并缩短首个令牌的生成时间，而不会牺牲准确性。
• 跨平台和多语言： 在 BAML 中定义一次逻辑，即可在用各种编程语言编写的不同服务中使用。
• 最先进的结果： 基准测试表明，与原生模型实现相比，BAML 在函数调用任务中取得了卓越的性能。

定价和计划

boundaryml 采用免费增值模式，使其对从个人开发者到大型企业的每个人都可用。

• 入门计划（永久免费）： 此计划完全免费，包括核心的 BAML 语言（Apache 2.0 许可）、从 LLM 获取结构化数据的能力、具有多模态功能的 VSCode 游乐场，以及通过 Discord 和 GitHub 提供的社区支持。
• 企业计划（定制价格）： 专为需要最高级别可靠性和支持的企业量身定制。它包括入门计划中的所有内容，外加对 Boundary Studio（一个具有可观察性、数据标记和微调支持的 MLOps 套件）的访问权限、SLA 保证、专用的 Slack 支持、架构审查和优先功能请求。有意者应联系销售获取报价。