dagworks

Dagworks是一家致力于帮助开发者和数据科学家构建“可靠AI”的公司。其核心是提供两个强大的开源Python框架：Hamilton和Burr。这些工具旨在标准化数据、机器学习、大型语言模型（LLM）和智能体工作流的开发过程，从而显著提高生产力、可维护性和协作效率。

该平台的使命是将可观测性和内省能力作为AI系统的一等公民。通过提供一种标准化的方式来编写用于复杂管道和应用的Python代码，Dagworks确保系统更易于调试、监控和扩展。这种方法降低了AI项目的总拥有成本，并加速了价值实现的时间。

如何使用dagworks

使用Dagworks生态系统需要利用其两个核心组件——Hamilton和Burr，它们可以独立使用，也可以结合使用。

1. 用于数据和机器学习管道 (Hamilton):

• 安装：首先在您的Python环境中安装开源的Hamilton库：pip install sf-hamilton。
• 定义函数：将您的数据管道逻辑分解为小型的、纯粹的Python函数。每个函数代表一个单一的转换或步骤（有向无环图 - DAG中的一个节点）。
• 执行管道：使用Hamilton驱动程序，通过指定您需要的最终输出来执行您的管道。Hamilton会自动确定执行路径（DAG），管理函数之间的数据流，并计算结果。
• 集成可观测性：只需一行代码，您就可以集成托管的Hamilton UI，以获得完整的数据血缘、管道的可视化表示、数据目录和性能指标。

2. 用于RAG和智能体应用 (Burr):

• 安装：安装Burr库：pip install burr。
• 定义状态和动作：将您的应用程序构建为状态机。定义将应用程序在不同状态之间转换的动作（Python函数）。
• 运行应用：使用Burr运行时来执行您的状态机。Burr管理状态，跟踪执行历史，并使调试变得容易。
• 利用Burr Cloud：对于生产环境，您可以使用Burr Cloud（或自托管）进行托管执行、状态持久化和高级可观测性，使您能够实时跟踪和调试复杂的智能体交互。

dagworks的核心功能

• Hamilton (用于管道): 一个轻量级的Python框架，将管道表示为函数的DAG。它提倡模块化、可重用和可单元测试的代码。它提供自动的数据血缘、来源跟踪和版本控制。
• Burr (用于智能体): 一个用于构建有状态的智能体应用的框架。它标准化了状态管理，使复杂的RAG和多智能体系统更易于构建、调试和观测。
• 集成的可观测性：两个框架都设计为可通过一行代码与可观测性工具集成。托管的UI提供了对代码执行、数据流和应用状态的深入洞察。
• 数据目录和血缘： Hamilton UI会根据您的代码自动生成数据目录，并提供交互式血缘图以理解数据依赖关系。
• 灵活性和集成性：这些工具是轻量级的，旨在与现有的MLOps堆栈（如MLFlow、Sentry、Docker和Pandera）无缝集成。
• 开源核心：基础框架Hamilton和Burr是完全开源的，促进了社区协作和透明度。

dagworks的使用案例

Dagworks功能多样，受到金融科技、咨询等各行业公司的信赖。一个显著的例子是Kora Money，一家专注于风险承销的金融科技公司。

Kora在满足合规性的数据血缘和标准化其MLOps流程方面面临挑战。他们采用了Hamilton和Burr来构建其承销平台。Hamilton被用于定义数据转换和特征工程管道，将其分解为可管理的节点。Burr则用于编排更高级别的工作流，将多个Hamilton管道与特定的业务逻辑连接起来。这种基于DAG的方法简化了数据血缘，提高了工作流的透明度。最终，Kora仅用两个月就成功迁移了一个遗留管道，显著提高了生产力，简化了合规性检查，并改善了团队协作。

dagworks的优势特点

Dagworks的主要优势在于其专注于创建可靠的AI。这是通过以下方式实现的：

• 提高生产力：团队迭代管道和应用的速度可提高多达4倍。
• 降低总拥有成本：标准化、模块化的代码更易于维护、测试和调试。
• 增强协作：一个通用的框架确保代码在团队之间易于理解和重用。
• 内置治理：自动的血缘和可观测性简化了合规和审计工作。
• 面向未来：框架的可组合性为构建更复杂、更稳健的AI系统奠定了基础。

定价和计划

Dagworks采用免费增值模式：

• 开源：核心的Hamilton和Burr Python框架可免费使用。
• 托管的Hamilton UI：这是一项付费服务，为Hamilton管道提供高级的可观测性、目录和血缘可视化功能。它为团队计划提供14天的免费试用。
• Burr Cloud：用于智能体应用的托管Burr服务的定价已宣布为“即将推出”。

这种模式允许个人开发者和小型团队免费入门，同时为需要高级功能、支持和托管的企业提供付费选项。