dagworks

Dagworks是一家致力於幫助開發者和資料科學家建構「可靠AI」的公司。其核心是提供兩個強大的開源Python框架：Hamilton和Burr。這些工具旨在標準化資料、機器學習、大型語言模型（LLM）和智慧體工作流程的開發過程，從而顯著提高生產力、可維護性和協作效率。

該平台的使命是將可觀測性和內省能力作為AI系統的一等公民。透過提供一種標準化的方式來編寫用於複雜管道和應用的Python程式碼，Dagworks確保系統更易於偵錯、監控和擴展。這種方法降低了AI專案的總擁有成本，並加速了價值實現的時間。

如何使用dagworks

使用Dagworks生態系統需要利用其兩個核心組件——Hamilton和Burr，它們可以獨立使用，也可以結合使用。

1. 用於資料和機器學習管道 (Hamilton):

• 安裝：首先在您的Python環境中安裝開源的Hamilton函式庫：pip install sf-hamilton。
• 定義函數：將您的資料管道邏輯分解為小型的、純粹的Python函數。每個函數代表一個單一的轉換或步驟（有向無環圖 - DAG中的一個節點）。
• 執行管道：使用Hamilton驅動程式，透過指定您需要的最終輸出來執行您的管道。Hamilton會自動確定執行路徑（DAG），管理函數之間的資料流，並計算結果。
• 整合可觀測性：只需一行程式碼，您就可以整合託管的Hamilton UI，以獲得完整的資料血緣、管道的視覺化表示、資料目錄和效能指標。

2. 用於RAG和智慧體應用 (Burr):

• 安裝：安裝Burr函式庫：pip install burr。
• 定義狀態和動作：將您的應用程式建構為狀態機。定義將應用程式在不同狀態之間轉換的動作（Python函數）。
• 運行應用：使用Burr執行時來執行您的狀態機。Burr管理狀態，追蹤執行歷史，並使偵錯變得容易。
• 利用Burr Cloud：對於生產環境，您可以使用Burr Cloud（或自託管）進行託管執行、狀態持久化和進階可觀測性，使您能夠即時追蹤和偵錯複雜的智慧體互動。

dagworks的核心功能

• Hamilton (用於管道): 一個輕量級的Python框架，將管道表示為函數的DAG。它提倡模組化、可重用和可單元測試的程式碼。它提供自動的資料血緣、來源追蹤和版本控制。
• Burr (用於智慧體): 一個用於建構有狀態的智慧體應用的框架。它標準化了狀態管理，使複雜的RAG和多智慧體系統更易於建構、偵錯和觀測。
• 整合的可觀測性：兩個框架都設計為可透過一行程式碼與可觀測性工具整合。託管的UI提供了對程式碼執行、資料流和應用狀態的深入洞察。
• 資料目錄和血緣： Hamilton UI會根據您的程式碼自動生成資料目錄，並提供互動式血緣圖以理解資料依賴關係。
• 靈活性和整合性：這些工具是輕量級的，旨在與現有的MLOps堆疊（如MLFlow、Sentry、Docker和Pandera）無縫整合。
• 開源核心：基礎框架Hamilton和Burr是完全開源的，促進了社群協作和透明度。

dagworks的使用案例

Dagworks功能多樣，受到金融科技、諮詢等各行業公司的信賴。一個顯著的例子是Kora Money，一家專注於風險承銷的金融科技公司。

Kora在滿足合規性的資料血緣和標準化其MLOps流程方面面臨挑戰。他們採用了Hamilton和Burr來建構其承銷平台。Hamilton被用於定義資料轉換和特徵工程管道，將其分解為可管理的節點。Burr則用於編排更高級別的工作流程，將多個Hamilton管道與特定的業務邏輯連接起來。這種基於DAG的方法簡化了資料血緣，提高了工作流程的透明度。最終，Kora僅用兩個月就成功遷移了一個舊有管道，顯著提高了生產力，簡化了合規性檢查，並改善了團隊協作。

dagworks的優勢特點

Dagworks的主要優勢在於其專注於創建可靠的AI。這是透過以下方式實現的：

• 提高生產力：團隊迭代管道和應用的速度可提高多達4倍。
• 降低總擁有成本：標準化、模組化的程式碼更易於維護、測試和偵錯。
• 增強協作：一個通用的框架確保程式碼在團隊之間易於理解和重用。
• 內建治理：自動的血緣和可觀測性簡化了合規和審計工作。
• 面向未來：框架的可組合性為建構更複雜、更穩健的AI系統奠定了基礎。

定價和計劃

Dagworks採用免費增值模式：

• 開源：核心的Hamilton和Burr Python框架可免費使用。
• 託管的Hamilton UI：這是一項付費服務，為Hamilton管道提供進階的可觀測性、目錄和血緣視覺化功能。它為團隊計劃提供14天的免費試用。
• Burr Cloud：用於智慧體應用的託管Burr服務的定價已宣布為「即將推出」。

這種模式允許個人開發者和小型團隊免費入門，同時為需要進階功能、支援和託管的企業提供付費選項。