dagworks

Dagworks là một công ty chuyên hỗ trợ các nhà phát triển và nhà khoa học dữ liệu xây dựng AI đáng tin cậy. Cốt lõi của Dagworks là hai framework Python mã nguồn mở mạnh mẽ: Hamilton và Burr. Các công cụ này được thiết kế để chuẩn hóa quy trình phát triển các luồng công việc về dữ liệu, ML, LLM và agent, giúp cải thiện đáng kể năng suất, khả năng bảo trì và sự hợp tác.

Sứ mệnh của nền tảng là đưa khả năng quan sát và tự kiểm tra trở thành những công dân hạng nhất trong các hệ thống AI. Bằng cách cung cấp một cách viết mã Python được tiêu chuẩn hóa cho các quy trình và ứng dụng phức tạp, Dagworks đảm bảo rằng các hệ thống dễ dàng gỡ lỗi, giám sát và mở rộng hơn. Cách tiếp cận này giúp giảm tổng chi phí sở hữu và tăng tốc thời gian tạo ra giá trị cho các dự án AI.

Cách sử dụng dagworks

Sử dụng hệ sinh thái Dagworks bao gồm việc tận dụng hai thành phần cốt lõi của nó, Hamilton và Burr, có thể được sử dụng độc lập hoặc cùng nhau.

1. Cho các quy trình dữ liệu & ML (Hamilton):

• Cài đặt: Bắt đầu bằng cách cài đặt thư viện mã nguồn mở Hamilton trong môi trường Python của bạn: pip install sf-hamilton.
• Định nghĩa các hàm: Chia nhỏ logic quy trình dữ liệu của bạn thành các hàm Python nhỏ, thuần túy. Mỗi hàm đại diện cho một phép biến đổi hoặc một bước duy nhất (một nút trong Đồ thị không chu trình có hướng - DAG).
• Thực thi quy trình: Sử dụng trình điều khiển Hamilton để thực thi quy trình của bạn bằng cách chỉ định các đầu ra cuối cùng bạn cần. Hamilton tự động xác định đường dẫn thực thi (DAG), quản lý luồng dữ liệu giữa các hàm và tính toán kết quả.
• Tích hợp khả năng quan sát: Chỉ với một dòng mã, bạn có thể tích hợp Giao diện người dùng Hamilton được lưu trữ để có được dòng dõi dữ liệu đầy đủ, biểu diễn trực quan của quy trình, danh mục dữ liệu và các chỉ số hiệu suất.

2. Cho các ứng dụng RAG & Agent (Burr):

• Cài đặt: Cài đặt thư viện Burr: pip install burr.
• Định nghĩa các trạng thái và hành động: Cấu trúc ứng dụng của bạn như một máy trạng thái. Định nghĩa các hành động (hàm Python) chuyển ứng dụng giữa các trạng thái khác nhau.
• Chạy ứng dụng: Sử dụng runtime của Burr để thực thi máy trạng thái của bạn. Burr quản lý trạng thái, theo dõi lịch sử thực thi và cho phép gỡ lỗi dễ dàng.
• Sử dụng Burr Cloud: Đối với môi trường sản xuất, bạn có thể sử dụng Burr Cloud (hoặc tự lưu trữ) để thực thi được lưu trữ, duy trì trạng thái và khả năng quan sát nâng cao, cho phép bạn theo dõi và gỡ lỗi các tương tác agent phức tạp trong thời gian thực.

Tính năng chính của dagworks

• Hamilton (cho quy trình): Một framework Python nhẹ biểu diễn các quy trình dưới dạng DAG của các hàm. Nó thúc đẩy mã mô-đun, có thể tái sử dụng và có thể kiểm thử đơn vị. Nó cung cấp dòng dõi dữ liệu tự động, theo dõi nguồn gốc và quản lý phiên bản.
• Burr (cho agent): Một framework để xây dựng các ứng dụng agent có trạng thái. Nó chuẩn hóa việc quản lý trạng thái, giúp các hệ thống RAG và đa agent phức tạp dễ xây dựng, gỡ lỗi và quan sát hơn.
• Khả năng quan sát tích hợp: Cả hai framework đều được thiết kế để tích hợp một dòng với các công cụ quan sát. Giao diện người dùng được lưu trữ cung cấp thông tin chi tiết sâu sắc về việc thực thi mã, luồng dữ liệu và trạng thái ứng dụng.
• Danh mục dữ liệu & Dòng dõi: Giao diện người dùng Hamilton tự động tạo danh mục dữ liệu từ mã của bạn và cung cấp các biểu đồ dòng dõi tương tác để hiểu các phụ thuộc dữ liệu.
• Tính linh hoạt và tích hợp: Các công cụ này nhẹ và được thiết kế để tích hợp liền mạch với các ngăn xếp MLOps hiện có như MLFlow, Sentry, Docker và Pandera.
• Lõi mã nguồn mở: Các framework cơ bản, Hamilton và Burr, hoàn toàn là mã nguồn mở, thúc đẩy sự hợp tác và minh bạch của cộng đồng.

Các trường hợp sử dụng dagworks

Dagworks rất linh hoạt và được các công ty trong nhiều lĩnh vực khác nhau tin tưởng, từ Fintech đến tư vấn. Một ví dụ đáng chú ý là Kora Money, một công ty fintech chuyên về thẩm định rủi ro.

Kora đã đối mặt với những thách thức về dòng dõi dữ liệu để tuân thủ và chuẩn hóa các quy trình MLOps của họ. Họ đã áp dụng cả Hamilton và Burr để cấu trúc nền tảng thẩm định của mình. Hamilton được sử dụng để xác định các quy trình chuyển đổi dữ liệu và kỹ thuật đặc trưng, chia chúng thành các nút có thể quản lý. Burr được sử dụng để điều phối các luồng công việc cấp cao hơn, liên kết nhiều quy trình Hamilton với logic kinh doanh cụ thể. Cách tiếp cận dựa trên DAG này đã đơn giản hóa dòng dõi dữ liệu và cải thiện tính minh bạch của luồng công việc. Kết quả là, Kora đã di chuyển thành công một quy trình cũ chỉ trong hai tháng, giúp tăng năng suất đáng kể, hợp lý hóa việc kiểm tra tuân thủ và cải thiện sự hợp tác trong nhóm.

Ưu điểm của dagworks

Ưu điểm chính của Dagworks là tập trung vào việc tạo ra **AI đáng tin cậy**. Điều này đạt được thông qua:

• Tăng năng suất: Các nhóm có thể lặp lại các quy trình và ứng dụng nhanh hơn tới 4 lần.
• Giảm TCO: Mã được tiêu chuẩn hóa và mô-đun hóa dễ bảo trì, kiểm thử và gỡ lỗi hơn.
• Tăng cường hợp tác: Một framework chung đảm bảo rằng mã dễ hiểu và có thể tái sử dụng giữa các nhóm.
• Quản trị tích hợp: Dòng dõi và khả năng quan sát tự động giúp đơn giản hóa việc tuân thủ và kiểm toán.
• Sẵn sàng cho tương lai: Bản chất có thể kết hợp của các framework đặt nền móng cho các hệ thống AI phức tạp và mạnh mẽ hơn.

Giá cả và gói dịch vụ

Dagworks hoạt động theo mô hình freemium:

• Mã nguồn mở: Các framework Python cốt lõi, Hamilton và Burr, được sử dụng miễn phí.
• Giao diện người dùng Hamilton được lưu trữ: Đây là một dịch vụ trả phí cung cấp khả năng quan sát, lập danh mục và trực quan hóa dòng dõi nâng cao cho các quy trình Hamilton. Nó cung cấp bản dùng thử miễn phí 14 ngày ở cấp độ Team.
• Burr Cloud: Giá cho dịch vụ Burr được lưu trữ cho các ứng dụng agent được thông báo là 'Sắp ra mắt'.

Mô hình này cho phép các nhà phát triển cá nhân và các nhóm nhỏ bắt đầu miễn phí, với các tùy chọn trả phí dành cho các doanh nghiệp yêu cầu các tính năng nâng cao, hỗ trợ và lưu trữ.