dagworks

Dagworksは、開発者とデータサイエンティストが信頼性の高いAIを構築できるようにすることを使命とする企業です。その中核となるのが、HamiltonとBurrという2つの強力なオープンソースPythonフレームワークです。これらのツールは、データ、ML、LLM、エージェントのワークフロー開発プロセスを標準化し、生産性、保守性、コラボレーションを大幅に向上させるように設計されています。

このプラットフォームのミッションは、可観測性とイントロスペクションをAIシステムの第一級市民として組み込むことです。複雑なパイプラインやアプリケーションのためのPythonコードを記述する標準化された方法を提供することで、Dagworksはシステムのデバッグ、監視、スケーリングを容易にします。このアプローチは、AIプロジェクトの総所有コストを削減し、価値実現までの時間を短縮します。

dagworksの使い方

Dagworksのエコシステムを利用するには、その2つのコアコンポーネントであるHamiltonとBurrを活用します。これらは個別にも、組み合わせて使用することも可能です。

1. データ＆MLパイプライン向け (Hamilton):

• インストール: まず、Python環境にオープンソースのHamiltonライブラリをインストールします：pip install sf-hamilton。
• 関数の定義: データパイプラインのロジックを、小さく純粋なPython関数に分割します。各関数は単一の変換またはステップ（有向非巡回グラフ - DAGのノード）を表します。
• パイプラインの実行: Hamiltonドライバーを使用して、必要な最終出力を指定してパイプラインを実行します。Hamiltonは自動的に実行パス（DAG）を決定し、関数間のデータフローを管理し、結果を計算します。
• 可観測性の統合: わずか1行のコードで、ホスト型のHamilton UIを統合し、完全なデータリネージ、パイプラインの視覚的表現、データカタログ、パフォーマンスメトリクスを取得できます。

2. RAG＆エージェントアプリケーション向け (Burr):

• インストール: Burrライブラリをインストールします：pip install burr。
• 状態とアクションの定義: アプリケーションをステートマシンとして構造化します。アプリケーションを異なる状態間で遷移させるアクション（Python関数）を定義します。
• アプリケーションの実行: Burrランタイムを使用してステートマシンを実行します。Burrは状態を管理し、実行履歴を追跡し、デバッグを容易にします。
• Burr Cloudの活用: 本番環境では、Burr Cloud（またはセルフホスト）を使用して、ホスト型実行、状態の永続化、高度な可観測性を実現し、複雑なエージェントの相互作用をリアルタイムで追跡・デバッグできます。

dagworksの主な機能

• Hamilton (パイプライン向け): パイプラインを関数のDAGとして表現する軽量なPythonフレームワーク。モジュール式で再利用可能、単体テスト可能なコードを促進します。自動データリネージ、来歴追跡、バージョン管理を提供します。
• Burr (エージェント向け): ステートフルなエージェントアプリケーションを構築するためのフレームワーク。状態管理を標準化し、複雑なRAGやマルチエージェントシステムの構築、デバッグ、観測を容易にします。
• 統合された可観測性: 両フレームワークは、1行で可観測性ツールと統合できるように設計されています。ホスト型UIは、コード実行、データフロー、アプリケーションの状態に関する深い洞察を提供します。
• データカタログとリネージ: Hamilton UIはコードからデータカタログを自動生成し、データ依存関係を理解するためのインタラクティブなリネージグラフを提供します。
• 柔軟性と統合: ツールは軽量で、MLFlow、Sentry、Docker、Panderaなどの既存のMLOpsスタックとシームレスに統合できるように設計されています。
• オープンソースコア: 基本的なフレームワークであるHamiltonとBurrは完全にオープンソースであり、コミュニティの協力と透明性を促進します。

dagworksの使用例

Dagworksは多機能で、フィンテックからコンサルティングまで、さまざまな分野の企業から信頼されています。注目すべき例は、リスク引受を専門とするフィンテック企業Kora Moneyです。

Koraは、コンプライアンスのためのデータリネージとMLOpsプロセスの標準化という課題に直面していました。彼らは引受プラットフォームを構築するためにHamiltonとBurrの両方を採用しました。Hamiltonはデータ変換と特徴量エンジニアリングのパイプラインを定義し、管理可能なノードに分割するために使用されました。Burrはより高レベルのワークフローをオーケストレーションし、複数のHamiltonパイプラインを特定のビジネスロジックで結びつけるために使用されました。このDAGベースのアプローチは、データリネージを簡素化し、ワークフローの透明性を向上させました。その結果、Koraはわずか2ヶ月でレガシーパイプラインの移行に成功し、生産性を大幅に向上させ、コンプライアンスチェックを合理化し、チームのコラボレーションを改善しました。

dagworksの利点

Dagworksの主な利点は、信頼性の高いAIの作成に重点を置いていることです。これは以下の方法で達成されます：

• 生産性の向上: チームはパイプラインとアプリケーションのイテレーションを最大4倍高速化できます。
• TCOの削減: 標準化されたモジュール式のコードは、保守、テスト、デバッグが容易です。
• コラボレーションの強化: 共通のフレームワークにより、チーム間でコードが理解しやすく、再利用可能になります。
• 組み込みのガバナンス: 自動リネージと可観測性により、コンプライアンスと監査が簡素化されます。
• 将来性: フレームワークの構成可能な性質は、より複雑で堅牢なAIシステムの基盤を築きます。

料金プラン

Dagworksはフリーミアムモデルで運営されています：

• オープンソース: コアとなるHamiltonとBurrのPythonフレームワークは無料で使用できます。
• ホスト型Hamilton UI: これは有料サービスで、Hamiltonパイプラインの高度な可観測性、カタログ作成、リネージ可視化を提供します。チームプランレベルで14日間の無料トライアルを提供しています。
• Burr Cloud: エージェントアプリケーション向けのホスト型Burrサービスの価格は「近日公開」と発表されています。

このモデルにより、個人開発者や小規模チームは無料で始めることができ、高度な機能、サポート、ホスティングを必要とする企業向けには有料オプションが用意されています。