dagworks

Dagworks est une entreprise dédiée à permettre aux développeurs et aux data scientists de construire une IA fiable. Au cœur de son offre, Dagworks propose deux puissants frameworks Python open-source : Hamilton et Burr. Ces outils sont conçus pour standardiser le processus de développement des flux de travail de données, de ML, de LLM et d'agents, améliorant ainsi considérablement la productivité, la maintenabilité et la collaboration.

La mission de la plateforme est d'intégrer l'observabilité et l'introspection comme des citoyens de première classe dans les systèmes d'IA. En fournissant une manière standardisée d'écrire du code Python pour des pipelines et des applications complexes, Dagworks garantit que les systèmes sont plus faciles à déboguer, à surveiller et à faire évoluer. Cette approche réduit le coût total de possession et accélère le temps de valorisation des projets d'IA.

Comment utiliser dagworks

L'utilisation de l'écosystème Dagworks implique de tirer parti de ses deux composants principaux, Hamilton et Burr, qui peuvent être utilisés indépendamment ou ensemble.

1. Pour les pipelines de données et de ML (Hamilton) :

• Installation : Commencez par installer la bibliothèque open-source Hamilton dans votre environnement Python : pip install sf-hamilton.
• Définir des fonctions : Décomposez la logique de votre pipeline de données en petites fonctions Python pures. Chaque fonction représente une seule transformation ou étape (un nœud dans un graphe orienté acyclique - DAG).
• Exécuter le pipeline : Utilisez le pilote Hamilton pour exécuter votre pipeline en spécifiant les sorties finales dont vous avez besoin. Hamilton détermine automatiquement le chemin d'exécution (le DAG), gère le flux de données entre les fonctions et calcule les résultats.
• Intégrer l'observabilité : Avec une seule ligne de code, vous pouvez intégrer l'interface utilisateur hébergée de Hamilton pour obtenir une traçabilité complète des données, une représentation visuelle de votre pipeline, un catalogue de données et des métriques de performance.

2. Pour les applications RAG et agentiques (Burr) :

• Installation : Installez la bibliothèque Burr : pip install burr.
• Définir des états et des actions : Structurez votre application comme une machine à états. Définissez des actions (fonctions Python) qui font passer l'application d'un état à un autre.
• Exécuter l'application : Utilisez le runtime de Burr pour exécuter votre machine à états. Burr gère l'état, suit l'historique d'exécution et permet un débogage facile.
• Utiliser Burr Cloud : Pour les environnements de production, vous pouvez utiliser Burr Cloud (ou l'auto-héberger) pour une exécution hébergée, la persistance de l'état et une observabilité avancée, vous permettant de tracer et de déboguer des interactions complexes d'agents en temps réel.

Fonctionnalités principales de dagworks

• Hamilton (pour les pipelines) : Un framework Python léger qui représente les pipelines comme un DAG de fonctions. Il promeut un code modulaire, réutilisable et testable unitairement. Il offre une traçabilité automatique des données, un suivi de la provenance et un versionnage.
• Burr (pour les agents) : Un framework pour construire des applications agentiques avec état. Il standardise la gestion de l'état, rendant les systèmes RAG complexes et multi-agents plus faciles à construire, déboguer et observer.
• Observabilité intégrée : Les deux frameworks sont conçus pour une intégration en une seule ligne avec les outils d'observabilité. Les interfaces utilisateur hébergées fournissent des informations approfondies sur l'exécution du code, le flux de données et l'état de l'application.
• Catalogue de données et traçabilité : L'interface utilisateur de Hamilton génère automatiquement un catalogue de données à partir de votre code et fournit des graphiques de traçabilité interactifs pour comprendre les dépendances des données.
• Flexibilité et intégration : Les outils sont légers et conçus pour s'intégrer de manière transparente avec les piles MLOps existantes comme MLFlow, Sentry, Docker et Pandera.
• Noyau open-source : Les frameworks fondamentaux, Hamilton et Burr, sont entièrement open-source, favorisant la collaboration et la transparence de la communauté.

Cas d'utilisation pour dagworks

Dagworks est polyvalent et approuvé par des entreprises de divers secteurs, de la Fintech au conseil. Un exemple notable est Kora Money, une société de technologie financière spécialisée dans la souscription de risques.

Kora était confrontée à des défis liés à la traçabilité des données pour la conformité et à la standardisation de ses processus MLOps. Ils ont adopté à la fois Hamilton et Burr pour structurer leur plateforme de souscription. Hamilton a été utilisé pour définir des pipelines de transformation de données et d'ingénierie des fonctionnalités, en les décomposant en nœuds gérables. Burr a été utilisé pour orchestrer des flux de travail de plus haut niveau, reliant plusieurs pipelines Hamilton à une logique métier spécifique. Cette approche basée sur les DAG a simplifié la traçabilité des données et amélioré la transparence des flux de travail. En conséquence, Kora a réussi à migrer un pipeline hérité en seulement deux mois, améliorant considérablement la productivité, rationalisant les contrôles de conformité et améliorant la collaboration d'équipe.

Avantages de dagworks

Le principal avantage de Dagworks est son accent sur la création d'une **IA fiable**. Ceci est réalisé grâce à :

• Productivité accrue : Les équipes peuvent itérer sur les pipelines et les applications jusqu'à 4 fois plus vite.
• TCO réduit : Le code standardisé et modulaire est plus facile à maintenir, à tester et à déboguer.
• Collaboration améliorée : Un cadre commun garantit que le code est compréhensible et réutilisable entre les équipes.
• Gouvernance intégrée : La traçabilité et l'observabilité automatiques simplifient la conformité et l'audit.
• Pérennité : La nature composable des frameworks jette les bases de systèmes d'IA plus complexes et robustes.

Tarification et plans

Dagworks fonctionne sur un modèle freemium :

• Open Source : Les frameworks Python de base, Hamilton et Burr, sont gratuits.
• UI hébergée de Hamilton : Il s'agit d'un service payant qui offre une observabilité avancée, un catalogage et une visualisation de la traçabilité pour les pipelines Hamilton. Il propose un essai gratuit de 14 jours au niveau Team.
• Burr Cloud : La tarification du service hébergé Burr pour les applications agentiques est annoncée comme « Bientôt disponible ».

Ce modèle permet aux développeurs individuels et aux petites équipes de démarrer gratuitement, avec des options payantes disponibles pour les entreprises nécessitant des fonctionnalités avancées, un support et un hébergement.