dagworks

Dagworks ist ein Unternehmen, das es sich zur Aufgabe gemacht hat, Entwicklern und Datenwissenschaftlern die Entwicklung zuverlässiger KI zu ermöglichen. Im Kern bietet Dagworks zwei leistungsstarke Open-Source-Python-Frameworks: Hamilton und Burr. Diese Tools sind darauf ausgelegt, den Entwicklungsprozess von Daten-, ML-, LLM- und Agenten-Workflows zu standardisieren und so die Produktivität, Wartbarkeit und Zusammenarbeit erheblich zu verbessern.

Die Mission der Plattform ist es, Beobachtbarkeit und Introspektion als erstklassige Bürger in KI-Systemen zu verankern. Durch die Bereitstellung einer standardisierten Methode zum Schreiben von Python-Code für komplexe Pipelines und Anwendungen stellt Dagworks sicher, dass Systeme einfacher zu debuggen, zu überwachen und zu skalieren sind. Dieser Ansatz reduziert die Gesamtbetriebskosten und beschleunigt die Time-to-Value für KI-Projekte.

Wie man dagworks verwendet

Die Nutzung des Dagworks-Ökosystems beinhaltet die Verwendung seiner beiden Kernkomponenten, Hamilton und Burr, die unabhängig voneinander oder zusammen verwendet werden können.

1. Für Daten- & ML-Pipelines (Hamilton):

• Installation: Beginnen Sie mit der Installation der Open-Source-Hamilton-Bibliothek in Ihrer Python-Umgebung: pip install sf-hamilton.
• Funktionen definieren: Zerlegen Sie Ihre Datenpipeline-Logik in kleine, reine Python-Funktionen. Jede Funktion repräsentiert eine einzelne Transformation oder einen Schritt (einen Knoten in einem gerichteten azyklischen Graphen - DAG).
• Pipeline ausführen: Verwenden Sie den Hamilton-Treiber, um Ihre Pipeline auszuführen, indem Sie die benötigten Endergebnisse angeben. Hamilton bestimmt automatisch den Ausführungspfad (den DAG), verwaltet den Datenfluss zwischen den Funktionen und berechnet die Ergebnisse.
• Beobachtbarkeit integrieren: Mit einer einzigen Codezeile können Sie die gehostete Hamilton-UI integrieren, um eine vollständige Datenherkunft, eine visuelle Darstellung Ihrer Pipeline, einen Datenkatalog und Leistungsmetriken zu erhalten.

2. Für RAG- & Agenten-Anwendungen (Burr):

• Installation: Installieren Sie die Burr-Bibliothek: pip install burr.
• Zustände und Aktionen definieren: Strukturieren Sie Ihre Anwendung als Zustandsmaschine. Definieren Sie Aktionen (Python-Funktionen), die die Anwendung zwischen verschiedenen Zuständen überführen.
• Anwendung ausführen: Verwenden Sie die Burr-Laufzeitumgebung, um Ihre Zustandsmaschine auszuführen. Burr verwaltet den Zustand, verfolgt den Ausführungsverlauf und ermöglicht ein einfaches Debugging.
• Burr Cloud nutzen: Für Produktionsumgebungen können Sie die Burr Cloud (oder Self-Hosting) für gehostete Ausführung, Zustandspersistenz und erweiterte Beobachtbarkeit nutzen, um komplexe Agenteninteraktionen in Echtzeit zu verfolgen und zu debuggen.

Kernfunktionen von dagworks

• Hamilton (für Pipelines): Ein leichtgewichtiges Python-Framework, das Pipelines als DAG von Funktionen darstellt. Es fördert modularen, wiederverwendbaren und unit-testbaren Code. Es bietet automatische Datenherkunft, Provenienzverfolgung und Versionierung.
• Burr (für Agenten): Ein Framework zur Erstellung zustandsbehafteter Agentenanwendungen. Es standardisiert die Zustandsverwaltung und erleichtert die Erstellung, das Debugging und die Beobachtung komplexer RAG- und Multi-Agenten-Systeme.
• Integrierte Beobachtbarkeit: Beide Frameworks sind für eine Ein-Zeilen-Integration mit Beobachtbarkeitstools konzipiert. Die gehosteten UIs bieten tiefe Einblicke in die Codeausführung, den Datenfluss und den Anwendungszustand.
• Datenkatalog & Herkunft: Die Hamilton-UI generiert automatisch einen Datenkatalog aus Ihrem Code und bietet interaktive Herkunftsgraphen zum Verständnis von Datenabhängigkeiten.
• Flexibilität und Integration: Die Tools sind leichtgewichtig und so konzipiert, dass sie sich nahtlos in bestehende MLOps-Stacks wie MLFlow, Sentry, Docker und Pandera integrieren lassen.
• Open-Source-Kern: Die grundlegenden Frameworks, Hamilton und Burr, sind vollständig Open Source, was die Zusammenarbeit und Transparenz der Community fördert.

Anwendungsfälle für dagworks

Dagworks ist vielseitig und wird von Unternehmen in verschiedenen Sektoren, von Fintech bis Beratung, geschätzt. Ein bemerkenswertes Beispiel ist Kora Money, ein Fintech-Unternehmen, das sich auf die Risikoprüfung spezialisiert hat.

Kora stand vor Herausforderungen bei der Datenherkunft für die Compliance und der Standardisierung ihrer MLOps-Prozesse. Sie haben sowohl Hamilton als auch Burr eingeführt, um ihre Risikoprüfungsplattform zu strukturieren. Hamilton wurde verwendet, um Datenumwandlungs- und Feature-Engineering-Pipelines zu definieren und sie in überschaubare Knoten zu zerlegen. Burr wurde verwendet, um übergeordnete Workflows zu orchestrieren und mehrere Hamilton-Pipelines mit spezifischer Geschäftslogik zu verknüpfen. Dieser DAG-basierte Ansatz vereinfachte die Datenherkunft und verbesserte die Workflow-Transparenz. Infolgedessen migrierte Kora eine veraltete Pipeline in nur zwei Monaten erfolgreich, was die Produktivität erheblich steigerte, die Compliance-Prüfungen rationalisierte und die Teamzusammenarbeit verbesserte.

Vorteile von dagworks

Der Hauptvorteil von Dagworks liegt in seinem Fokus auf die Schaffung **zuverlässiger KI**. Dies wird erreicht durch:

• Gesteigerte Produktivität: Teams können Pipelines und Anwendungen bis zu 4x schneller iterieren.
• Reduzierte TCO: Standardisierter, modularer Code ist einfacher zu warten, zu testen und zu debuggen.
• Verbesserte Zusammenarbeit: Ein gemeinsames Framework stellt sicher, dass der Code teamübergreifend verständlich und wiederverwendbar ist.
• Integrierte Governance: Automatische Herkunft und Beobachtbarkeit vereinfachen Compliance und Audits.
• Zukunftssicherheit: Die zusammensetzbare Natur der Frameworks legt den Grundstein für komplexere und robustere KI-Systeme.

Preise und Pläne

Dagworks arbeitet nach einem Freemium-Modell:

• Open Source: Die Kern-Frameworks Hamilton und Burr für Python sind kostenlos nutzbar.
• Gehostete Hamilton-UI: Dies ist ein kostenpflichtiger Dienst, der erweiterte Beobachtbarkeit, Katalogisierung und Herkunftsvisualisierung für Hamilton-Pipelines bietet. Er bietet eine 14-tägige kostenlose Testversion auf Team-Ebene.
• Burr Cloud: Die Preise für den gehosteten Burr-Dienst für Agentenanwendungen werden als „Demnächst verfügbar“ angekündigt.

Dieses Modell ermöglicht es einzelnen Entwicklern und kleinen Teams, kostenlos zu starten, mit kostenpflichtigen Optionen für Unternehmen, die erweiterte Funktionen, Support und Hosting benötigen.