dagworks

Dagworks es una empresa dedicada a permitir que los desarrolladores y científicos de datos construyan IA Fiable. En su núcleo, Dagworks ofrece dos potentes frameworks de Python de código abierto: Hamilton y Burr. Estas herramientas están diseñadas para estandarizar el proceso de desarrollo de flujos de trabajo de datos, ML, LLM y agénticos, mejorando significativamente la productividad, la mantenibilidad y la colaboración.

La misión de la plataforma es integrar la observabilidad y la introspección como ciudadanos de primera clase en los sistemas de IA. Al proporcionar una forma estandarizada de escribir código Python para pipelines y aplicaciones complejas, Dagworks asegura que los sistemas sean más fáciles de depurar, monitorear y escalar. Este enfoque reduce el costo total de propiedad y acelera el tiempo de obtención de valor para los proyectos de IA.

Cómo usar dagworks

Usar el ecosistema de Dagworks implica aprovechar sus dos componentes principales, Hamilton y Burr, que pueden usarse de forma independiente o conjunta.

1. Para Pipelines de Datos y ML (Hamilton):

• Instalación: Comience instalando la biblioteca de código abierto Hamilton en su entorno de Python: pip install sf-hamilton.
• Definir Funciones: Descomponga la lógica de su pipeline de datos en pequeñas funciones puras de Python. Cada función representa una única transformación o paso (un nodo en un Grafo Acíclico Dirigido - DAG).
• Ejecutar el Pipeline: Use el controlador de Hamilton para ejecutar su pipeline especificando las salidas finales que necesita. Hamilton determina automáticamente la ruta de ejecución (el DAG), gestiona el flujo de datos entre funciones y calcula los resultados.
• Integrar Observabilidad: Con una sola línea de código, puede integrar la UI Alojada de Hamilton para obtener un linaje de datos completo, una representación visual de su pipeline, un catálogo de datos y métricas de rendimiento.

2. Para Aplicaciones RAG y Agénticas (Burr):

• Instalación: Instale la biblioteca Burr: pip install burr.
• Definir Estados y Acciones: Estructure su aplicación como una máquina de estados. Defina acciones (funciones de Python) que transicionan la aplicación entre diferentes estados.
• Ejecutar la Aplicación: Use el tiempo de ejecución de Burr para ejecutar su máquina de estados. Burr gestiona el estado, rastrea el historial de ejecución y permite una depuración fácil.
• Utilizar Burr Cloud: Para entornos de producción, puede usar Burr Cloud (o autoalojarlo) para ejecución alojada, persistencia de estado y observabilidad avanzada, lo que le permite rastrear y depurar interacciones complejas de agentes en tiempo real.

Características principales de dagworks

• Hamilton (para Pipelines): Un framework ligero de Python que representa los pipelines como un DAG de funciones. Promueve código modular, reutilizable y comprobable unitariamente. Ofrece linaje de datos automático, seguimiento de procedencia y versionado.
• Burr (para Agentes): Un framework para construir aplicaciones agénticas con estado. Estandariza la gestión de estado, haciendo que los sistemas RAG complejos y multiagente sean más fáciles de construir, depurar y observar.
• Observabilidad Integrada: Ambos frameworks están diseñados para una integración de una sola línea con herramientas de observabilidad. Las UIs alojadas proporcionan información profunda sobre la ejecución del código, el flujo de datos y el estado de la aplicación.
• Catálogo de Datos y Linaje: La UI de Hamilton genera automáticamente un catálogo de datos a partir de su código y proporciona gráficos de linaje interactivos para comprender las dependencias de los datos.
• Flexibilidad e Integración: Las herramientas son ligeras y están diseñadas para integrarse sin problemas con pilas de MLOps existentes como MLFlow, Sentry, Docker y Pandera.
• Núcleo de Código Abierto: Los frameworks fundamentales, Hamilton y Burr, son completamente de código abierto, fomentando la colaboración y la transparencia de la comunidad.

Casos de uso para dagworks

Dagworks es versátil y cuenta con la confianza de empresas de diversos sectores, desde Fintech hasta consultoría. Un ejemplo notable es Kora Money, una empresa de tecnología financiera especializada en la suscripción de riesgos.

Kora se enfrentaba a desafíos con el linaje de datos para el cumplimiento normativo y la estandarización de sus procesos de MLOps. Adoptaron tanto Hamilton como Burr para estructurar su plataforma de suscripción. Hamilton se utilizó para definir pipelines de transformación de datos e ingeniería de características, dividiéndolos en nodos manejables. Burr se utilizó para orquestar flujos de trabajo de nivel superior, vinculando múltiples pipelines de Hamilton con lógica de negocio específica. Este enfoque basado en DAG simplificó el linaje de datos y mejoró la transparencia del flujo de trabajo. Como resultado, Kora migró con éxito un pipeline heredado en solo dos meses, mejorando significativamente la productividad, agilizando las comprobaciones de cumplimiento y mejorando la colaboración del equipo.

Ventajas de dagworks

La principal ventaja de Dagworks es su enfoque en la creación de **IA Fiable**. Esto se logra a través de:

• Mayor Productividad: Los equipos pueden iterar en pipelines y aplicaciones hasta 4 veces más rápido.
• Reducción del TCO: El código estandarizado y modular es más fácil de mantener, probar y depurar.
• Colaboración Mejorada: Un marco común asegura que el código sea comprensible y reutilizable entre equipos.
• Gobernanza Integrada: El linaje y la observabilidad automáticos simplifican el cumplimiento y la auditoría.
• Preparación para el Futuro: La naturaleza componible de los frameworks sienta las bases para sistemas de IA más complejos y robustos.

Precios y planes

Dagworks opera con un modelo freemium:

• Código Abierto: Los frameworks principales de Python, Hamilton y Burr, son de uso gratuito.
• UI Alojada de Hamilton: Este es un servicio de pago que proporciona observabilidad avanzada, catalogación y visualización de linaje para los pipelines de Hamilton. Ofrece una prueba gratuita de 14 días en el nivel Team.
• Burr Cloud: El precio del servicio alojado de Burr para aplicaciones agénticas se anuncia como 'Próximamente'.

Este modelo permite a los desarrolladores individuales y a los equipos pequeños comenzar de forma gratuita, con opciones de pago disponibles para empresas que requieren características avanzadas, soporte y alojamiento.