dagworks

A Dagworks é uma empresa dedicada a capacitar desenvolvedores e cientistas de dados a construir IA Confiável. Em sua essência, a Dagworks oferece duas poderosas estruturas Python de código aberto: Hamilton e Burr. Essas ferramentas são projetadas para padronizar o processo de desenvolvimento de fluxos de trabalho de dados, ML, LLM e agenticos, melhorando significativamente a produtividade, a manutenibilidade e a colaboração.

A missão da plataforma é incorporar a observabilidade e a introspecção como cidadãos de primeira classe nos sistemas de IA. Ao fornecer uma maneira padronizada de escrever código Python para pipelines e aplicações complexas, a Dagworks garante que os sistemas sejam mais fáceis de depurar, monitorar e escalar. Essa abordagem reduz o custo total de propriedade e acelera o tempo de agregação de valor para projetos de IA.

Como usar a dagworks

O uso do ecossistema Dagworks envolve o aproveitamento de seus dois componentes principais, Hamilton e Burr, que podem ser usados de forma independente ou em conjunto.

1. Para Pipelines de Dados e ML (Hamilton):

• Instalação: Comece instalando a biblioteca de código aberto Hamilton em seu ambiente Python: pip install sf-hamilton.
• Definir Funções: Divida a lógica do seu pipeline de dados em pequenas funções Python puras. Cada função representa uma única transformação ou etapa (um nó em um Grafo Acíclico Dirigido - DAG).
• Executar o Pipeline: Use o driver Hamilton para executar seu pipeline, especificando as saídas finais de que você precisa. O Hamilton determina automaticamente o caminho de execução (o DAG), gerencia o fluxo de dados entre as funções e calcula os resultados.
• Integrar Observabilidade: Com uma única linha de código, você pode integrar a UI Hospedada do Hamilton para obter linhagem de dados completa, uma representação visual do seu pipeline, um catálogo de dados e métricas de desempenho.

2. Para Aplicações RAG e Agenticas (Burr):

• Instalação: Instale a biblioteca Burr: pip install burr.
• Definir Estados e Ações: Estruture sua aplicação como uma máquina de estados. Defina ações (funções Python) que fazem a transição da aplicação entre diferentes estados.
• Executar a Aplicação: Use o tempo de execução do Burr para executar sua máquina de estados. O Burr gerencia o estado, rastreia o histórico de execução e permite uma depuração fácil.
• Utilizar a Burr Cloud: Para ambientes de produção, você pode usar a Burr Cloud (ou auto-hospedar) para execução hospedada, persistência de estado e observabilidade avançada, permitindo rastrear e depurar interações complexas de agentes em tempo real.

Recursos principais da dagworks

• Hamilton (para Pipelines): Uma estrutura Python leve que representa pipelines como um DAG de funções. Promove código modular, reutilizável e testável por unidade. Oferece linhagem de dados automática, rastreamento de proveniência e versionamento.
• Burr (para Agentes): Uma estrutura para construir aplicações agenticas com estado. Padroniza o gerenciamento de estado, tornando sistemas RAG complexos e multiagentes mais fáceis de construir, depurar e observar.
• Observabilidade Integrada: Ambas as estruturas são projetadas para integração de uma linha com ferramentas de observabilidade. As UIs hospedadas fornecem insights profundos sobre a execução do código, fluxo de dados e estado da aplicação.
• Catálogo de Dados e Linhagem: A UI do Hamilton gera automaticamente um catálogo de dados a partir do seu código e fornece gráficos de linhagem interativos para entender as dependências de dados.
• Flexibilidade e Integração: As ferramentas são leves e projetadas para se integrarem perfeitamente com pilhas MLOps existentes como MLFlow, Sentry, Docker e Pandera.
• Núcleo de Código Aberto: As estruturas fundamentais, Hamilton e Burr, são totalmente de código aberto, fomentando a colaboração e a transparência da comunidade.

Casos de uso para a dagworks

A Dagworks é versátil e confiável por empresas em vários setores, de Fintech a consultoria. Um exemplo notável é a Kora Money, uma empresa de fintech especializada em subscrição de risco.

A Kora enfrentou desafios com a linhagem de dados para conformidade e padronização de seus processos de MLOps. Eles adotaram tanto o Hamilton quanto o Burr para estruturar sua plataforma de subscrição. O Hamilton foi usado para definir pipelines de transformação de dados e engenharia de recursos, dividindo-os em nós gerenciáveis. O Burr foi usado para orquestrar fluxos de trabalho de nível superior, vinculando múltiplos pipelines Hamilton com lógica de negócios específica. Essa abordagem baseada em DAG simplificou a linhagem de dados e melhorou a transparência do fluxo de trabalho. Como resultado, a Kora migrou com sucesso um pipeline legado em apenas dois meses, melhorando significativamente a produtividade, simplificando as verificações de conformidade e aprimorando a colaboração da equipe.

Vantagens da dagworks

A principal vantagem da Dagworks é seu foco na criação de **IA Confiável**. Isso é alcançado através de:

• Aumento da Produtividade: As equipes podem iterar em pipelines e aplicações até 4x mais rápido.
• Redução do TCO: O código padronizado e modular é mais fácil de manter, testar e depurar.
• Colaboração Aprimorada: Uma estrutura comum garante que o código seja compreensível e reutilizável entre as equipes.
• Governança Integrada: A linhagem e a observabilidade automáticas simplificam a conformidade e a auditoria.
• Preparação para o Futuro: A natureza componível das estruturas estabelece a base para sistemas de IA mais complexos e robustos.

Preços e planos

A Dagworks opera em um modelo freemium:

• Código Aberto: As estruturas principais do Python, Hamilton e Burr, são de uso gratuito.
• UI Hospedada do Hamilton: Este é um serviço pago que fornece observabilidade avançada, catalogação e visualização de linhagem para pipelines Hamilton. Oferece um teste gratuito de 14 dias no nível Team.
• Burr Cloud: O preço do serviço Burr hospedado para aplicações agenticas é anunciado como 'Em breve'.

Este modelo permite que desenvolvedores individuais e pequenas equipes comecem gratuitamente, com opções pagas disponíveis para empresas que exigem recursos avançados, suporte e hospedagem.