Flyte

Flyte é uma plataforma de orquestração de fluxos de trabalho de nível de produção, de código aberto e nativa da nuvem, especificamente projetada para pipelines complexos de dados, aprendizado de máquina e análise. Como um projeto graduado da Cloud Native Computing Foundation (CNCF), o Flyte fornece uma espinha dorsal robusta e confiável para MLOps, preenchendo a lacuna entre o desenvolvimento local e ambientes de produção em larga escala. Ele permite que cientistas de dados e engenheiros de ML se concentrem em sua lógica, enquanto a plataforma lida com escalabilidade, reprodutibilidade, tolerância a falhas e gerenciamento de infraestrutura.

Como usar Flyte

Usar o Flyte envolve uma abordagem estruturada e baseada em código para definir e gerenciar fluxos de trabalho:

1. Definir Tarefas (Tasks): Uma tarefa é a unidade fundamental de execução. Usando o SDK Python, você define uma tarefa com o decorador `@task`. Dentro da tarefa, você especifica suas entradas, saídas, requisitos de recursos (por exemplo, CPU, memória, GPU) e imagem de contêiner.
2. Construir Fluxos de Trabalho (Workflows): Um fluxo de trabalho, definido com o decorador `@workflow`, encadeia tarefas para formar um Grafo Acíclico Dirigido (DAG). Você define o fluxo de dados entre as tarefas, criando um pipeline completo.
3. Iteração Local: O Flyte fornece ferramentas como `pyflyte run` para executar e depurar seus fluxos de trabalho em sua máquina local. Isso permite uma iteração rápida e um ciclo de feedback apertado antes da implantação.
4. Registrar para Produção: Quando seu fluxo de trabalho estiver pronto, você o registra em um cluster Flyte usando `pyflyte register`. Esta ação versiona todo o seu fluxo de trabalho, incluindo seu código e dependências, garantindo a reprodutibilidade.
5. Lançar e Monitorar: Você pode acionar execuções de fluxo de trabalho através da UI do Flyte, um trabalho cron agendado ou a API. A UI fornece uma visão abrangente para monitorar execuções, inspecionar logs, visualizar saídas com FlyteDecks e analisar a linhagem de dados.
6. Escalar com Recursos Avançados: Para processamento em larga escala, você pode aproveitar recursos como `map_task` para executar uma tarefa em paralelo sobre uma lista de entradas, ou usar fluxos de trabalho dinâmicos para ajustar a estrutura do pipeline em tempo de execução.

Recursos principais do Flyte

• Reprodutibilidade e Versionamento: Cada tarefa e fluxo de trabalho é versionado e imutável. O Flyte rastreia automaticamente a linhagem de dados, permitindo que você rastreie qualquer saída até o código e os dados exatos que a produziram.
• Escalabilidade e Desempenho: Construído sobre o Kubernetes, o Flyte é inerentemente escalável. Ele suporta alocação dinâmica de recursos, aceleração de GPU, instâncias spot/preemptivas para economia de custos e paralelismo massivo através de map tasks.
• Experiência Centrada no Desenvolvedor: Apresenta um SDK Python-first que é intuitivo para cientistas de dados. Ele abstrai as complexidades da infraestrutura com recursos como `ImageSpec`, que constrói imagens de contêiner sem exigir conhecimento de Dockerfile.
• Agnóstico de Linguagem: Embora o SDK principal seja Python, o Flyte suporta a escrita de tarefas em qualquer linguagem (Java, Scala, R, etc.) executando-as em seus próprios contêineres.
• Manuseio Robusto de Dados: Fornece interfaces fortemente tipadas para capturar erros de dados em tempo de compilação. Os tipos `FlyteFile`, `FlyteDirectory` e `StructuredDataset` simplificam a E/S de dados entre tarefas e o armazenamento em nuvem.
• Lógica de Orquestração Avançada: Suporta fluxos de trabalho dinâmicos, ramificação condicional, checkpointing intra-tarefa para tarefas de longa duração e cache para evitar a recomputação de etapas caras.
• Pronto para Empresas: Oferece multilocação para isolamento de equipes, gerenciamento de segredos para acesso seguro a credenciais e notificações via Slack, PagerDuty ou e-mail.

Casos de uso para Flyte

O Flyte é versátil e usado em várias indústrias para pipelines de missão crítica:

• Processamento de Dados em Larga Escala (ETL): Construção e agendamento de pipelines ETL robustos para processar terabytes de dados para análise e data warehousing.
• Treinamento de Modelos de Aprendizado de Máquina: Orquestração de pipelines de ML de ponta a ponta, desde o pré-processamento de dados e engenharia de recursos até o treinamento de modelos distribuídos, otimização de hiperparâmetros e avaliação.
• LLM e IA Generativa: Ajuste fino de Modelos de Linguagem Grandes (LLMs), construção de sistemas de Geração Aumentada por Recuperação (RAG) e gerenciamento de grafos de inferência complexos.
• Bioinformática e Genômica: Execução de fluxos de trabalho de bioinformática computacionalmente intensivos, como alinhamento e análise de sequências de DNA, em escala.
• Análise Geoespacial: Processamento de conjuntos de dados massivos de imagens de satélite para criar produtos de dados como mosaicos e modelos digitais de elevação, como demonstrado por seu uso com Xarray e GDAL.

Vantagens do Flyte

O Flyte oferece vantagens significativas sobre outros orquestradores:

• Nível de Produção desde o Primeiro Dia: Seu foco em tipagem, versionamento e imutabilidade garante que os fluxos de trabalho sejam confiáveis e reprodutíveis.
• Unifica Stacks de Dados e ML: Fornece uma única plataforma para engenheiros de dados, cientistas de ML e profissionais de análise, quebrando silos e promovendo a colaboração.
• Reduz a Sobrecarga de Infraestrutura: Automatiza muitos dos aspectos desafiadores do MLOps, como conteinerização, gerenciamento de recursos и escalonamento.
• Custo-Eficiente: O núcleo de código aberto é gratuito, enquanto recursos como cache, recuperação de falhas e suporte a instâncias spot reduzem significativamente os custos computacionais.
• Ecossistema Vibrante: Como um projeto da CNCF, possui uma comunidade forte e se integra perfeitamente com uma ampla gama de ferramentas como Spark, Ray, Pandera, Great Expectations e muito mais.

Preços e planos

O Flyte é um projeto de código aberto licenciado sob a Apache 2.0, tornando-o completamente gratuito para baixar, usar e hospedar em sua própria infraestrutura. Para organizações que preferem uma solução de nível empresarial totalmente gerenciada, a Union.ai (a empresa que criou originalmente o Flyte) oferece uma plataforma em nuvem hospedada. Esta oferta comercial lida com toda a configuração, manutenção e escalonamento da infraestrutura, e inclui suporte empresarial e recursos adicionais.