Flyte

Flyte est une plateforme d'orchestration de flux de travail de qualité production, open-source et native du cloud, spécialement conçue pour les pipelines complexes de données, de machine learning et d'analyse. En tant que projet diplômé de la Cloud Native Computing Foundation (CNCF), Flyte fournit une base robuste et fiable pour le MLOps, comblant le fossé entre le développement local et les environnements de production à grande échelle. Il permet aux data scientists et aux ingénieurs ML de se concentrer sur leur logique, tandis que la plateforme gère la scalabilité, la reproductibilité, la tolérance aux pannes et la gestion de l'infrastructure.

Comment utiliser Flyte

L'utilisation de Flyte implique une approche structurée et axée sur le code pour définir et gérer les flux de travail :

1. Définir des tâches (Tasks) : Une tâche est l'unité d'exécution fondamentale. En utilisant le SDK Python, vous définissez une tâche avec le décorateur `@task`. Au sein de la tâche, vous spécifiez ses entrées, ses sorties, ses besoins en ressources (par ex., CPU, mémoire, GPU) et son image de conteneur.
2. Construire des flux de travail (Workflows) : Un flux de travail, défini avec le décorateur `@workflow`, enchaîne les tâches pour former un Graphe Acyclique Dirigé (DAG). Vous définissez le flux de données entre les tâches, créant ainsi un pipeline complet.
3. Itération locale : Flyte fournit des outils comme `pyflyte run` pour exécuter et déboguer vos flux de travail sur votre machine locale. Cela permet une itération rapide et une boucle de rétroaction serrée avant le déploiement.
4. Enregistrer en production : Une fois votre flux de travail prêt, vous l'enregistrez sur un cluster Flyte en utilisant `pyflyte register`. Cette action versionne l'ensemble de votre flux de travail, y compris son code et ses dépendances, garantissant la reproductibilité.
5. Lancer et surveiller : Vous pouvez déclencher des exécutions de flux de travail via l'interface utilisateur de Flyte, une tâche cron planifiée ou l'API. L'interface utilisateur offre une vue complète pour surveiller les exécutions, inspecter les journaux, visualiser les sorties avec FlyteDecks et analyser la lignée des données.
6. Mettre à l'échelle avec des fonctionnalités avancées : Pour le traitement à grande échelle, vous pouvez utiliser des fonctionnalités comme `map_task` pour exécuter une tâche en parallèle sur une liste d'entrées, ou utiliser des flux de travail dynamiques pour ajuster la structure du pipeline à l'exécution.

Fonctionnalités principales de Flyte

• Reproductibilité et versionnage : Chaque tâche et flux de travail est versionné et immuable. Flyte suit automatiquement la lignée des données, vous permettant de remonter de n'importe quelle sortie au code et aux données exacts qui l'ont produite.
• Scalabilité et performance : Construit sur Kubernetes, Flyte est intrinsèquement scalable. Il prend en charge l'allocation dynamique des ressources, l'accélération GPU, les instances spot/préemptibles pour des économies de coûts, et un parallélisme massif grâce aux map tasks.
• Expérience centrée sur le développeur : Propose un SDK Python-first intuitif pour les data scientists. Il abstrait les complexités de l'infrastructure avec des fonctionnalités comme `ImageSpec`, qui construit des images de conteneurs sans nécessiter de connaissances Dockerfile.
• Agnostique du langage : Bien que le SDK principal soit Python, Flyte prend en charge l'écriture de tâches dans n'importe quel langage (Java, Scala, R, etc.) en les exécutant dans leurs propres conteneurs.
• Gestion robuste des données : Fournit des interfaces fortement typées pour détecter les erreurs de données à la compilation. Les types `FlyteFile`, `FlyteDirectory` et `StructuredDataset` simplifient les E/S de données entre les tâches et le stockage cloud.
• Logique d'orchestration avancée : Prend en charge les flux de travail dynamiques, le branchement conditionnel, les points de contrôle intra-tâche pour les tâches de longue durée, et la mise en cache pour éviter de recalculer des étapes coûteuses.
• Prêt pour l'entreprise : Offre le multi-tenancy pour l'isolement des équipes, la gestion des secrets pour un accès sécurisé aux informations d'identification, et des notifications via Slack, PagerDuty ou e-mail.

Cas d'utilisation pour Flyte

Flyte est polyvalent et utilisé dans diverses industries pour des pipelines critiques :

• Traitement de données à grande échelle (ETL) : Construction et planification de pipelines ETL robustes pour traiter des téraoctets de données pour l'analyse et l'entreposage de données.
• Entraînement de modèles de machine learning : Orchestration de pipelines ML de bout en bout, du prétraitement des données et de l'ingénierie des fonctionnalités à l'entraînement de modèles distribués, l'optimisation des hyperparamètres et l'évaluation.
• LLM et IA générative : Affinage de grands modèles de langage (LLM), construction de systèmes de génération augmentée par récupération (RAG) et gestion de graphes d'inférence complexes.
• Bio-informatique et génomique : Exécution de flux de travail bio-informatiques à forte intensité de calcul, tels que l'alignement et l'analyse de séquences d'ADN, à grande échelle.
• Analyse géospatiale : Traitement de jeux de données d'images satellitaires massifs pour créer des produits de données comme des mosaïques et des modèles numériques d'élévation, comme le démontre son utilisation avec Xarray et GDAL.

Avantages de Flyte

Flyte offre des avantages significatifs par rapport à d'autres orchestrateurs :

• Qualité production dès le premier jour : Son accent sur le typage, le versionnage et l'immuabilité garantit que les flux de travail sont fiables et reproductibles.
• Unifie les stacks de données et de ML : Fournit une plateforme unique pour les ingénieurs de données, les scientifiques ML et les professionnels de l'analyse, brisant les silos et favorisant la collaboration.
• Réduit la charge de l'infrastructure : Automatise de nombreux aspects difficiles du MLOps, tels que la conteneurisation, la gestion des ressources et la mise à l'échelle.
• Rentable : Le noyau open-source est gratuit, tandis que des fonctionnalités comme la mise en cache, la récupération après échec et le support des instances spot réduisent considérablement les coûts de calcul.
• Écosystème dynamique : En tant que projet CNCF, il dispose d'une communauté forte et s'intègre de manière transparente avec une large gamme d'outils comme Spark, Ray, Pandera, Great Expectations, et plus encore.

Tarification et plans

Flyte est un projet open-source sous licence Apache 2.0, ce qui le rend entièrement gratuit à télécharger, utiliser et auto-héberger sur votre propre infrastructure. Pour les organisations qui préfèrent une solution de niveau entreprise entièrement gérée, Union.ai (l'entreprise qui a créé Flyte à l'origine) propose une plateforme cloud hébergée. Cette offre commerciale gère toute la configuration, la maintenance et la mise à l'échelle de l'infrastructure, et inclut un support d'entreprise et des fonctionnalités supplémentaires.