dstack

dstack est un puissant orchestrateur de conteneurs open-source spécialement conçu pour relever les défis auxquels sont confrontées les équipes d'Intelligence Artificielle et de Machine Learning. Son objectif principal est de simplifier le processus complexe d'orchestration des charges de travail et d'améliorer considérablement l'utilisation des ressources GPU coûteuses. En tant que plateforme agnostique vis-à-vis des fournisseurs, dstack offre une couche de calcul unifiée qui s'intègre de manière transparente avec n'importe quel cloud GPU (comme AWS, GCP, Azure, OCI), les clusters sur site et une large gamme de matériel accéléré, y compris NVIDIA, AMD, TPU, et plus encore. Cette flexibilité garantit que les équipes ne sont pas enfermées chez un seul fournisseur et peuvent exploiter le meilleur matériel pour leurs besoins, où qu'il se trouve.

La plateforme est conçue avec l'expérience du développeur au cœur, en abstrayant les complexités de l'infrastructure sous-jacente. Cela permet aux ingénieurs ML et aux chercheurs de se concentrer sur la construction, l'entraînement et le déploiement de modèles plutôt que sur la gestion des serveurs, des dépendances et de la mise à l'échelle. dstack est approuvé par des équipes ML de classe mondiale dans des entreprises comme Electronic Arts et Mobius Labs pour sa capacité à passer du prototypage rapide à de grands travaux d'entraînement distribués sur plusieurs nœuds.

Comment utiliser dstack

Démarrer avec dstack est un processus simple conçu pour une adoption rapide :

1. Configurer le serveur : Vous pouvez commencer par installer le serveur dstack sur votre machine locale en utilisant une commande simple comme uv tool install "dstack[all]" et en l'exécutant avec dstack server. Alternativement, vous pouvez le déployer n'importe où en utilisant l'image Docker officielle ou vous inscrire à dstack Sky, la version cloud gérée, pour éviter de l'héberger vous-même.
2. Définir les configurations : Les flux de travail dans dstack sont définis à l'aide de simples fichiers YAML dans votre dépôt de projet. Ces configurations décrivent l'environnement, les ressources et les commandes pour vos tâches. Les types de configuration clés incluent :
   • Environnements de développement (Dev Environments) : Pour le développement interactif, vous permettant de connecter votre IDE local (comme VS Code) à une puissante machine GPU distante.
   • Tâches (Tasks) : Pour planifier des travaux par lots, tels que le pré-entraînement ou l'ajustement fin de modèles. Idéal pour les charges de travail qui s'exécutent jusqu'à leur achèvement.
   • Services (Services) : Pour déployer des modèles en tant que points de terminaison sécurisés, à mise à l'échelle automatique et compatibles avec OpenAI.
   • Flottes (Fleets) : Pour gérer des groupes d'instances cloud ou sur site comme un seul pool de ressources.
3. Appliquer les configurations : Une fois votre fichier YAML prêt, vous l'appliquez à l'aide de l'interface de ligne de commande : dstack apply. dstack s'occupe alors du reste : provisionnement de l'infrastructure nécessaire, planification du travail, gestion de la mise à l'échelle automatique, gestion de la redirection de port et diffusion des journaux vers votre terminal. Pour une exécution détachée, vous pouvez utiliser l'indicateur -d.

Fonctionnalités principales de dstack

• Couche de calcul unifiée : Fournit un plan de contrôle unique et agnostique vis-à-vis des fournisseurs pour toutes vos ressources de calcul IA, que ce soit sur le cloud ou sur site.
• Large prise en charge des accélérateurs : Prend en charge nativement une large gamme de matériel, y compris les GPU NVIDIA, les GPU AMD, les TPU Google Cloud, Intel Gaudi et les accélérateurs Tenstorrent.
• Flux de travail centrés sur le développeur : Offre des configurations spécialisées comme les environnements de développement pour le codage interactif, les tâches pour le traitement par lots et les services pour un déploiement facile des modèles.
• Gestion efficace des ressources : Dispose d'un planificateur intégré pour maximiser l'utilisation des GPU. Il inclut des politiques pour terminer automatiquement les instances sous-utilisées, ce qui permet de réduire les coûts.
• Intégration transparente : Fonctionne sans problème avec les principaux clouds GPU (AWS, GCP, Azure, OCI) et peut s'exécuter sur des clusters Kubernetes existants. Les flottes SSH permettent de connecter des serveurs bare-metal.
• Services à mise à l'échelle automatique : Déployez facilement des modèles en tant que services prêts pour la production avec des fonctionnalités telles que la mise à l'échelle automatique, le HTTPS et des points de terminaison API compatibles avec OpenAI.
• Persistance des données : Prend en charge les volumes réseau et d'instance pour conserver les données, les modèles et les caches entre les exécutions, garantissant que l'état n'est pas perdu.
• Configuration avancée : Permet un contrôle fin avec des fonctionnalités telles que les politiques de nouvelle tentative pour les problèmes de capacité, la gestion des variables d'environnement et la prise en charge des images Docker personnalisées.

Cas d'utilisation pour dstack

dstack est polyvalent et prend en charge une large gamme de flux de travail ML :

• Entraînement et ajustement fin de modèles : Exécutez des travaux d'entraînement sur un seul nœud ou distribués pour de grands modèles de langage (LLM) en utilisant des frameworks populaires comme TRL, Axolotl et DeepSpeed.
• Inférence et service de modèles : Déployez des modèles optimisés pour l'inférence en utilisant des frameworks de service haute performance comme vLLM, SGLang, TGI et NVIDIA NIM.
• Développement IA interactif : Les ingénieurs ML peuvent lancer de puissants environnements de développement soutenus par des GPU en quelques secondes, en connectant leur IDE local pour expérimenter et déboguer le code de manière interactive.
• Gestion de clusters haute performance : Configurez et exécutez des tests (par exemple, des tests NCCL) sur des clusters spécialisés à plusieurs nœuds comme GCP A3 Mega ou des instances compatibles AWS EFA.
• Optimisation des coûts inter-cloud : Comparez et utilisez sans effort les instances GPU les plus rentables parmi différents fournisseurs de cloud pour une tâche donnée.

Avantages de dstack

Le principal avantage de dstack est sa capacité à simplifier considérablement l'infrastructure IA. Il donne aux équipes ML les moyens de se concentrer sur leurs recherches et leurs modèles plutôt que sur l'infrastructure. Les principaux avantages incluent une productivité accrue, des économies de coûts significatives grâce à une meilleure utilisation des GPU et à l'accès aux instances spot, et la prévention de l'enfermement propriétaire (vendor lock-in). Sa nature open-source favorise la transparence et le développement communautaire, tandis que sa conception centrée sur le développeur rend incroyablement facile la définition d'une configuration et son exécution sans se soucier de la disponibilité des GPU ou des configurations complexes.

Tarification et plans

dstack propose une structure de tarification flexible pour répondre à différents besoins :

• dstack (Open-Source) : La plateforme de base est open-source et gratuite. Vous pouvez l'auto-héberger sur votre propre infrastructure sans frais de licence.
• dstack Sky : Un service cloud géré qui s'occupe de l'hébergement du serveur dstack pour vous. Il donne également accès à un marché des GPU les moins chers. Il offre un niveau gratuit pour commencer.
• dstack Enterprise : Une version auto-hébergée conçue pour les grandes organisations, qui inclut des fonctionnalités de niveau entreprise comme l'authentification unique (SSO), des contrôles de gouvernance avancés et un support d'entreprise dédié. une version d'essai peut être demandée pour cette version.

Ce modèle rend dstack accessible aux chercheurs individuels, aux startups et aux grandes entreprises.