Modal

Modal est une plateforme de fonctions cloud sans serveur conçue pour simplifier radicalement le processus d'exécution de code gourmand en calcul, en particulier pour les charges de travail d'IA, d'apprentissage automatique et de traitement de données. Elle offre aux développeurs un moyen élégant d'exécuter des fonctions Python dans le cloud, en abstrayant toutes les complexités de la gestion de l'infrastructure. Avec Modal, vous pouvez passer du développement local à une exécution à grande échelle dans le cloud avec des modifications de code minimales, ce qui vous permet de vous concentrer sur la logique de votre application plutôt que de vous battre avec Kubernetes, Docker ou les configurations des fournisseurs de cloud.

La plateforme est construite sur une pile personnalisée haute performance, comprenant un système de conteneurs basé sur Rust, qui permet des temps de démarrage de conteneurs inférieurs à la seconde. Cela signifie que vous pouvez itérer dans le cloud aussi rapidement que sur votre machine locale. La philosophie de base de Modal est « l'infrastructure en tant que code », où toutes les exigences en matière de ressources, telles que les types de GPU spécifiques, la mémoire ou les secrets, sont définies directement dans votre script Python, éliminant ainsi le besoin de fichiers de configuration séparés comme YAML.

Comment utiliser Modal

Démarrer avec Modal est conçu pour être incroyablement simple, ne nécessitant que quelques étapes :

1. Installation : Installez la bibliothèque client Python de Modal à l'aide de pip : pip install modal.
2. Authentification : Liez votre machine à votre compte Modal en exécutant une seule commande dans votre terminal : modal setup. Cela ouvrira une fenêtre de navigateur pour vous connecter et créer un jeton d'API.
3. Écrivez votre code : Définissez votre fonction cloud en décorant simplement une fonction Python standard avec @app.function(). À l'intérieur de ce décorateur, vous pouvez spécifier tous vos besoins en ressources. Par exemple, pour exécuter une fonction sur un GPU NVIDIA A100, vous utiliseriez @app.function(gpu="A100"). Vous pouvez également définir des environnements de conteneurs personnalisés, en spécifiant des paquets Python ou des dépendances système dans le code.
4. Exécuter à distance : Pour exécuter votre fonction dans le cloud, il suffit de l'appeler avec la méthode .remote(). Par exemple : my_function.remote(arg1, arg2). Modal s'occupe du reste : empaqueter votre code, provisionner les ressources spécifiées, exécuter la fonction et renvoyer les résultats en streaming.

Fonctionnalités principales de Modal

• Calcul GPU et CPU sans serveur : Accédez instantanément à une large gamme de GPU (y compris H100, A100, L40S, T4) et de CPU à grand nombre de cœurs sans aucune configuration manuelle.
• Mise à l'échelle automatique instantanée : Met automatiquement à l'échelle de zéro à des milliers de conteneurs en quelques secondes pour gérer les charges de travail en rafale, et redescend à zéro, de sorte que vous ne payez jamais pour les ressources inactives.
• Environnements sans configuration : Définissez votre image de conteneur, vos dépendances et vos exigences matérielles directement en Python. Pas besoin de Dockerfiles ou de YAML.
• Stockage persistant : Utilisez des composants avec état comme modal.Volume pour un stockage de fichiers persistant à haut débit, modal.Dict pour les magasins clé-valeur, et modal.Queue pour les files d'attente de tâches distribuées.
• Planification de tâches et points de terminaison Web : Déployez facilement des fonctions en tant que tâches cron pour des tâches planifiées ou en tant que points de terminaison Web HTTPS sécurisés pour servir des modèles et des applications, avec prise en charge du streaming et des WebSockets.
• Sandboxing sécurisé : Exécutez du code non fiable en toute sécurité dans des environnements isolés, une fonctionnalité essentielle pour la création d'agents d'IA ou d'interpréteurs de code.
• Intégrations transparentes : S'intègre nativement avec des outils comme Datadog et OpenTelemetry pour l'observabilité, et permet de monter facilement du stockage cloud comme S3 et R2.
• Débogage intégré : Dépannez efficacement les problèmes avec un shell TTY interactif (modal shell) à l'intérieur de vos conteneurs en cours d'exécution.

Cas d'utilisation pour Modal

Modal est polyvalent et puissant, adapté à un large éventail d'applications :

• IA générative : Déployez et mettez à l'échelle l'inférence de LLM avec des frameworks comme vLLM et TensorRT-LLM, affinez les modèles sur des données personnalisées et exécutez des tâches d'entraînement à grande échelle.
• Traitement par lots : Effectuez un traitement parallèle massif pour des tâches comme la transcription audio avec Whisper, l'OCR de documents ou l'analyse de données sur de grands ensembles de données (par exemple, des fichiers Parquet sur S3).
• Génération d'images, de vidéos et de 3D : Servez des modèles de diffusion comme Stable Diffusion et Flux, ou exécutez des fermes de rendu pour des outils comme Blender.
• Biologie computationnelle : Exécutez des simulations complexes pour le repliement des protéines et la prédiction de la structure moléculaire.
• Génération augmentée par récupération (RAG) : Construisez et hébergez des pipelines RAG évolutifs qui peuvent interroger des documents et citer des sources.
• Agents alimentés par l'IA : Créez et exécutez des agents d'IA qui peuvent exécuter du code dans un environnement sécurisé et isolé.

Avantages de Modal

Modal offre un avantage concurrentiel significatif en se concentrant sur l'expérience développeur (DX) et la performance. Comparé aux services cloud traditionnels comme AWS Lambda ou Cloud Run, Modal offre un flux de travail beaucoup plus simple et natif de Python. Ses principaux avantages sont la vitesse (démarrages à froid inférieurs à la seconde et mise à l'échelle rapide), la rentabilité (tarification à la seconde et mise à l'échelle à zéro) et l'abstraction complète de l'infrastructure, ce qui accélère considérablement les cycles de développement et réduit les frais généraux opérationnels.

Tarification et plans

Modal fonctionne sur un modèle freemium et de paiement à l'utilisation, ce qui le rend accessible à tous, des développeurs individuels aux grandes entreprises.

• Plan Starter : Ce plan gratuit est idéal pour les particuliers et les petites équipes. Il comprend un généreux crédit de 30 $ de calcul gratuit chaque mois.
• Paiement à l'utilisation : Au-delà des crédits gratuits, vous ne payez que pour les ressources que vous consommez, facturées à la seconde. Cela inclut les GPU, les CPU et la mémoire. Les prix d'exemple de GPU par seconde sont : T4 à ~0,000164 $, A10G à ~0,000306 $ et H100 à ~0,001097 $.
• Plan Team : Conçu pour les startups et les organisations en croissance, offrant des fonctionnalités de collaboration et des limites de concurrence plus élevées.
• Plan Enterprise : Pour les grandes organisations nécessitant une sécurité renforcée (SOC 2, HIPAA), un support dédié et des fonctionnalités comme le SSO.