Anyscale

Anyscale est l'entreprise derrière Ray, le principal framework de calcul unifié open-source qui simplifie la mise à l'échelle des applications d'IA et de Python. La plateforme Anyscale offre un environnement entièrement géré et prêt pour l'entreprise pour exécuter les charges de travail Ray, en abstrayant la gestion complexe de l'infrastructure et en accélérant l'ensemble du cycle de vie de l'apprentissage automatique. Des leaders de l'industrie comme OpenAI, Uber et Instacart lui font confiance pour alimenter leurs charges de travail d'IA les plus exigeantes. La plateforme est conçue pour que les développeurs et les scientifiques des données puissent passer en toute transparence du développement sur un ordinateur portable à la production à grande échelle, souvent sans modifications significatives du code.

Comment utiliser Anyscale

L'utilisation d'Anyscale implique un flux de travail centré sur le développeur, axé sur l'exploitation du framework Ray dans un environnement géré :

1. Choisissez un modèle de déploiement : Commencez par sélectionner votre option de déploiement préférée. Vous pouvez exécuter des charges de travail dans le cloud géré d'Anyscale pour un démarrage rapide, ou déployer dans votre propre environnement cloud (AWS, GCP) ou sur une infrastructure sur site pour un plus grand contrôle et une meilleure localité des données.
2. Développez avec les API Ray : Utilisez les API Pythonic simples et intuitives de Ray pour paralléliser votre code. En ajoutant des décorateurs simples comme @ray.remote à vos fonctions et classes Python, vous pouvez distribuer des tâches et des acteurs sur un cluster. Cela s'applique au traitement des données, à la formation de modèles, à l'ajustement des hyperparamètres et au service de modèles.
3. Déployez sur la plateforme Anyscale : Déployez votre application Ray sur la plateforme Anyscale. La plateforme gère automatiquement le provisionnement des clusters, l'autoscaling, la gestion des dépendances et la tolérance aux pannes, vous permettant de vous concentrer sur la logique de votre application plutôt que sur l'infrastructure.
4. Surveillez et optimisez : Tirez parti de la suite complète d'outils d'observabilité d'Anyscale. Surveillez la progression des tâches, visualisez l'utilisation des ressources, déboguez des applications distribuées complexes et analysez les métriques de performance pour optimiser à la fois la vitesse et les coûts.
5. Mettez à l'échelle en toute transparence : Mettez à l'échelle sans effort vos applications d'une seule machine pour les tests à des milliers de processeurs et de GPU pour les charges de travail de production à grande échelle. Le moteur d'Anyscale, RayTurbo, garantit une utilisation optimale des ressources et des performances à n'importe quelle échelle.

Fonctionnalités principales de Anyscale

• Moteur RayTurbo : La version propriétaire et optimisée pour les performances du runtime Ray d'Anyscale, offrant des performances, une efficacité et une fiabilité supérieures pour les charges de travail de production.
• Calcul d'IA unifié : Une plateforme unique et cohérente pour l'ensemble du pipeline IA/ML, du traitement de données à grande échelle et de la formation distribuée à l'apprentissage par renforcement et au service en ligne.
• Scalabilité native de Python : Mettez à l'échelle Python natif et son riche écosystème de bibliothèques (comme PyTorch, TensorFlow, Hugging Face) avec des modifications de code minimales, rendant le calcul distribué accessible à tous les développeurs Python.
• Flexibilité multi-cloud et hybride : Déployez des charges de travail sur n'importe quel grand fournisseur de cloud (AWS, GCP), sur des serveurs sur site ou dans une configuration hybride, en évitant le verrouillage par un fournisseur et en plaçant le calcul à proximité de vos données.
• Gouvernance et sécurité de niveau entreprise : Comprend des contrôles d'accès robustes, des rôles d'utilisateur, une surveillance de l'utilisation et des alertes. Exécutez dans votre propre environnement cloud sécurisé avec un contrôle total sur la confidentialité et la conformité des données.
• Outils de développement avancés : Inclut des outils intégrés pour l'observabilité, le débogage et la journalisation, offrant un flux de travail fluide du développement à la production et réduisant le temps de mise sur le marché.
• Expérience sans serveur (Serverless) : Anyscale gère l'infrastructure sous-jacente, offrant une expérience sans serveur aux développeurs. Il met à l'échelle les ressources automatiquement en fonction des demandes de la charge de travail.

Cas d'utilisation pour Anyscale

Anyscale est polyvalent et alimente une large gamme d'applications d'IA exigeantes dans divers secteurs :

• Formation et affinage de LLM : Comme l'ont démontré OpenAI et Cohere, Anyscale est utilisé pour former et affiner les plus grands modèles de langage du monde, en gérant efficacement des tâches de formation distribuées massives.
• Applications d'IA générative : Des entreprises comme Jasper utilisent Anyscale pour construire et mettre à l'échelle leurs plateformes de contenu IA, en prenant en charge des charges de travail complexes comme la génération augmentée par récupération (RAG) et les modèles multimodaux.
• Traitement de données à grande échelle : Prétraitez et transformez efficacement des pétaoctets de données pour la formation de modèles ML, accélérant considérablement l'étape de préparation des données.
• Apprentissage automatique distribué : Instacart tire parti d'Anyscale pour exécuter des charges de travail d'apprentissage profond 12 fois plus rapidement et former des modèles sur 100 fois plus de données, optimisant ainsi leur logistique et leur expérience utilisateur.
• Service et inférence de modèles en temps réel : Samsara utilise la plateforme pour mettre à l'échelle le déploiement de modèles et a réussi à réduire les coûts d'inférence de 50 % tout en accélérant les cycles de déploiement.

Avantages de Anyscale

Anyscale offre des avantages significatifs pour les organisations qui cherchent à mettre à l'échelle leurs initiatives d'IA :

• Réduction drastique des coûts : En maximisant l'utilisation des GPU et des CPU et en fournissant une orchestration efficace, les clients signalent des réductions significatives des coûts de calcul dans le cloud, parfois de plus de 90 %.
• Vélocité de développement accélérée : La simplicité de la plateforme et ses outils puissants permettent aux développeurs d'itérer plus rapidement, passant du concept à la production en une fraction du temps.
• Scalabilité inégalée : Conçu pour gérer des charges de travail à l'échelle planétaire, Anyscale peut s'adapter pour répondre aux besoins des projets d'IA les plus ambitieux.
• Flexibilité et pérennité : La prise en charge de n'importe quel cloud, accélérateur et bibliothèque ML garantit que votre pile IA reste moderne et adaptable aux futures innovations.
• Éprouvé en production : Testé au combat par les plus grandes entreprises d'IA du monde, Anyscale offre la fiabilité et les performances nécessaires pour les applications critiques.

Tarification et plans

Anyscale propose un modèle de tarification flexible à l'utilisation, basé sur l'utilisation du calcul, et non sur les jetons.

• Démarrage gratuit : Commencez avec un crédit de 100 $ pour explorer la plateforme.
• Modèles de déploiement :
  1. Déploiement dans votre cloud : Utilisez vos propres ressources de calcul (AWS/GCP, sur site). Vous payez à Anyscale des frais minimes à la minute pour le service de la plateforme, en plus des coûts de votre fournisseur de cloud. Le prix varie selon le type d'instance (par ex., CPU uniquement à partir de ~0,00006 $/min, NVIDIA A100 80 Go à partir de ~0,02941 $/min).
  2. Déploiement dans le cloud d'Anyscale : Une solution entièrement hébergée où Anyscale gère l'infrastructure. Le prix est tout compris et varie également selon le type d'instance (par ex., CPU uniquement à partir de ~0,00855 $/min, NVIDIA A100 80 Go à partir de ~0,11312 $/min).
• Remises sur volume : Des devis personnalisés et des remises importantes sont disponibles pour une utilisation en entreprise à grande échelle. Contactez le service commercial pour plus de détails.
• Plans de support : Des plans de support à plusieurs niveaux (Développeur, Entreprise, Platine) sont disponibles, offrant différents niveaux de SLA de temps de réponse, des canaux de support dédiés et des conseils d'experts des créateurs de Ray.