Juice

Juice, par Juice Labs, introduit un paradigme informatique révolutionnaire : le GPU-sur-IP. C'est une solution logicielle sophistiquée conçue pour créer un nouveau substrat informatique où la puissance de calcul accélérée circule sur les réseaux, un peu comme l'électricité sur un réseau électrique. Cette technologie change fondamentalement la manière dont les organisations utilisent et gèrent leurs coûteuses ressources GPU. En découplant les GPU de leurs hôtes physiques, Juice permet à n'importe quelle application sur n'importe quelle machine d'accéder à la puissance GPU de n'importe où sur le réseau, que ce soit sur site, dans le cloud ou dans un environnement hybride.

La plateforme est conçue pour une intégration transparente dans les infrastructures existantes. Elle ne nécessite aucune modification de vos applications, de votre matériel ou de vos systèmes d'exploitation sous-jacents. Juice fonctionne en virtualisant les ressources GPU et en les rendant disponibles sur des réseaux IP standard. Cela signifie que le poste de travail d'un scientifique des données ou un serveur uniquement CPU peut se connecter instantanément à un GPU distant puissant pour exécuter un modèle d'IA exigeant, puis le libérer tout aussi rapidement, rendant la ressource disponible pour la charge de travail suivante. Cette allocation dynamique élimine l'inactivité des GPU, augmente considérablement les taux d'utilisation et maximise le retour sur investissement du matériel de calcul haute performance.

Comment utiliser Juice

L'intégration de Juice dans votre flux de travail est conçue pour être simple et non perturbatrice. Voici un processus typique :

1. Déploiement : Juice est une solution logicielle uniquement. Vous déployez l'agent Juice sur les machines qui hébergent les GPU (serveurs GPU) et sur les machines qui doivent y accéder (nœuds clients). Cela peut être fait sur du bare metal, dans des machines virtuelles ou dans des conteneurs sur les environnements Windows et Linux.
2. Accès : Les utilisateurs peuvent accéder aux GPU virtualisés distants via plusieurs interfaces. La méthode la plus courante est via l'interface de ligne de commande (CLI) en exécutant simplement une commande comme pip install juice. Une application de bureau conviviale est également disponible pour Windows, et un SDK est en cours de développement pour une intégration d'application native plus approfondie.
3. Orchestration : Les administrateurs peuvent regrouper les GPU physiques en pools logiques. Ils peuvent ensuite définir des politiques d'accès pour contrôler quels utilisateurs ou systèmes peuvent accéder à des pools spécifiques. En utilisant des balises, les charges de travail peuvent être intelligemment associées aux ressources GPU les plus appropriées en fonction des exigences telles que la taille de la VRAM ou le modèle de GPU. Toute cette couche d'orchestration fonctionne sans la complexité de Kubernetes, bien qu'elle puisse coexister avec lui.
4. Exécution : Une fois connecté, vous exécutez vos applications comme vous le feriez normalement. Juice intercepte les appels d'API GPU (comme CUDA, DirectX, OpenGL) de votre application et les achemine sur le réseau vers le GPU distant. Le calcul se fait sur le GPU distant et les résultats sont renvoyés. Pour l'application, il semble qu'un GPU local soit présent.

Fonctionnalités principales de Juice

• Technologie GPU-sur-IP : L'innovation principale qui permet un accès GPU distant sur des réseaux standard avec des performances quasi natives.
• Mutualisation et Partage Dynamiques : Agrégez les GPU de toute votre infrastructure dans des pools centralisés pour une allocation à la demande, éliminant les silos et la sous-utilisation.
• Fractionnement de GPU : Divisez un seul GPU physique en plusieurs GPU virtuels qui peuvent être utilisés par différentes applications ou utilisateurs simultanément, augmentant encore l'efficacité.
• Aucune Modification de Code ou de Matériel : S'intègre dans votre environnement existant sans nécessiter de modifications de votre code d'application, de vos pilotes ou de votre configuration matérielle physique.
• Multiplateforme et Agnostique au Cloud : Prend en charge Windows et Linux, et peut fonctionner sur site, dans n'importe quel cloud, ou faire le pont entre plusieurs environnements (hybride/multi-cloud).
• Large Compatibilité API : Entièrement compatible avec les principaux frameworks d'apprentissage automatique (PyTorch, TensorFlow, ONNX) via l'API CUDA, et les API graphiques (DirectX, OpenGL, Vulkan).
• Orchestration Simplifiée : Gérez l'ensemble de votre parc de GPU, définissez les contrôles d'accès et surveillez l'utilisation via des outils intuitifs sans avoir besoin de Kubernetes.

Cas d'utilisation pour Juice

Juice est adopté par des organisations de premier plan pour résoudre des défis d'infrastructure critiques :

• Supercalcul Académique : Les meilleures universités techniques utilisent Juice pour la planification et la mutualisation dynamiques des GPU dans les supercalculateurs, permettant aux chercheurs de partager efficacement les ressources sans orchestration complexe.
• Fournisseurs de Services Cloud : Les entreprises d'infrastructure numérique tirent parti de Juice pour acheminer la capacité GPU des régions d'abondance vers les régions de pénurie, créant ainsi un cloud GPU mondial et fongible.
• IA et Science des Données d'Entreprise : Les entreprises du Fortune 100 permettent à leurs équipes de science des données de partager un pool central de GPU, leur permettant d'exécuter des charges de travail IA/ML de manière dynamique depuis leurs propres postes de travail ou serveurs CPU.
• Développement de Jeux et VFX : Des studios comme Ubisoft utilisent Juice pour connecter les développeurs à des GPU distants, permettant des économies de coûts massives et de nouveaux flux de travail de développement innovants en partageant des ressources graphiques haut de gamme.

Avantages de Juice

Le principal avantage de Juice est une augmentation massive de l'efficacité. En atteignant des taux d'utilisation des GPU bien au-delà de la moyenne de l'industrie, il permet des économies de coûts significatives. Sa flexibilité permet aux organisations d'adapter dynamiquement leurs ressources de calcul aux besoins changeants. La capacité de transformer n'importe quel nœud uniquement CPU en nœud GPU à la volée démocratise l'accès au calcul accéléré. De plus, sa connexion haute performance et à faible latence garantit que même les charges de travail les plus exigeantes s'exécutent sans problème, comme le prouvent les benchmarks avec des modèles comme LLaMa, BERT et YOLO.

Tarification et plans

Juice propose un modèle de tarification à plusieurs niveaux pour répondre à différents besoins :

• Juice Free : 0 $/Mois. Idéal pour les particuliers ou les tests à petite échelle. Comprend jusqu'à 10 heures de temps GPU total par mois, la mutualisation de jusqu'à 3 agents GPU et la prise en charge des GPU Nvidia avec jusqu'à 40 Go de VRAM.
• Juice Pro : 30 $/Mois. Conçu pour les professionnels et les petites équipes. Offre un temps GPU illimité par mois, la mutualisation de jusqu'à 3 agents GPU et la prise en charge des GPU Nvidia avec jusqu'à 40 Go de VRAM.
• Juice Enterprise : Tarification Personnalisée. Une solution sur mesure pour les grandes organisations. Fournit un temps GPU illimité, des agents GPU illimités et la prise en charge de n'importe quelle taille de GPU Nvidia, ainsi qu'un support dédié et des fonctionnalités avancées.