FuriosaAI

FuriosaAI est une entreprise pionnière à la pointe de l'innovation matérielle en IA, dédiée à résoudre les défis critiques de performance, d'efficacité et de coût dans les déploiements d'IA à grande échelle. Contrairement aux outils logiciels classiques, FuriosaAI développe du matériel spécialisé — des accélérateurs d'IA — conçus pour alimenter la prochaine génération d'intelligence artificielle. Son produit phare, l'accélérateur RNGD (prononcé "Renegade"), est spécifiquement conçu pour l'inférence d'IA, le processus d'utilisation d'un modèle entraîné pour faire des prédictions.

Le problème central que FuriosaAI aborde est l'immense consommation d'énergie et les coûts opérationnels élevés associés à l'exécution de modèles d'IA avancés, tels que les grands modèles de langage (LLM) et les systèmes multimodaux, sur des GPU traditionnels. Le RNGD s'attaque à ce problème avec une approche révolutionnaire centrée sur son architecture unique de Processeur de Contraction Tensorielle (TCP). Cette conception va au-delà de la multiplication matricielle conventionnelle, la base de la plupart des accélérateurs, pour une méthode de calcul plus généralisée et efficace appelée contraction tensorielle. Cela permet au RNGD d'atteindre des performances remarquables tout en consommant une fraction de l'énergie de ses concurrents, ce qui en fait une solution idéale pour les centres de données modernes refroidis par air.

Comment utiliser FuriosaAI

L'utilisation de FuriosaAI implique l'intégration de son matériel et de ses logiciels dans un centre de données ou un environnement cloud. Le processus s'adresse aux entreprises, aux fournisseurs de cloud et aux ingénieurs en ML :

1. Acquisition et installation du matériel : Les entreprises ou les fournisseurs de services cloud acquièrent des cartes accélératrices RNGD et les installent dans des emplacements PCIe standard de leurs serveurs. Le faible TDP de 180W simplifie ce processus, car il ne nécessite pas d'infrastructure de refroidissement liquide spécialisée.
2. Intégration de la pile logicielle : Les développeurs installent le SDK Furiosa, une suite logicielle complète. Cela inclut un compilateur, un runtime, un profileur et un débogueur. Le SDK est conçu pour une intégration transparente avec les flux de travail MLOps existants.
3. Compilation et optimisation des modèles : À l'aide du compilateur Furiosa, les développeurs prennent des modèles pré-entraînés de frameworks populaires comme PyTorch et de bibliothèques comme Hugging Face Hub. Le compilateur optimise ces modèles spécifiquement pour l'architecture TCP du RNGD, maximisant ainsi les performances et l'efficacité.
4. Déploiement pour l'inférence : Le modèle optimisé est déployé sur le matériel RNGD. La pile logicielle prend en charge la conteneurisation (par exemple, Docker), l'orchestration avec Kubernetes et la virtualisation (SR-IOV), permettant un déploiement flexible et évolutif dans des environnements sur site et natifs du cloud.
5. Intégration d'API : Le point de terminaison d'inférence accéléré peut ensuite être intégré dans les applications des utilisateurs finaux, offrant des capacités d'IA à faible latence et à haut débit.

Fonctionnalités principales de FuriosaAI

• Accélérateur d'IA RNGD : Un puissant accélérateur de centre de données de 2e génération offrant jusqu'à 512 TFLOPS (FP8) de performance avec un TDP révolutionnaire de 180W. Il dispose de 48 Go de mémoire HBM3 à large bande passante.
• Processeur de Contraction Tensorielle (TCP) : Une nouvelle architecture de calcul conçue pour des opérations tensorielles efficaces, offrant des performances et une efficacité énergétique supérieures aux unités de multiplication matricielle traditionnelles pour les charges de travail modernes de l'apprentissage profond.
• Pile logicielle complète (SDK Furiosa) : Une suite complète d'outils comprenant un compilateur, un runtime et des API pour rationaliser le déploiement des modèles d'IA. Elle se caractérise par une intégration profonde avec PyTorch 2.x et l'écosystème Hugging Face.
• Efficacité énergétique radicale : Le profil de consommation extrêmement bas réduit considérablement les coûts d'électricité, simplifie la gestion thermique des centres de données et diminue l'empreinte carbone globale des opérations d'IA.
• Inférence LLM haute performance : Prouvé pour exécuter efficacement des modèles de pointe comme Llama 3.1 70B, offrant des performances compétitives en termes de jetons par seconde pour les applications exigeantes.
• Prêt pour les centres de données : Conçu pour les environnements d'entreprise et de cloud avec prise en charge de la virtualisation multi-instance (SR-IOV) et intégration avec des outils natifs du cloud comme Kubernetes.

Cas d'utilisation pour FuriosaAI

La technologie de FuriosaAI est idéale pour toute organisation exécutant des charges de travail d'inférence d'IA à grande échelle :

• Fournisseurs de services cloud : Offrant des services d'inférence d'IA rentables et durables à un large éventail de clients, comme en témoigne sa disponibilité prochaine sur la Marketplace Azure de Microsoft.
• Grandes entreprises : Construisant une infrastructure d'IA sur site puissante et efficace pour des applications telles que les moteurs de recherche internes, les chatbots de service client, les assistants de génération de code et l'analyse de données.
• Instituts de recherche en IA : Alimentant la recherche de pointe sur de grands modèles sans encourir de coûts énergétiques prohibitifs. LG AI Research, par exemple, a obtenu une amélioration des performances de 2,25 fois par rapport aux GPU pour l'inférence LLM.
• Initiatives d'IA durable : Permettant aux entreprises de faire évoluer leurs capacités d'IA de manière responsable en minimisant leur impact environnemental et en contribuant à des objectifs informatiques plus écologiques.

Avantages de FuriosaAI

Le principal avantage de FuriosaAI est sa capacité à offrir simultanément performance, programmabilité et efficacité.

• Coût total de possession (TCO) réduit : Des factures d'électricité considérablement réduites, l'élimination du besoin de systèmes de refroidissement liquide coûteux et une empreinte de serveur plus petite entraînent des économies significatives à long terme.
• Déploiement et évolutivité simplifiés : La capacité de fonctionner dans des centres de données existants refroidis par air et une pile logicielle robuste abaissent la barrière à l'entrée и simplifient les opérations de mise à l'échelle.
• Architecture à l'épreuve du futur : L'architecture TCP est intrinsèquement plus flexible que les unités de multiplication matricielle de taille fixe, offrant une meilleure adaptabilité aux futurs modèles et algorithmes d'IA.
• Durabilité améliorée : En faisant plus avec moins d'énergie, FuriosaAI offre une voie claire pour construire des systèmes d'IA puissants qui sont également respectueux de l'environnement.

Tarification et plans

FuriosaAI fournit des solutions matérielles et logicielles B2B pour les déploiements à l'échelle de l'entreprise et du cloud. En tant que tel, la tarification spécifique de l'accélérateur RNGD n'est pas publiée. La tarification est déterminée en fonction du volume, des accords de partenariat et des forfaits de support. Les parties intéressées, telles que les opérateurs de centres de données, les fournisseurs de cloud et les grandes entreprises, sont encouragées à contacter directement l'équipe de vente de FuriosaAI pour obtenir des devis et des informations d'achat. La technologie sera également accessible via des partenaires cloud comme Microsoft Azure, où la tarification sera intégrée aux modèles de paiement à l'utilisation ou d'instance réservée du service cloud.