FriendliAI

FriendliAI est une entreprise complète d'infrastructure d'IA générative dédiée à rendre le déploiement et la mise à l'échelle des modèles d'IA simples, rapides et rentables. La plateforme fournit une suite d'outils conçus pour accélérer l'inférence de l'IA générative, permettant aux entreprises de passer du développement à la production en toute transparence. En tirant parti de technologies d'optimisation révolutionnaires, FriendliAI réduit considérablement les coûts opérationnels et les besoins en matériel tout en augmentant les performances. Elle prend en charge un vaste écosystème de plus de 400 000 modèles, y compris des LLM open-source populaires comme Llama, Mixtral et Qwen, ainsi que des modèles personnalisés et multimodaux.

Le cœur de l'offre de FriendliAI est la Friendli Suite, qui comprend trois produits principaux adaptés à différents besoins de déploiement : Friendli Dedicated Endpoints pour des performances garanties, Friendli Serverless Endpoints pour une flexibilité de paiement à l'utilisation, et Friendli Container pour une sécurité maximale au sein de l'infrastructure propre d'une entreprise. La plateforme est construite sur des technologies propriétaires comme l'Iteration Batching (Continuous Batching), des noyaux GPU optimisés et la quantification native, qui fournissent collectivement un débit et une faible latence de pointe.

Comment utiliser FriendliAI

Démarrer avec FriendliAI est un processus simple conçu pour les développeurs et les équipes MLOps. Voici un flux de travail typique :

1. Inscrivez-vous et choisissez un produit : Créez un compte sur la Friendli Suite. Selon vos besoins, vous pouvez commencer avec un essai gratuit ou des crédits. Choisissez entre les Dedicated Endpoints, les Serverless Endpoints ou la solution Container.
2. Créez un nouveau point de terminaison : Dans le tableau de bord, créez un nouveau projet, puis un nouveau point de terminaison. Donnez-lui un nom unique.
3. Sélectionnez un modèle : Vous pouvez déployer des modèles directement depuis des dépôts populaires comme Hugging Face ou Weights & Biases (W&B). Fournissez simplement l'ID du modèle. Alternativement, vous pouvez télécharger votre propre modèle entraîné sur mesure.
4. Configurez l'instance : Sélectionnez le type d'instance GPU approprié (par exemple, A100, H100) en fonction de la taille de votre modèle et de vos exigences de performance. La plateforme fournit des suggestions pour éviter les problèmes de VRAM.
5. Configurez l'autoscaling : Configurez les paramètres d'autoscaling pour gérer efficacement les coûts et les performances. Vous pouvez définir des répliques minimales et maximales, avec la possibilité de descendre à zéro pour éliminer les coûts pendant les périodes d'inactivité.
6. Déployez et testez : Cliquez sur 'Créer' pour déployer le point de terminaison. Une fois initialisé, vous pouvez utiliser le 'Playground' intégré pour envoyer des invites de test et vérifier la sortie.
7. Intégrez avec votre application : Utilisez les clés API et les extraits de code fournis (cURL, Python) pour intégrer le point de terminaison d'inférence dans vos applications, produits ou services.
8. Surveillez et optimisez : Tirez parti du tableau de bord intégré pour surveiller les performances du point de terminaison, afficher les journaux et analyser les métriques pour optimiser davantage votre déploiement.

Fonctionnalités principales de FriendliAI

• Friendli Suite : Une plateforme tout-en-un avec trois options de déploiement : Dedicated Endpoints (ressources garanties), Serverless Endpoints (paiement à l'utilisation) et Container (sur site/VPC).
• Performances révolutionnaires : Utilise des technologies propriétaires comme l'Iteration Batching (Continuous Batching) pour atteindre un débit jusqu'à 10,7 fois plus élevé et une latence 6,2 fois plus faible par rapport aux alternatives.
• Efficacité des coûts : Permet des économies de 50 à 90 % en nécessitant jusqu'à 6 fois moins de GPU pour la même charge de travail.
• Support étendu des modèles : Déployez en toute transparence plus de 400 000 modèles depuis Hugging Face, W&B, ou téléchargez des modèles personnalisés, y compris multimodaux.
• Quantification avancée : Prend en charge les techniques de quantification natives comme FP8, INT8 et AWQ pour servir les modèles efficacement sans compromettre la précision.
• Autoscaling intelligent : Ajuste automatiquement les ressources en fonction de la demande en temps réel, y compris la mise à l'échelle à zéro pour minimiser les coûts.
• Outils de création d'agents IA : Propose des appels de fonction agnostiques au modèle, des sorties structurées et une intégration avec des outils comme la recherche web et les calculatrices pour créer des agents IA fiables et complexes.
• Prêt pour la production : Offre des SLA garantis, une sécurité robuste pour les déploiements cloud ou sur site, et des outils avancés de surveillance et de débogage.

Cas d'utilisation pour FriendliAI

FriendliAI est approuvé par des entreprises de premier plan pour des applications d'IA exigeantes et de qualité production.

• Services d'IA à grande échelle : Des fournisseurs de télécommunications comme SKT utilisent FriendliAI pour alimenter des services d'IA pour des millions d'utilisateurs, obtenant un débit 5 fois plus élevé et des économies de coûts 3 fois supérieures.
• Chatbots à fort volume : Des entreprises comme NextDay AI gèrent des chatbots de personnages personnalisés traitant plus de 3 billions de jetons par mois, économisant plus de 50 % sur l'utilisation des GPU avec Friendli Container.
• Applications d'IA d'entreprise : Déployez des modèles affinés pour des fonctions commerciales spécifiques, telles que la recherche dans une base de connaissances interne, la génération de code ou l'automatisation du support client, avec une confidentialité totale des données en utilisant Friendli Container.
• Évaluation et sélection de modèles : Utilisez la fonction de comparaison côte à côte dans les Serverless Endpoints pour évaluer et sélectionner le modèle le plus performant pour un cas d'utilisation spécifique.
• Création d'agents IA complexes : Donnez aux agents IA des outils externes et des appels de fonction fiables pour effectuer des tâches complexes comme l'analyse de données, les systèmes de réservation ou les flux de travail automatisés.

Avantages de FriendliAI

FriendliAI offre un avantage concurrentiel distinct grâce à son accent sur la performance, le coût et la flexibilité. Son principal avantage réside dans son moteur d'inférence propriétaire qui surpasse considérablement les autres solutions. Cela se traduit par des avantages directs tels que des factures de cloud computing nettement inférieures et la capacité de servir plus d'utilisateurs avec moins de matériel. La flexibilité de la plateforme permet aux entreprises de choisir le modèle de déploiement parfait pour leurs besoins de sécurité et de mise à l'échelle, qu'il s'agisse d'une API sans serveur entièrement gérée ou d'un conteneur fonctionnant dans leur cloud privé. La facilité d'utilisation, avec des déploiements en un clic depuis Hugging Face et des outils de surveillance complets, réduit la charge opérationnelle des équipes d'ingénierie, leur permettant de se concentrer sur la création de produits d'IA innovants.

Tarification et plans

FriendliAI propose un modèle de tarification flexible basé sur l'utilisation avec un point d'entrée freemium.

• Plan de base : Commencez avec 5 $ de crédits gratuits. Ce plan est basé sur le paiement à l'utilisation et donne accès à des fonctionnalités de base comme l'autoscaling configurable et le déploiement de modèles personnalisés.
• Plan Entreprise : Conçu pour les déploiements à grande échelle, ce plan inclut tout ce qui se trouve dans le plan de base, plus un accès prioritaire aux GPU très demandés, une surveillance avancée (Métriques et Journaux), un support dédié et des devis personnalisés.

La tarification pour Friendli Dedicated Endpoints est facturée à l'heure de GPU, avec des tarifs variant selon le type de GPU :

• A100 80GB : 2,9 $ / heure
• H100 80GB : 4,9 $ / heure
• H200 141GB : 5,9 $ / heure

La tarification pour Friendli Container et Friendli Serverless Endpoints est également disponible et adaptée à leurs modèles d'utilisation spécifiques. Les clients Entreprise peuvent contacter le service commercial pour un plan tarifaire personnalisé et à prix réduit.