Banana

Avis important : La plateforme GPU sans serveur Banana a été officiellement fermée le 31 mars 2024 et n'est plus un service actif. La description suivante détaille les caractéristiques et fonctionnalités de la plateforme telles qu'elles existaient avant son arrêt.

Banana était une plateforme d'infrastructure cloud spécialisée, conçue pour simplifier le déploiement et la mise à l'échelle de modèles d'IA pour l'inférence. Elle ciblait les équipes d'IA et les développeurs qui avaient besoin d'une solution fiable, à haut débit et rentable pour exécuter des charges de travail intensives en GPU sans la complexité de la gestion de leur propre infrastructure. La plateforme était fondée sur le principe de fournir une expérience de développement transparente, en combinant une architecture sans serveur avec de puissantes ressources GPU.

Le cœur de l'offre de Banana était son hébergement GPU sans serveur, qui permettait de déployer des modèles dans des environnements de conteneurs personnalisables. Ceci était alimenté par Potassium, le framework Python open-source de Banana, qui permettait aux développeurs d'encapsuler facilement leurs modèles (provenant de bibliothèques populaires comme PyTorch, TensorFlow et Hugging Face) et de les préparer pour le déploiement. L'architecture de la plateforme était conçue pour une inférence à haut débit, gérant automatiquement les ressources pour répondre efficacement à une demande fluctuante.

Comment utiliser Banana

Le flux de travail de développement et de déploiement sur Banana était conçu pour être simple et s'intégrer aux pratiques de développement standard :

1. Préparation du modèle : Les développeurs utilisaient le framework Potassium pour structurer leur code Python. Cela impliquait généralement une fonction `init()` pour charger le modèle et d'autres actifs lourds en mémoire au démarrage, et une fonction `handler()` pour traiter les requêtes d'inférence entrantes en utilisant le modèle préchargé.
2. Conteneurisation : L'application, ainsi que toutes ses dépendances (par exemple, `torch`, `transformers`), était empaquetée dans un conteneur Docker, garantissant un environnement cohérent et reproductible.
3. Déploiement : Les développeurs pouvaient déployer leur application conteneurisée sur la plateforme Banana en utilisant l'interface de ligne de commande (CLI) fournie ou via une intégration directe avec GitHub pour les pipelines CI/CD. Cela permettait des fonctionnalités telles que les déploiements continus et les environnements de test basés sur les branches.
4. Mise à l'échelle et Inférence : Une fois déployé, Banana fournissait un point de terminaison d'API unique pour le modèle. L'autoscaler de la plateforme augmentait ou diminuait automatiquement le nombre de répliques GPU en fonction du trafic de requêtes en temps réel, passant de zéro pour gérer les pics à zéro pendant les périodes d'inactivité pour économiser les coûts.

Fonctionnalités principales de Banana

• Autoscaling des GPU : Ajustait automatiquement le nombre d'instances GPU actives en fonction de la demande, garantissant des performances élevées pendant les pics et minimisant les coûts pendant les périodes creuses.
• Tarification transparente : Offrait un modèle de tarification transparent avec des frais de plateforme mensuels fixes plus le coût direct du temps de calcul GPU, sans aucune majoration.
• Plateforme DevOps complète : Incluait des outils essentiels pour le développement moderne, tels que l'intégration GitHub, CI/CD, une CLI puissante, les déploiements continus, le traçage et la journalisation centralisée.
• Observabilité et Analytique : Fournissait des tableaux de bord intégrés pour surveiller le trafic des requêtes, la latence et les taux d'erreur en temps réel. Elle offrait également des analyses commerciales pour suivre les dépenses et l'utilisation des points de terminaison dans le temps.
• Framework Potassium : Un framework Python open-source qui simplifiait le processus de création de serveurs de modèles conteneurisés prêts pour la production.
• API d'automatisation : Une API complète avec des SDK qui permettait la gestion et l'automatisation programmatiques des déploiements et autres ressources de la plateforme.

Cas d'utilisation pour Banana

Banana était idéal pour une variété de tâches d'inférence d'IA, en particulier celles nécessitant des modèles personnalisés ou une logique de traitement spécialisée. Les cas d'utilisation courants comprenaient :

• Hébergement de grands modèles de langage (LLM) affinés pour des applications de chatbot personnalisées ou de génération de contenu.
• Déploiement de modèles de génération d'images comme Stable Diffusion avec des étapes de pré-traitement ou de post-traitement personnalisées.
• Service de modèles de transcription audio comme Whisper pour un traitement en temps réel ou par lots.
• Exécution de modèles de vision par ordinateur pour la détection d'objets, la classification d'images ou d'autres tâches d'analyse.

Avantages de Banana

Le principal avantage de Banana était sa capacité à abstraire les complexités de la gestion de l'infrastructure GPU. Cela permettait aux équipes de se concentrer sur la construction et l'amélioration de leurs modèles plutôt que sur le DevOps. Son modèle d'autoscaling à partir de zéro et de calcul au coût en faisait une solution très rentable pour les charges de travail à trafic variable. Les outils et intégrations centrés sur le développeur rationalisaient l'ensemble du cycle de vie MLOps, du développement au déploiement et à la surveillance.

Tarification et plans

Avant son arrêt, Banana proposait les plans suivants :

• Plan Team : Au prix de 1200 $/mois plus le calcul au coût. Ce plan était conçu pour les petites équipes et incluait le support pour 10 membres, 5 projets et jusqu'à 50 GPU parallèles, ainsi que des fonctionnalités comme la journalisation, l'analytique et des types de GPU personnalisés.
• Plan Enterprise : Offrait une tarification personnalisée plus le calcul au coût. Il incluait toutes les fonctionnalités du plan Team, plus des fonctionnalités de niveau entreprise comme le SSO SAML, une API d'automatisation dédiée, une limite plus élevée de GPU parallèles, des files d'attente d'inférence personnalisables et un support dédié.