Banana

Wichtiger Hinweis: Die serverlose GPU-Plattform Banana wurde am 31. März 2024 offiziell abgeschaltet und ist kein aktiver Dienst mehr. Die folgende Beschreibung erläutert die Merkmale und Funktionen der Plattform, wie sie vor ihrer Einstellung bestanden.

Banana war eine spezialisierte Cloud-Infrastrukturplattform, die entwickelt wurde, um die Bereitstellung und Skalierung von KI-Modellen für die Inferenz zu vereinfachen. Sie richtete sich an KI-Teams und Entwickler, die eine zuverlässige, durchsatzstarke und kostengünstige Lösung für die Ausführung von GPU-intensiven Workloads benötigten, ohne die Komplexität der Verwaltung ihrer eigenen Infrastruktur. Die Plattform basierte auf dem Prinzip, eine nahtlose Entwicklererfahrung zu bieten, indem sie serverlose Architektur mit leistungsstarken GPU-Ressourcen kombinierte.

Der Kern des Angebots von Banana war das serverlose GPU-Hosting, das es ermöglichte, Modelle in anpassbaren Container-Umgebungen bereitzustellen. Dies wurde durch Potassium, Bananas Open-Source-Python-Framework, ermöglicht, das es Entwicklern erlaubte, ihre Modelle (aus beliebten Bibliotheken wie PyTorch, TensorFlow und Hugging Face) einfach zu verpacken und für die Bereitstellung vorzubereiten. Die Architektur der Plattform war für eine hohe Inferenz-Durchsatzrate ausgelegt und verwaltete die Ressourcen automatisch, um schwankende Nachfragen effizient zu bewältigen.

Wie man Banana verwendet

Der Entwicklungs- und Bereitstellungsworkflow auf Banana war so gestaltet, dass er unkompliziert war und sich in Standard-Entwicklungspraktiken integrierte:

1. Modellvorbereitung: Entwickler nutzten das Potassium-Framework, um ihren Python-Code zu strukturieren. Dies umfasste typischerweise eine `init()`-Funktion zum Laden des Modells und anderer großer Assets in den Speicher beim Start und eine `handler()`-Funktion zur Verarbeitung eingehender Inferenzanfragen mit dem vorgeladenen Modell.
2. Containerisierung: Die Anwendung wurde zusammen mit all ihren Abhängigkeiten (z. B. `torch`, `transformers`) in einen Docker-Container verpackt, um eine konsistente und reproduzierbare Umgebung zu gewährleisten.
3. Bereitstellung: Entwickler konnten ihre containerisierte Anwendung über die bereitgestellte Befehlszeilenschnittstelle (CLI) oder durch direkte Integration mit GitHub für CI/CD-Pipelines auf der Banana-Plattform bereitstellen. Dies ermöglichte Funktionen wie rollierende Bereitstellungen und auf Branches basierende Testumgebungen.
4. Skalierung und Inferenz: Nach der Bereitstellung stellte Banana einen eindeutigen API-Endpunkt für das Modell bereit. Der Autoscaler der Plattform erhöhte oder verringerte automatisch die Anzahl der GPU-Replikate basierend auf dem Echtzeit-Anfrageverkehr, skalierte von null, um Spitzen abzufangen, und skalierte in Leerlaufzeiten auf null, um Kosten zu sparen.

Kernfunktionen von Banana

• Automatisch skalierende GPUs: Passte die Anzahl der aktiven GPU-Instanzen automatisch an die Nachfrage an, um eine hohe Leistung zu Spitzenzeiten zu gewährleisten und die Kosten in ruhigen Zeiten zu minimieren.
• Durchreiche-Preisgestaltung: Bot ein transparentes Preismodell mit einer festen monatlichen Plattformgebühr plus dem direkten Selbstkostenpreis der GPU-Rechenzeit, ohne Aufschlag.
• Vollständige DevOps-Plattform: Umfasste wesentliche Werkzeuge für die moderne Entwicklung, wie GitHub-Integration, CI/CD, eine leistungsstarke CLI, rollierende Bereitstellungen, Tracing und zentralisierte Protokollierung.
• Beobachtbarkeit und Analytik: Bot integrierte Dashboards zur Überwachung von Anfrageverkehr, Latenz und Fehlerraten in Echtzeit. Es bot auch Geschäftsanalysen zur Verfolgung von Ausgaben und Endpunktnutzung im Laufe der Zeit.
• Potassium-Framework: Ein Open-Source-Python-Framework, das den Prozess der Erstellung produktionsreifer, containerisierter Modellserver vereinfachte.
• Automatisierungs-API: Eine umfassende API mit SDKs, die die programmatische Verwaltung und Automatisierung von Bereitstellungen und anderen Plattformressourcen ermöglichte.

Anwendungsfälle für Banana

Banana war ideal für eine Vielzahl von KI-Inferenzaufgaben, insbesondere solche, die benutzerdefinierte Modelle oder spezielle Verarbeitungslogik erforderten. Häufige Anwendungsfälle waren:

• Hosting von feinabgestimmten Großen Sprachmodellen (LLMs) für benutzerdefinierte Chatbot- oder Inhaltsgenerierungsanwendungen.
• Bereitstellung von Bildgenerierungsmodellen wie Stable Diffusion mit benutzerdefinierten Vor- oder Nachverarbeitungsschritten.
• Bereitstellung von Audiotranskriptionsmodellen wie Whisper für Echtzeit- oder Stapelverarbeitung.
• Ausführung von Computer-Vision-Modellen zur Objekterkennung, Bildklassifizierung oder anderen Analyseaufgaben.

Vorteile von Banana

Der Hauptvorteil von Banana war seine Fähigkeit, die Komplexität der GPU-Infrastrukturverwaltung zu abstrahieren. Dies ermöglichte es Teams, sich auf die Erstellung und Verbesserung ihrer Modelle zu konzentrieren, anstatt auf DevOps. Sein Modell der automatischen Skalierung von null und der Berechnung zu Selbstkosten machte es zu einer äußerst kostengünstigen Lösung für Workloads mit variablem Datenverkehr. Die entwicklerzentrierten Werkzeuge und Integrationen rationalisierten den gesamten MLOps-Lebenszyklus, von der Entwicklung über die Bereitstellung bis hin zur Überwachung.

Preise und Pläne

Vor der Einstellung bot Banana die folgenden Pläne an:

• Team-Plan: Preislich bei 1200 $/Monat plus Rechenleistung zu Selbstkosten. Dieser Plan war für kleine Teams konzipiert und umfasste Unterstützung für 10 Teammitglieder, 5 Projekte und bis zu 50 parallele GPUs sowie Funktionen wie Protokollierung, Analytik und benutzerdefinierte GPU-Typen.
• Enterprise-Plan: Bot benutzerdefinierte Preise plus Rechenleistung zu Selbstkosten. Er umfasste alle Funktionen des Team-Plans sowie Funktionen auf Unternehmensebene wie SAML SSO, eine dedizierte Automatisierungs-API, ein höheres Limit für parallele GPUs, anpassbare Inferenz-Warteschlangen und dedizierten Support.