Banana

Aviso Importante: La plataforma de GPU sin servidor Banana fue oficialmente cerrada el 31 de marzo de 2024 y ya no es un servicio activo. La siguiente descripción detalla las características y funcionalidades de la plataforma tal como existían antes de su discontinuación.

Banana era una plataforma de infraestructura en la nube especializada, diseñada para simplificar el despliegue y la escalada de modelos de IA para inferencia. Se dirigía a equipos de IA y desarrolladores que necesitaban una solución fiable, de alto rendimiento y rentable para ejecutar cargas de trabajo intensivas en GPU sin la complejidad de gestionar su propia infraestructura. La plataforma se basaba en el principio de proporcionar una experiencia de desarrollador fluida, combinando la arquitectura sin servidor con potentes recursos de GPU.

El núcleo de la oferta de Banana era su alojamiento de GPU sin servidor, que permitía desplegar modelos en entornos de contenedores personalizables. Esto era impulsado por Potassium, el marco de trabajo de Python de código abierto de Banana, que permitía a los desarrolladores envolver fácilmente sus modelos (de bibliotecas populares como PyTorch, TensorFlow y Hugging Face) y prepararlos para el despliegue. La arquitectura de la plataforma estaba diseñada para la inferencia de alto rendimiento, gestionando automáticamente los recursos para manejar la demanda fluctuante de manera eficiente.

Cómo usar Banana

El flujo de trabajo de desarrollo y despliegue en Banana estaba diseñado para ser sencillo e integrarse con las prácticas de desarrollo estándar:

1. Preparación del Modelo: Los desarrolladores utilizaban el marco Potassium para estructurar su código Python. Esto típicamente implicaba una función `init()` para cargar el modelo y otros activos pesados en la memoria al inicio, y una función `handler()` para procesar las solicitudes de inferencia entrantes utilizando el modelo precargado.
2. Contenerización: La aplicación, junto con todas sus dependencias (p. ej., `torch`, `transformers`), se empaquetaba en un contenedor Docker, asegurando un entorno consistente y reproducible.
3. Despliegue: Los desarrolladores podían desplegar su aplicación en contenedores en la plataforma Banana utilizando la Interfaz de Línea de Comandos (CLI) proporcionada o a través de la integración directa con GitHub para pipelines de CI/CD. Esto permitía características como despliegues continuos y entornos de prueba basados en ramas.
4. Escalado e Inferencia: Una vez desplegado, Banana proporcionaba un punto final de API único para el modelo. El autoescalador de la plataforma aumentaba o disminuía automáticamente las réplicas de GPU basándose en el tráfico de solicitudes en tiempo real, escalando desde cero para manejar picos y reduciendo a cero durante los períodos de inactividad para ahorrar costes.

Características principales de Banana

• Autoescalado de GPUs: Ajustaba automáticamente el número de instancias de GPU activas según la demanda, asegurando un alto rendimiento durante los picos y minimizando los costes durante los períodos de calma.
• Precios de Transferencia: Ofrecía un modelo de precios transparente con una tarifa de plataforma mensual fija más el precio directo y a coste del tiempo de computación de la GPU, sin ningún margen.
• Plataforma DevOps Completa: Incluía herramientas esenciales para el desarrollo moderno, como la integración con GitHub, CI/CD, una potente CLI, despliegues continuos, trazado y registro centralizado.
• Observabilidad y Análisis: Proporcionaba paneles de control integrados para monitorear el tráfico de solicitudes, la latencia y las tasas de error en tiempo real. También ofrecía análisis de negocio para rastrear el gasto y el uso de los puntos finales a lo largo del tiempo.
• Framework Potassium: Un marco de trabajo de Python de código abierto que simplificaba el proceso de creación de servidores de modelos en contenedores listos para producción.
• API de Automatización: Una API completa con SDKs que permitía la gestión y automatización programática de despliegues y otros recursos de la plataforma.

Casos de uso para Banana

Banana era ideal para una variedad de tareas de inferencia de IA, particularmente aquellas que requerían modelos personalizados o lógica de procesamiento especializada. Los casos de uso comunes incluían:

• Alojamiento de Modelos de Lenguaje Grandes (LLMs) afinados para aplicaciones de chatbot personalizadas o de generación de contenido.
• Despliegue de modelos de generación de imágenes como Stable Diffusion con pasos de pre-procesamiento o post-procesamiento personalizados.
• Servir modelos de transcripción de audio como Whisper para procesamiento en tiempo real o por lotes.
• Ejecución de modelos de visión por computadora para detección de objetos, clasificación de imágenes u otras tareas de análisis.

Ventajas de Banana

La principal ventaja de Banana era su capacidad para abstraer las complejidades de la gestión de la infraestructura de GPU. Esto permitía a los equipos centrarse en construir y mejorar sus modelos en lugar de en DevOps. Su modelo de autoescalado desde cero y computación a coste lo convertía en una solución altamente rentable para cargas de trabajo con tráfico variable. Las herramientas e integraciones centradas en el desarrollador agilizaban todo el ciclo de vida de MLOps, desde el desarrollo hasta el despliegue y la monitorización.

Precios y planes

Antes de su cierre, Banana ofrecía los siguientes planes:

• Plan Team: Con un precio de $1200/mes más la computación a coste. Este plan estaba diseñado para equipos pequeños e incluía soporte para 10 miembros del equipo, 5 proyectos y hasta 50 GPUs paralelas, junto con características como registro, análisis y tipos de GPU personalizados.
• Plan Enterprise: Ofrecía precios personalizados más la computación a coste. Incluía todas las características del plan Team, más características de nivel empresarial como SSO SAML, una API de automatización dedicada, un límite superior de GPUs paralelas, colas de inferencia personalizables y soporte dedicado.