Banana

Aviso Importante: A plataforma de GPU sem servidor Banana foi oficialmente desativada em 31 de março de 2024 e não é mais um serviço ativo. A descrição a seguir detalha os recursos e a funcionalidade da plataforma como existiam antes de sua descontinuação.

Banana era uma plataforma de infraestrutura em nuvem especializada, projetada para simplificar a implantação e o escalonamento de modelos de IA para inferência. Tinha como alvo equipes de IA e desenvolvedores que precisavam de uma solução confiável, de alto rendimento e econômica para executar cargas de trabalho intensivas em GPU sem a complexidade de gerenciar sua própria infraestrutura. A plataforma foi construída com o princípio de fornecer uma experiência de desenvolvedor perfeita, combinando arquitetura sem servidor com poderosos recursos de GPU.

O núcleo da oferta da Banana era sua hospedagem de GPU sem servidor, que permitia que os modelos fossem implantados em ambientes de contêiner personalizáveis. Isso era alimentado pelo Potassium, o framework Python de código aberto da Banana, que permitia aos desenvolvedores empacotar facilmente seus modelos (de bibliotecas populares como PyTorch, TensorFlow e Hugging Face) e prepará-los para a implantação. A arquitetura da plataforma foi projetada para inferência de alto rendimento, gerenciando automaticamente os recursos para lidar com a demanda flutuante de forma eficiente.

Como usar Banana

O fluxo de trabalho de desenvolvimento e implantação na Banana foi projetado para ser direto e integrado às práticas padrão de desenvolvimento:

1. Preparação do Modelo: Os desenvolvedores usavam o framework Potassium para estruturar seu código Python. Isso normalmente envolvia uma função `init()` para carregar o modelo e outros ativos pesados na memória na inicialização, e uma função `handler()` para processar as solicitações de inferência recebidas usando o modelo pré-carregado.
2. Conteinerização: A aplicação, juntamente com todas as suas dependências (por exemplo, `torch`, `transformers`), era empacotada em um contêiner Docker, garantindo um ambiente consistente e reproduzível.
3. Implantação: Os desenvolvedores podiam implantar sua aplicação conteinerizada na plataforma Banana usando a Interface de Linha de Comando (CLI) fornecida ou através da integração direta com o GitHub para pipelines de CI/CD. Isso permitia recursos como implantações contínuas e ambientes de teste baseados em branches.
4. Escalonamento e Inferência: Uma vez implantado, a Banana fornecia um endpoint de API exclusivo para o modelo. O autoescalador da plataforma aumentava ou diminuía automaticamente as réplicas de GPU com base no tráfego de solicitações em tempo real, escalando de zero para lidar com picos e reduzindo para zero durante períodos ociosos para economizar custos.

Recursos principais do Banana

• GPUs de Autoescalonamento: Ajustava automaticamente o número de instâncias de GPU ativas com base na demanda, garantindo alto desempenho durante os horários de pico e minimizando os custos durante os períodos de calmaria.
• Preços de Repasse: Oferecia um modelo de preços transparente com uma taxa de plataforma mensal fixa mais o preço direto e a preço de custo do tempo de computação da GPU, sem qualquer margem de lucro.
• Plataforma DevOps Completa: Incluía ferramentas essenciais para o desenvolvimento moderno, como integração com o GitHub, CI/CD, uma CLI poderosa, implantações contínuas, rastreamento e registro centralizado.
• Observabilidade e Análise: Fornecia painéis integrados para monitorar o tráfego de solicitações, latência e taxas de erro em tempo real. Também oferecia análises de negócios para rastrear gastos e uso de endpoints ao longo do tempo.
• Framework Potassium: Um framework Python de código aberto que simplificava o processo de criação de servidores de modelo conteinerizados e prontos para produção.
• API de Automação: Uma API abrangente com SDKs que permitia o gerenciamento e a automação programática de implantações e outros recursos da plataforma.

Casos de uso para Banana

A Banana era ideal para uma variedade de tarefas de inferência de IA, particularmente aquelas que exigiam modelos personalizados ou lógica de processamento especializada. Casos de uso comuns incluíam:

• Hospedagem de Modelos de Linguagem Grandes (LLMs) ajustados para aplicativos de chatbot personalizados ou geração de conteúdo.
• Implantação de modelos de geração de imagem como o Stable Diffusion com etapas de pré-processamento ou pós-processamento personalizadas.
• Servir modelos de transcrição de áudio como o Whisper para processamento em tempo real ou em lote.
• Execução de modelos de visão computacional para detecção de objetos, classificação de imagens ou outras tarefas de análise.

Vantagens do Banana

A principal vantagem da Banana era sua capacidade de abstrair as complexidades do gerenciamento da infraestrutura de GPU. Isso permitia que as equipes se concentrassem na construção e melhoria de seus modelos, em vez de em DevOps. Seu modelo de autoescalonamento a partir de zero e computação a preço de custo a tornava uma solução altamente econômica para cargas de trabalho com tráfego variável. As ferramentas e integrações centradas no desenvolvedor simplificavam todo o ciclo de vida do MLOps, do desenvolvimento à implantação e monitoramento.

Preços e planos

Antes de seu encerramento, a Banana oferecia os seguintes planos:

• Plano Team: Com preço de $1200/mês mais computação a preço de custo. Este plano foi projetado para pequenas equipes e incluía suporte para 10 membros da equipe, 5 projetos e até 50 GPUs paralelas, além de recursos como registro, análise e tipos de GPU personalizados.
• Plano Enterprise: Oferecia preços personalizados mais computação a preço de custo. Incluía todos os recursos do plano Team, além de recursos de nível empresarial como SSO SAML, uma API de automação dedicada, um limite maior de GPUs paralelas, filas de inferência personalizáveis e suporte dedicado.