Juice

Juice, da Juice Labs, introduz um paradigma de computação revolucionário: GPU-over-IP. É uma solução de software sofisticada projetada para criar um novo substrato de computação onde o poder de computação acelerado flui pelas redes, assim como a eletricidade flui por uma rede elétrica. Essa tecnologia muda fundamentalmente como as organizações utilizam e gerenciam seus caros recursos de GPU. Ao desacoplar as GPUs de seus hosts físicos, o Juice permite que qualquer aplicativo em qualquer máquina acesse o poder da GPU de qualquer lugar na rede — seja no local, na nuvem ou em um ambiente híbrido.

A plataforma foi projetada para integração perfeita em infraestruturas existentes. Não requer alterações em seus aplicativos, hardware ou sistemas operacionais subjacentes. O Juice funciona virtualizando os recursos da GPU и tornando-os disponíveis em redes IP padrão. Isso significa que a estação de trabalho de um cientista de dados ou um servidor apenas com CPU pode se conectar instantaneamente a uma poderosa GPU remota para executar um modelo de IA exigente e, em seguida, liberá-la com a mesma rapidez, disponibilizando o recurso для a próxima carga de trabalho. Essa alocação dinâmica elimina a ociosidade da GPU, aumenta drasticamente as taxas de utilização e maximiza o retorno sobre o investimento em hardware de computação de alto desempenho.

Como usar Juice

Integrar o Juice em seu fluxo de trabalho foi projetado para ser simples e não disruptivo. Aqui está um processo típico:

1. Implantação: Juice é uma solução apenas de software. Você implanta o agente Juice nas máquinas que hospedam as GPUs (servidores de GPU) e nas máquinas que precisam acessá-las (nós clientes). Isso pode ser feito em bare metal, em máquinas virtuais ou em contêineres nos ambientes Windows e Linux.
2. Acesso: Os usuários podem acessar as GPUs virtualizadas remotas por meio de várias interfaces. O método mais comum é através da Interface de Linha de Comando (CLI), simplesmente executando um comando como pip install juice. Um aplicativo de desktop amigável também está disponível para Windows, e um SDK está em desenvolvimento para uma integração de aplicativo nativa mais profunda.
3. Orquestração: Os administradores podem agrupar GPUs físicas em pools lógicos. Eles podem então definir políticas de acesso para controlar quais usuários ou sistemas podem acessar pools específicos. Usando tags, as cargas de trabalho podem ser combinadas de forma inteligente com os recursos de GPU mais apropriados com base em requisitos como tamanho de VRAM ou modelo de GPU. Toda essa camada de orquestração opera sem a complexidade do Kubernetes, embora possa coexistir com ele.
4. Execução: Uma vez conectado, você executa seus aplicativos como faria normalmente. O Juice intercepta as chamadas de API da GPU (como CUDA, DirectX, OpenGL) do seu aplicativo e as roteia pela rede para a GPU remota. A computação acontece na GPU remota e os resultados são enviados de volta. Para o aplicativo, parece que uma GPU local está presente.

Recursos principais do Juice

• Tecnologia GPU-over-IP: A inovação central que permite o acesso remoto à GPU em redes padrão com desempenho quase nativo.
• Agrupamento e Compartilhamento Dinâmico: Agregue GPUs de toda a sua infraestrutura em pools centralizados para alocação sob demanda, eliminando silos e subutilização.
• Fracionamento de GPU: Divida uma única GPU física em várias GPUs virtuais que podem ser usadas por diferentes aplicativos ou usuários simultaneamente, aumentando ainda mais a eficiência.
• Sem Alterações de Código ou Hardware: Integra-se ao seu ambiente existente sem exigir modificações no código do seu aplicativo, drivers ou configuração de hardware físico.
• Multiplataforma e Agnóstico em Nuvem: Suporta Windows e Linux, e pode ser executado no local, em qualquer nuvem, ou conectar múltiplos ambientes (híbrido/multinuvem).
• Ampla Compatibilidade de API: Totalmente compatível com os principais frameworks de aprendizado de máquina (PyTorch, TensorFlow, ONNX) através da API CUDA, e APIs gráficas (DirectX, OpenGL, Vulkan).
• Orquestração Simplificada: Gerencie toda a sua frota de GPUs, defina controles de acesso e monitore o uso através de ferramentas intuitivas sem a necessidade de Kubernetes.

Casos de uso para Juice

O Juice está sendo adotado por organizações líderes para resolver desafios críticos de infraestrutura:

• Supercomputação Acadêmica: As principais universidades técnicas usam o Juice para agendamento e agrupamento dinâmico de GPUs em superclusters, permitindo que os pesquisadores compartilhem recursos de forma eficiente sem orquestração complexa.
• Provedores de Serviços em Nuvem: Empresas de infraestrutura digital aproveitam o Juice para rotear a capacidade de GPU de regiões de abundância para regiões de escassez, criando efetivamente uma nuvem de GPU global e fungível.
• IA e Ciência de Dados Empresarial: Empresas da Fortune 100 capacitam suas equipes de ciência de dados a compartilhar um pool central de GPUs, permitindo que executem cargas de trabalho de IA/ML dinamicamente de suas próprias estações de trabalho ou servidores de CPU.
• Desenvolvimento de Jogos e VFX: Estúdios como a Ubisoft usam o Juice para conectar desenvolvedores a GPUs remotas, permitindo economias de custo massivas e novos fluxos de trabalho de desenvolvimento inovadores ao compartilhar recursos gráficos de ponta.

Vantagens do Juice

A principal vantagem do Juice é um aumento maciço na eficiência. Ao atingir taxas de utilização de GPU muito além da média da indústria, ele oferece economias de custo significativas. Sua flexibilidade permite que as organizações adaptem seus recursos de computação dinamicamente às necessidades em constante mudança. A capacidade de transformar qualquer nó apenas de CPU em um nó de GPU instantaneamente democratiza o acesso à computação acelerada. Além disso, sua conexão de alto desempenho e baixa latência garante que até mesmo as cargas de trabalho mais exigentes sejam executadas sem problemas, como comprovado por benchmarks com modelos como LLaMa, BERT e YOLO.

Preços e planos

O Juice oferece um modelo de preços em camadas para atender a diferentes necessidades:

• Juice Free: $0/Mês. Ideal para indivíduos ou testes em pequena escala. Inclui até 10 horas de tempo total de GPU por mês, agrupamento de até 3 agentes de GPU e suporte para GPUs Nvidia com até 40GB de VRAM.
• Juice Pro: $30/Mês. Projetado para profissionais e pequenas equipes. Oferece tempo de GPU ilimitado por mês, agrupamento de até 3 agentes de GPU e suporte para GPUs Nvidia com até 40GB de VRAM.
• Juice Enterprise: Preços Personalizados. Uma solução sob medida para grandes organizações. Fornece tempo de GPU ilimitado, agentes de GPU ilimitados e suporte para qualquer tamanho de GPU Nvidia, juntamente com suporte dedicado e recursos avançados.