FuriosaAI

A FuriosaAI é uma empresa pioneira na vanguarda da inovação em hardware de IA, dedicada a resolver os desafios críticos de desempenho, eficiência e custo em implantações de IA em grande escala. Diferente das ferramentas de software típicas, a FuriosaAI desenvolve hardware especializado — aceleradores de IA — projetados para alimentar a próxima geração de inteligência artificial. Seu principal produto, o acelerador RNGD (pronunciado "Renegade"), é projetado especificamente para inferência de IA, o processo de usar um modelo treinado para fazer previsões.

O problema central que a FuriosaAI aborda é o imenso consumo de energia e os altos custos operacionais associados à execução de modelos avançados de IA, como Grandes Modelos de Linguagem (LLMs) e sistemas multimodais, em GPUs tradicionais. O RNGD enfrenta isso com uma abordagem revolucionária centrada em sua arquitetura única de Processador de Contração de Tensor (TCP). Este design vai além da multiplicação de matrizes convencional, a base da maioria dos aceleradores, para um método de computação mais generalizado e eficiente chamado contração de tensor. Isso permite que o RNGD alcance um desempenho notável enquanto consome uma fração da energia de seus concorrentes, tornando-o uma solução ideal para data centers modernos refrigerados a ar.

Como usar FuriosaAI

Usar a FuriosaAI envolve a integração de seu hardware e software em um data center ou ambiente de nuvem. O processo é voltado para usuários empresariais, provedores de nuvem e engenheiros de ML:

1. Aquisição e Instalação de Hardware: Empresas ou provedores de serviços em nuvem adquirem as placas aceleradoras RNGD e as instalam em slots PCIe padrão em seus servidores. O baixo TDP de 180W simplifica este processo, pois não requer infraestrutura de refrigeração líquida especializada.
2. Integração da Pilha de Software: Os desenvolvedores instalam o Furiosa SDK, um conjunto de software abrangente. Isso inclui um compilador, tempo de execução, profiler e depurador. O SDK é projetado para integração perfeita com os fluxos de trabalho de MLOps existentes.
3. Compilação e Otimização de Modelos: Usando o Compilador Furiosa, os desenvolvedores pegam modelos pré-treinados de frameworks populares como PyTorch e bibliotecas como o Hugging Face Hub. O compilador otimiza esses modelos especificamente para a arquitetura TCP do RNGD, maximizando o desempenho e a eficiência.
4. Implantação para Inferência: O modelo otimizado é implantado no hardware RNGD. A pilha de software suporta conteinerização (por exemplo, Docker), orquestração com Kubernetes e virtualização (SR-IOV), permitindo uma implantação flexível e escalável em ambientes on-premise e nativos da nuvem.
5. Integração de API: O endpoint de inferência acelerado pode então ser integrado em aplicativos de usuário final, fornecendo capacidades de IA de baixa latência e alto rendimento.

Recursos principais do FuriosaAI

• Acelerador de IA RNGD: Um poderoso acelerador de IA de 2ª geração para data centers que oferece até 512 TFLOPS (FP8) de desempenho com um TDP inovador de 180W. Possui 48GB de memória HBM3 de alta largura de banda.
• Processador de Contração de Tensor (TCP): Uma nova arquitetura de computação projetada para operações de tensor eficientes, oferecendo desempenho e eficiência energética superiores em relação às unidades de multiplicação de matrizes tradicionais para cargas de trabalho de aprendizado profundo modernas.
• Pilha de Software Abrangente (Furiosa SDK): Um conjunto completo de ferramentas, incluindo um compilador, tempo de execução e APIs para otimizar a implantação de modelos de IA. Apresenta integração profunda com PyTorch 2.x e o ecossistema Hugging Face.
• Eficiência Energética Radical: O perfil de energia extremamente baixo reduz significativamente os custos de eletricidade, simplifica o gerenciamento térmico do data center e diminui a pegada de carbono geral das operações de IA.
• Inferência de LLM de Alto Desempenho: Comprovado para executar eficientemente modelos de ponta como o Llama 3.1 70B, oferecendo desempenho competitivo de token por segundo para aplicações exigentes.
• Pronto para Data Center: Construído para ambientes empresariais e de nuvem com suporte para virtualização de múltiplas instâncias (SR-IOV) e integração com ferramentas nativas da nuvem como o Kubernetes.

Casos de uso para FuriosaAI

A tecnologia da FuriosaAI é ideal para qualquer organização que execute cargas de trabalho de inferência de IA em grande escala:

• Provedores de Serviços em Nuvem: Oferecendo serviços de inferência de IA econômicos e sustentáveis para uma ampla gama de clientes, como demonstrado por sua futura disponibilidade no Microsoft Azure Marketplace.
• Grandes Empresas: Construindo infraestrutura de IA on-premise poderosa e eficiente para aplicações como motores de busca internos, chatbots de atendimento ao cliente, assistentes de geração de código e análise de dados.
• Instituições de Pesquisa em IA: Potencializando pesquisas de ponta em grandes modelos sem incorrer em custos de energia proibitivos. A LG AI Research, por exemplo, alcançou uma melhoria de desempenho de 2,25x em relação às GPUs para inferência de LLM.
• Iniciativas de IA Sustentável: Permitindo que as empresas escalem suas capacidades de IA de forma responsável, minimizando seu impacto ambiental e contribuindo para metas de computação mais verdes.

Vantagens do FuriosaAI

A principal vantagem da FuriosaAI é sua capacidade de oferecer desempenho, programabilidade и eficiência simultaneamente.

• Menor Custo Total de Propriedade (TCO): Contas de eletricidade drasticamente reduzidas, eliminação da necessidade de sistemas de refrigeração líquida caros e uma pegada de servidor menor levam a economias significativas a longo prazo.
• Implantação e Escalabilidade Simplificadas: A capacidade de operar em data centers refrigerados a ar existentes e uma pilha de software robusta diminuem a barreira de entrada e simplificam as operações de escalonamento.
• Arquitetura à Prova de Futuro: A arquitetura TCP é inerentemente mais flexível do que as unidades de matmul de tamanho fixo, proporcionando melhor adaptabilidade a futuros modelos e algoritmos de IA.
• Sustentabilidade Aprimorada: Ao fazer mais com menos energia, a FuriosaAI fornece um caminho claro para a construção de sistemas de IA poderosos que também são ambientalmente responsáveis.

Preços e planos

A FuriosaAI fornece soluções de hardware e software B2B para implantações em escala empresarial e de nuvem. Como tal, o preço específico para o acelerador RNGD não é listado publicamente. O preço é determinado com base no volume, acordos de parceria e pacotes de suporte. Partes interessadas, como operadores de data center, provedores de nuvem e grandes empresas, são incentivadas a entrar em contato diretamente com a equipe de vendas da FuriosaAI para obter cotações e informações de compra. A tecnologia também estará acessível através de parceiros de nuvem como o Microsoft Azure, onde o preço será integrado aos modelos de pagamento conforme o uso ou de instâncias reservadas do serviço de nuvem.