FuriosaAI

FuriosaAI es una empresa pionera a la vanguardia de la innovación en hardware de IA, dedicada a resolver los desafíos críticos de rendimiento, eficiencia y costo en implementaciones de IA a gran escala. A diferencia de las herramientas de software típicas, FuriosaAI desarrolla hardware especializado —aceleradores de IA— diseñados para impulsar la próxima generación de inteligencia artificial. Su producto estrella, el acelerador RNGD (pronunciado "Renegade"), está diseñado específicamente para la inferencia de IA, el proceso de usar un modelo entrenado para hacer predicciones.

El problema central que aborda FuriosaAI es el inmenso consumo de energía y los altos costos operativos asociados con la ejecución de modelos de IA avanzados, como los Grandes Modelos de Lenguaje (LLM) y los sistemas multimodales, en las GPU tradicionales. RNGD aborda esto con un enfoque revolucionario centrado en su arquitectura única de Procesador de Contracción Tensorial (TCP). Este diseño va más allá de la multiplicación de matrices convencional, la base de la mayoría de los aceleradores, hacia un método de cálculo más generalizado y eficiente llamado contracción tensorial. Esto permite que RNGD logre un rendimiento notable mientras consume una fracción de la energía de sus competidores, convirtiéndolo en una solución ideal para los centros de datos modernos refrigerados por aire.

Cómo usar FuriosaAI

Usar FuriosaAI implica integrar su hardware y software en un centro de datos o entorno de nube. El proceso está dirigido a usuarios empresariales, proveedores de nube e ingenieros de ML:

1. Adquisición e Instalación de Hardware: Las empresas o proveedores de servicios en la nube adquieren las tarjetas aceleradoras RNGD y las instalan en ranuras PCIe estándar en sus servidores. El bajo TDP de 180W simplifica este proceso, ya que no requiere una infraestructura de refrigeración líquida especializada.
2. Integración de la Pila de Software: Los desarrolladores instalan el Furiosa SDK, un completo conjunto de software. Esto incluye un compilador, tiempo de ejecución, perfilador y depurador. El SDK está diseñado para una integración perfecta con los flujos de trabajo de MLOps existentes.
3. Compilación y Optimización de Modelos: Usando el Compilador de Furiosa, los desarrolladores toman modelos preentrenados de marcos populares como PyTorch y bibliotecas como Hugging Face Hub. El compilador optimiza estos modelos específicamente para la arquitectura TCP de RNGD, maximizando el rendimiento y la eficiencia.
4. Despliegue para Inferencia: El modelo optimizado se despliega en el hardware RNGD. La pila de software admite la contenedorización (p. ej., Docker), la orquestación con Kubernetes y la virtualización (SR-IOV), lo que permite un despliegue flexible y escalable tanto en entornos locales como nativos de la nube.
5. Integración de API: El punto final de inferencia acelerado puede luego integrarse en las aplicaciones del usuario final, proporcionando capacidades de IA de baja latencia y alto rendimiento.

Características principales de FuriosaAI

• Acelerador de IA RNGD: Un potente acelerador de IA de 2ª generación para centros de datos que ofrece hasta 512 TFLOPS (FP8) de rendimiento con un innovador TDP de 180W. Cuenta con 48GB de memoria HBM3 de alto ancho de banda.
• Procesador de Contracción Tensorial (TCP): Una novedosa arquitectura de cómputo diseñada para operaciones tensoriales eficientes, que ofrece un rendimiento y una eficiencia energética superiores a las unidades de multiplicación de matrices tradicionales para las cargas de trabajo de aprendizaje profundo modernas.
• Pila de Software Integral (Furiosa SDK): Un conjunto completo de herramientas que incluye un compilador, tiempo de ejecución y API para agilizar el despliegue de modelos de IA. Cuenta con una profunda integración con PyTorch 2.x y el ecosistema de Hugging Face.
• Eficiencia Energética Radical: El perfil de potencia extremadamente bajo reduce significativamente los costos de electricidad, simplifica la gestión térmica del centro de datos y disminuye la huella de carbono general de las operaciones de IA.
• Inferencia de LLM de Alto Rendimiento: Probado para ejecutar eficientemente modelos de última generación como Llama 3.1 70B, ofreciendo un rendimiento competitivo de tokens por segundo para aplicaciones exigentes.
• Listo para el Centro de Datos: Construido para entornos empresariales y de nube con soporte para virtualización de múltiples instancias (SR-IOV) e integración con herramientas nativas de la nube como Kubernetes.

Casos de uso para FuriosaAI

La tecnología de FuriosaAI es ideal para cualquier organización que ejecute cargas de trabajo de inferencia de IA a gran escala:

• Proveedores de Servicios en la Nube: Ofreciendo servicios de inferencia de IA rentables y sostenibles a una amplia gama de clientes, como lo demuestra su próxima disponibilidad en el Azure Marketplace de Microsoft.
• Grandes Empresas: Construyendo una infraestructura de IA local potente y eficiente para aplicaciones como motores de búsqueda internos, chatbots de servicio al cliente, asistentes de generación de código y análisis de datos.
• Instituciones de Investigación de IA: Impulsando la investigación de vanguardia en grandes modelos sin incurrir en costos de energía prohibitivos. LG AI Research, por ejemplo, logró una mejora de rendimiento de 2.25x sobre las GPU para la inferencia de LLM.
• Iniciativas de IA Sostenible: Permitiendo a las empresas escalar sus capacidades de IA de manera responsable, minimizando su impacto ambiental y contribuyendo a objetivos de computación más ecológicos.

Ventajas de FuriosaAI

La principal ventaja de FuriosaAI es su capacidad para ofrecer rendimiento, programabilidad y eficiencia simultáneamente.

• Menor Costo Total de Propiedad (TCO): Facturas de electricidad drásticamente reducidas, eliminación de la necesidad de costosos sistemas de refrigeración líquida y una menor huella de servidor conducen a ahorros significativos a largo plazo.
• Despliegue y Escalabilidad Simplificados: La capacidad de operar en centros de datos existentes refrigerados por aire y una pila de software robusta reducen la barrera de entrada y simplifican las operaciones de escalado.
• Arquitectura a Prueba de Futuro: La arquitectura TCP es inherentemente más flexible que las unidades de matmul de tamaño fijo, proporcionando una mejor adaptabilidad a futuros modelos y algoritmos de IA.
• Sostenibilidad Mejorada: Al hacer más con menos energía, FuriosaAI proporciona un camino claro para construir sistemas de IA potentes que también son ambientalmente responsables.

Precios y planes

FuriosaAI proporciona soluciones de hardware y software B2B para implementaciones a escala empresarial y en la nube. Como tal, el precio específico del acelerador RNGD no se publica. El precio se determina en función del volumen, los acuerdos de asociación y los paquetes de soporte. Se alienta a las partes interesadas, como operadores de centros de datos, proveedores de nube y grandes empresas, a que se pongan en contacto directamente con el equipo de ventas de FuriosaAI para obtener cotizaciones e información de compra. La tecnología también será accesible a través de socios en la nube como Microsoft Azure, donde el precio se integrará en los modelos de pago por uso o de instancia reservada del servicio en la nube.