FuriosaAI

FuriosaAI 是一家处于AI硬件创新前沿的先驱公司，致力于解决大规模AI部署中性能、效率和成本等关键挑战。与典型的软件工具不同，FuriosaAI 开发专门的硬件——AI加速器，旨在为下一代人工智能提供动力。其旗舰产品 RNGD（发音为“Renegade”）加速器专为AI推理而设计，即使用经过训练的模型进行预测的过程。

FuriosaAI 解决的核心问题是，在传统GPU上运行大型语言模型（LLM）和多模态系统等先进AI模型时，会产生巨大的能源消耗和高昂的运营成本。RNGD 通过一种革命性的方法解决了这个问题，其核心是其独特的张量收缩处理器（TCP）架构。该设计超越了大多数加速器所基于的传统矩阵乘法，采用了一种更通用、更高效的计算方法，称为张量收缩。这使得 RNGD 能够在功耗仅为竞争对手一小部分的情况下实现卓越的性能，使其成为现代风冷数据中心的理想解决方案。

如何使用FuriosaAI

使用 FuriosaAI 涉及将其硬件和软件集成到数据中心或云环境中。该过程主要面向企业用户、云提供商和机器学习工程师：

1. 硬件采购与安装：企业或云服务提供商采购 RNGD 加速卡，并将其安装到服务器的标准 PCIe 插槽中。其 180W 的低热设计功耗（TDP）简化了此过程，因为不需要专门的液体冷却基础设施。
2. 软件栈集成：开发人员安装 Furiosa SDK，这是一个全面的软件套件，包括编译器、运行时、性能分析器和调试器。该 SDK 旨在与现有的 MLOps 工作流无缝集成。
3. 模型编译与优化：开发人员使用 Furiosa 编译器，从 PyTorch 等流行框架和 Hugging Face Hub 等库中获取预训练模型。编译器会针对 RNGD 的 TCP 架构对这些模型进行专门优化，以最大限度地提高性能和效率。
4. 部署用于推理：优化后的模型部署在 RNGD 硬件上。该软件栈支持容器化（如 Docker）、使用 Kubernetes 进行编排以及虚拟化（SR-IOV），从而可以在本地和云原生环境中进行灵活和可扩展的部署。
5. API 集成：然后，可以将加速的推理端点集成到最终用户应用程序中，提供低延迟、高吞吐量的AI功能。

FuriosaAI的核心功能

• RNGD AI 加速器：一款功能强大的第二代数据中心AI加速器，可提供高达 512 TFLOPS（FP8）的性能，并具有开创性的 180W TDP。它配备了 48GB 的高带宽 HBM3 内存。
• 张量收缩处理器（TCP）：一种新颖的计算架构，专为高效的张量运算而设计，与传统的矩阵乘法单元相比，在现代深度学习工作负载中提供卓越的性能和能效。
• 全面的软件栈（Furiosa SDK）：一套完整的工具，包括编译器、运行时和 API，以简化AI模型的部署。它与 PyTorch 2.x 和 Hugging Face 生态系统深度集成。
• 极致的能源效率：极低的功耗显著降低了电力成本，简化了数据中心的热管理，并降低了AI运营的总体碳足迹。
• 高性能 LLM 推理：经证实可高效运行如 Llama 3.1 70B 等最先进的模型，为要求严苛的应用提供具有竞争力的每秒令牌生成性能。
• 为数据中心准备就绪：专为企业和云环境构建，支持多实例虚拟化（SR-IOV），并与 Kubernetes 等云原生工具集成。

FuriosaAI的使用案例

FuriosaAI 的技术非常适合任何运行大规模AI推理工作负载的组织：

• 云服务提供商：向广大客户提供经济高效且可持续的AI推理服务，例如其即将在微软 Azure Marketplace 上提供。
• 大型企业：构建强大高效的本地AI基础设施，用于内部搜索引擎、客户服务聊天机器人、代码生成助手和数据分析等应用。
• AI 研究机构：在不产生高昂能源成本的情况下，为大型模型的前沿研究提供动力。例如，LG AI 研究院在使用其进行 LLM 推理时，性能比 GPU 提高了 2.25 倍。
• 可持续AI倡议：通过最大限度地减少环境影响，并为更绿色的计算目标做出贡献，使公司能够负责任地扩展其AI能力。

FuriosaAI的优势特点

FuriosaAI 的主要优势在于其能够同时提供性能、可编程性和效率。

• 更低的总拥有成本（TCO）：大幅降低的电费、无需昂贵的液体冷却系统以及更小的服务器占用空间，带来了显著的长期节省。
• 简化的部署与可扩展性：能够在现有的风冷数据中心中运行，加上强大的软件栈，降低了准入门槛并简化了扩展操作。
• 面向未来的架构：TCP 架构本质上比固定大小的矩阵乘法单元更灵活，为未来的AI模型和算法提供了更好的适应性。
• 增强的可持续性：通过用更少的电力做更多的事，FuriosaAI 为构建既强大又对环境负责的AI系统提供了一条清晰的路径。

定价和计划

FuriosaAI 为企业和云规模部署提供 B2B 硬件和软件解决方案。因此，RNGD 加速器的具体定价并未公开。定价根据采购量、合作协议和支持包确定。我们鼓励数据中心运营商、云提供商和大型企业等有兴趣的各方直接联系 FuriosaAI 销售团队获取报价和采购信息。该技术也将通过像微软 Azure 这样的云合作伙伴提供，其定价将集成到云服务的即用即付或预留实例模型中。