FuriosaAI

FuriosaAI 是一家處於AI硬體創新前沿的先驅公司，致力於解決大規模AI部署中性能、效率和成本等關鍵挑戰。與典型的軟體工具不同，FuriosaAI 開發專門的硬體——AI加速器，旨在為下一代人工智慧提供動力。其旗艦產品 RNGD（發音為“Renegade”）加速器專為AI推論而設計，即使用經過訓練的模型進行預測的過程。

FuriosaAI 解決的核心問題是，在傳統GPU上運行大型語言模型（LLM）和多模態系統等先進AI模型時，會產生巨大的能源消耗和高昂的營運成本。RNGD 透過一種革命性的方法解決了這個問題，其核心是其獨特的張量收縮處理器（TCP）架構。該設計超越了大多數加速器所基於的傳統矩陣乘法，採用了一種更通用、更高效的計算方法，稱為張量收縮。這使得 RNGD 能夠在功耗僅為競爭對手一小部分的情況下實現卓越的性能，使其成為現代風冷資料中心的理想解決方案。

如何使用FuriosaAI

使用 FuriosaAI 涉及將其硬體和軟體整合到資料中心或雲端環境中。該過程主要針對企業用戶、雲端供應商和機器學習工程師：

1. 硬體採購與安裝：企業或雲端服務供應商採購 RNGD 加速卡，並將其安裝到伺服器的標準 PCIe 插槽中。其 180W 的低熱設計功耗（TDP）簡化了此過程，因為不需要專門的液體冷卻基礎設施。
2. 軟體堆疊整合：開發人員安裝 Furiosa SDK，這是一個全面的軟體套件，包括編譯器、執行時、性能分析器和偵錯器。該 SDK 旨在與現有的 MLOps 工作流程無縫整合。
3. 模型編譯與優化：開發人員使用 Furiosa 編譯器，從 PyTorch 等流行框架和 Hugging Face Hub 等函式庫中獲取預訓練模型。編譯器會針對 RNGD 的 TCP 架構對這些模型進行專門優化，以最大限度地提高性能和效率。
4. 部署用於推論：優化後的模型部署在 RNGD 硬體上。該軟體堆疊支援容器化（如 Docker）、使用 Kubernetes 進行編排以及虛擬化（SR-IOV），從而可以在本地和雲端原生環境中進行靈活和可擴展的部署。
5. API 整合：然後，可以將加速的推論端點整合到終端使用者應用程式中，提供低延遲、高吞吐量的AI功能。

FuriosaAI的核心功能

• RNGD AI 加速器：一款功能強大的第二代資料中心AI加速器，可提供高達 512 TFLOPS（FP8）的性能，並具有開創性的 180W TDP。它配備了 48GB 的高頻寬 HBM3 記憶體。
• 張量收縮處理器（TCP）：一種新穎的計算架構，專為高效的張量運算而設計，與傳統的矩陣乘法單元相比，在現代深度學習工作負載中提供卓越的性能和能效。
• 全面的軟體堆疊（Furiosa SDK）：一套完整的工具，包括編譯器、執行時和 API，以簡化AI模型的部署。它與 PyTorch 2.x 和 Hugging Face 生態系統深度整合。
• 極致的能源效率：極低的功耗顯著降低了電力成本，簡化了資料中心的熱管理，並降低了AI營運的總體碳足跡。
• 高效能 LLM 推論：經證實可高效運行如 Llama 3.1 70B 等最先進的模型，為要求嚴苛的應用提供具有競爭力的每秒令牌生成性能。
• 為資料中心準備就緒：專為企業和雲端環境構建，支援多實例虛擬化（SR-IOV），並與 Kubernetes 等雲端原生工具整合。

FuriosaAI的使用案例

FuriosaAI 的技術非常適合任何運行大規模AI推論工作負載的組織：

• 雲端服務供應商：向廣大客戶提供具成本效益且可持續的AI推論服務，例如其即將在微軟 Azure Marketplace 上提供。
• 大型企業：構建強大高效的本地AI基礎設施，用於內部搜尋引擎、客戶服務聊天機器人、程式碼生成助手和資料分析等應用。
• AI 研究機構：在不產生高昂能源成本的情況下，為大型模型的前沿研究提供動力。例如，LG AI 研究院在使用其進行 LLM 推論時，性能比 GPU 提高了 2.25 倍。
• 可持續AI倡議：透過最大限度地減少環境影響，並為更綠色的計算目標做出貢獻，使公司能夠負責任地擴展其AI能力。

FuriosaAI的優勢特點

FuriosaAI 的主要優勢在於其能夠同時提供性能、可編程性和效率。

• 更低的總擁有成本（TCO）：大幅降低的電費、無需昂貴的液體冷卻系統以及更小的伺服器佔用空間，帶來了顯著的長期節省。
• 簡化的部署與可擴展性：能夠在現有的風冷資料中心中運行，加上強大的軟體堆疊，降低了準入門檻並簡化了擴展操作。
• 面向未來的架構：TCP 架構本質上比固定大小的矩陣乘法單元更靈活，為未來的AI模型和演算法提供了更好的適應性。
• 增強的可持續性：透過用更少的電力做更多的事，FuriosaAI 為構建既強大又對環境負責的AI系統提供了一條清晰的路徑。

定價和計劃

FuriosaAI 為企業和雲端規模部署提供 B2B 硬體和軟體解決方案。因此，RNGD 加速器的具體定價並未公開。定價根據採購量、合作協議和支援方案確定。我們鼓勵資料中心營運商、雲端供應商和大型企業等有興趣的各方直接聯繫 FuriosaAI 銷售團隊獲取報價和採購資訊。該技術也將透過像微軟 Azure 這樣的雲端合作夥伴提供，其定價將整合到雲端服務的即用即付或預留實例模型中。