FuriosaAI

FuriosaAI là một công ty tiên phong đi đầu trong lĩnh vực đổi mới phần cứng AI, chuyên giải quyết các thách thức quan trọng về hiệu suất, hiệu quả và chi phí trong các déploiement AI quy mô lớn. Không giống như các công cụ phần mềm thông thường, FuriosaAI phát triển phần cứng chuyên dụng — các bộ tăng tốc AI — được thiết kế để cung cấp năng lượng cho thế hệ trí tuệ nhân tạo tiếp theo. Sản phẩm chủ lực của họ, bộ tăng tốc RNGD (phát âm là "Renegade"), được thiết kế đặc biệt cho suy luận AI, quá trình sử dụng một mô hình đã được huấn luyện để đưa ra dự đoán.

Vấn đề cốt lõi mà FuriosaAI giải quyết là mức tiêu thụ năng lượng khổng lồ và chi phí vận hành cao liên quan đến việc chạy các mô hình AI tiên tiến, chẳng hạn như Mô hình ngôn ngữ lớn (LLM) và các hệ thống đa phương thức, trên các GPU truyền thống. RNGD giải quyết vấn đề này bằng một phương pháp cách mạng tập trung vào kiến trúc Bộ xử lý co rút Tensor (TCP) độc đáo của mình. Thiết kế này vượt ra ngoài phép nhân ma trận thông thường, nền tảng của hầu hết các bộ tăng tốc, để đến một phương pháp tính toán tổng quát và hiệu quả hơn được gọi là co rút tensor. Điều này cho phép RNGD đạt được hiệu suất đáng nể trong khi chỉ tiêu thụ một phần nhỏ năng lượng so với các đối thủ cạnh tranh, khiến nó trở thành một giải pháp lý tưởng cho các trung tâm dữ liệu hiện đại được làm mát bằng không khí.

Cách sử dụng FuriosaAI

Sử dụng FuriosaAI bao gồm việc tích hợp phần cứng và phần mềm của nó vào một trung tâm dữ liệu hoặc môi trường đám mây. Quy trình này hướng đến người dùng doanh nghiệp, nhà cung cấp dịch vụ đám mây và kỹ sư ML:

1. Mua sắm & Cài đặt Phần cứng: Các doanh nghiệp hoặc nhà cung cấp dịch vụ đám mây mua các thẻ tăng tốc RNGD và cài đặt chúng vào các khe cắm PCIe tiêu chuẩn trong máy chủ của họ. TDP thấp 180W giúp đơn giản hóa quá trình này, vì nó không yêu cầu cơ sở hạ tầng làm mát bằng chất lỏng chuyên dụng.
2. Tích hợp Ngăn xếp Phần mềm: Các nhà phát triển cài đặt Furiosa SDK, một bộ phần mềm toàn diện. Bộ này bao gồm một trình biên dịch, runtime, profiler và debugger. SDK được thiết kế để tích hợp liền mạch với các quy trình làm việc MLOps hiện có.
3. Biên dịch và Tối ưu hóa Mô hình: Sử dụng Trình biên dịch Furiosa, các nhà phát triển lấy các mô hình đã được huấn luyện trước từ các framework phổ biến như PyTorch và các thư viện như Hugging Face Hub. Trình biên dịch tối ưu hóa các mô hình này đặc biệt cho kiến trúc TCP của RNGD, tối đa hóa hiệu suất và hiệu quả.
4. Triển khai cho Suy luận: Mô hình được tối ưu hóa được triển khai trên phần cứng RNGD. Ngăn xếp phần mềm hỗ trợ container hóa (ví dụ: Docker), điều phối với Kubernetes và ảo hóa (SR-IOV), cho phép triển khai linh hoạt và có thể mở rộng trong cả môi trường tại chỗ và môi trường gốc đám mây.
5. Tích hợp API: Điểm cuối suy luận được tăng tốc sau đó có thể được tích hợp vào các ứng dụng của người dùng cuối, cung cấp các khả năng AI có độ trễ thấp và thông lượng cao.

Tính năng chính của FuriosaAI

• Bộ tăng tốc AI RNGD: Một bộ tăng tốc AI thế hệ thứ 2 mạnh mẽ cho trung tâm dữ liệu, cung cấp hiệu suất lên tới 512 TFLOPS (FP8) với TDP đột phá 180W. Nó có 48GB bộ nhớ HBM3 băng thông cao.
• Bộ xử lý co rút Tensor (TCP): Một kiến trúc tính toán mới được thiết kế cho các hoạt động tensor hiệu quả, mang lại hiệu suất và hiệu quả năng lượng vượt trội so với các đơn vị nhân ma trận truyền thống cho các khối lượng công việc học sâu hiện đại.
• Ngăn xếp Phần mềm Toàn diện (Furiosa SDK): Một bộ công cụ đầy đủ bao gồm trình biên dịch, runtime và API để hợp lý hóa việc triển khai các mô hình AI. Nó có tính năng tích hợp sâu với PyTorch 2.x và hệ sinh thái Hugging Face.
• Hiệu quả Năng lượng Cấp tiến: Cấu hình năng lượng cực thấp giúp giảm đáng kể chi phí điện, đơn giản hóa việc quản lý nhiệt của trung tâm dữ liệu và giảm tổng lượng khí thải carbon của các hoạt động AI.
• Suy luận LLM Hiệu suất cao: Đã được chứng minh là chạy hiệu quả các mô hình tiên tiến như Llama 3.1 70B, mang lại hiệu suất token mỗi giây cạnh tranh cho các ứng dụng đòi hỏi khắt khe.
• Sẵn sàng cho Trung tâm Dữ liệu: Được xây dựng cho môi trường doanh nghiệp và đám mây với sự hỗ trợ cho ảo hóa đa phiên bản (SR-IOV) và tích hợp với các công cụ gốc đám mây như Kubernetes.

Các trường hợp sử dụng FuriosaAI

Công nghệ của FuriosaAI lý tưởng cho bất kỳ tổ chức nào chạy khối lượng công việc suy luận AI quy mô lớn:

• Nhà cung cấp Dịch vụ Đám mây: Cung cấp các dịch vụ suy luận AI hiệu quả về chi phí và bền vững cho nhiều đối tượng khách hàng, như được minh chứng bằng sự sẵn có sắp tới của nó trên Microsoft Azure Marketplace.
• Doanh nghiệp Lớn: Xây dựng cơ sở hạ tầng AI tại chỗ mạnh mẽ và hiệu quả cho các ứng dụng như công cụ tìm kiếm nội bộ, chatbot dịch vụ khách hàng, trợ lý tạo mã và phân tích dữ liệu.
• Các viện Nghiên cứu AI: Cung cấp năng lượng cho nghiên cứu tiên tiến về các mô hình lớn mà không phải chịu chi phí năng lượng quá cao. Ví dụ, LG AI Research đã đạt được cải thiện hiệu suất 2,25 lần so với GPU cho suy luận LLM.
• Sáng kiến AI Bền vững: Cho phép các công ty mở rộng quy mô năng lực AI của mình một cách có trách nhiệm bằng cách giảm thiểu tác động môi trường và đóng góp vào các mục tiêu điện toán xanh hơn.

Ưu điểm của FuriosaAI

Ưu điểm chính của FuriosaAI là khả năng cung cấp đồng thời hiệu suất, khả năng lập trình và hiệu quả.

• Tổng chi phí sở hữu (TCO) thấp hơn: Hóa đơn tiền điện giảm đáng kể, loại bỏ nhu cầu về các hệ thống làm mát bằng chất lỏng đắt tiền và diện tích máy chủ nhỏ hơn dẫn đến tiết kiệm đáng kể trong dài hạn.
• Triển khai & Khả năng mở rộng được đơn giản hóa: Khả năng hoạt động trong các trung tâm dữ liệu làm mát bằng không khí hiện có và một ngăn xếp phần mềm mạnh mẽ giúp giảm rào cản gia nhập và đơn giản hóa các hoạt động mở rộng.
• Kiến trúc Bền vững với Tương lai: Kiến trúc TCP vốn dĩ linh hoạt hơn các đơn vị matmul có kích thước cố định, cung cấp khả năng thích ứng tốt hơn với các mô hình và thuật toán AI trong tương lai.
• Tăng cường Tính bền vững: Bằng cách làm được nhiều việc hơn với ít năng lượng hơn, FuriosaAI cung cấp một con đường rõ ràng để xây dựng các hệ thống AI mạnh mẽ mà còn có trách nhiệm với môi trường.

Giá cả và gói dịch vụ

FuriosaAI cung cấp các giải pháp phần cứng và phần mềm B2B cho các déploiement quy mô doanh nghiệp và đám mây. Do đó, giá cụ thể cho bộ tăng tốc RNGD không được công bố công khai. Giá cả được xác định dựa trên số lượng, thỏa thuận hợp tác và các gói hỗ trợ. Các bên quan tâm, chẳng hạn như các nhà khai thác trung tâm dữ liệu, nhà cung cấp dịch vụ đám mây và các doanh nghiệp lớn, được khuyến khích liên hệ trực tiếp với đội ngũ bán hàng của FuriosaAI để nhận báo giá và thông tin mua hàng. Công nghệ này cũng sẽ có thể truy cập được thông qua các đối tác đám mây như Microsoft Azure, nơi giá cả sẽ được tích hợp vào các mô hình trả tiền theo mức sử dụng hoặc phiên bản dành riêng của dịch vụ đám mây.