FuriosaAI

FuriosaAIは、AIハードウェアの革新の最前線に立つ先駆的な企業であり、大規模なAI展開における性能、効率、コストという重大な課題の解決に専念しています。一般的なソフトウェアツールとは異なり、FuriosaAIは次世代の人工知能を動かすために設計された専門ハードウェア、すなわちAIアクセラレータを開発しています。その主力製品であるRNGD（「レネゲード」と発音）アクセラレータは、訓練済みモデルを使用して予測を行うプロセスであるAI推論に特化して設計されています。

FuriosaAIが取り組む中心的な問題は、大規模言語モデル（LLM）やマルチモーダルシステムなどの高度なAIモデルを従来のGPUで実行する際に伴う、莫大なエネルギー消費と高い運用コストです。RNGDは、独自のテンソル収縮プロセッサ（TCP）アーキテクチャを中心とした革命的なアプローチでこの問題に取り組みます。この設計は、ほとんどのアクセラレータの基盤である従来の行列積を超え、テンソル収縮と呼ばれるより一般的で効率的な計算手法へと移行します。これにより、RNGDは競合製品の数分の一の電力で驚異的な性能を達成することができ、現代の空冷データセンターにとって理想的なソリューションとなります。

FuriosaAIの使い方

FuriosaAIの使用には、そのハードウェアとソフトウェアをデータセンターやクラウド環境に統合することが含まれます。このプロセスは、企業ユーザー、クラウドプロバイダー、MLエンジニアを対象としています。

1. ハードウェアの取得と設置：企業やクラウドサービスプロバイダーはRNGDアクセラレータカードを取得し、サーバーの標準PCIeスロットに設置します。180Wという低いTDPは、特殊な液体冷却インフラを必要としないため、このプロセスを簡素化します。
2. ソフトウェアスタックの統合：開発者は、包括的なソフトウェアスイートであるFuriosa SDKをインストールします。これには、コンパイラ、ランタイム、プロファイラ、デバッガが含まれます。SDKは、既存のMLOpsワークフローとシームレスに統合できるように設計されています。
3. モデルのコンパイルと最適化：開発者はFuriosaコンパイラを使用して、PyTorchのような人気のあるフレームワークやHugging Face Hubのようなライブラリから事前訓練済みモデルを取得します。コンパイラは、これらのモデルをRNGDのTCPアーキテクチャに特化して最適化し、性能と効率を最大化します。
4. 推論のための展開：最適化されたモデルはRNGDハードウェア上に展開されます。ソフトウェアスタックは、コンテナ化（例：Docker）、Kubernetesによるオーケストレーション、仮想化（SR-IOV）をサポートしており、オンプレミスとクラウドネイティブの両方の環境で柔軟かつスケーラブルな展開が可能です。
5. API統合：高速化された推論エンドポイントは、エンドユーザーアプリケーションに統合され、低遅延で高スループットのAI機能を提供します。

FuriosaAIの主な機能

• RNGD AIアクセラレータ：画期的な180WのTDPで最大512 TFLOPS（FP8）の性能を発揮する強力な第2世代データセンターAIアクセラレータ。48GBの広帯域HBM3メモリを搭載しています。
• テンソル収縮プロセッサ（TCP）：効率的なテンソル演算のために設計された新しい計算アーキテクチャで、現代のディープラーニングワークロードにおいて、従来の行列積ユニットよりも優れた性能とエネルギー効率を提供します。
• 包括的なソフトウェアスタック（Furiosa SDK）：AIモデルの展開を効率化するためのコンパイラ、ランタイム、APIを含む完全なツールスイート。PyTorch 2.xおよびHugging Faceエコシステムとの深い統合が特徴です。
• 根本的なエネルギー効率：極めて低い電力プロファイルにより、電気代を大幅に削減し、データセンターの熱管理を簡素化し、AI運用の全体的な二酸化炭素排出量を削減します。
• 高性能LLM推論：Llama 3.1 70Bのような最先端のモデルを効率的に実行することが証明されており、要求の厳しいアプリケーションに対して競争力のあるトークン/秒の性能を提供します。
• データセンター対応：マルチインスタンス仮想化（SR-IOV）をサポートし、Kubernetesのようなクラウドネイティブツールと統合することで、企業およびクラウド環境向けに構築されています。

FuriosaAIの使用例

FuriosaAIの技術は、大規模なAI推論ワークロードを実行するあらゆる組織にとって理想的です。

• クラウドサービスプロバイダー：MicrosoftのAzure Marketplaceで間もなく利用可能になることが示すように、幅広い顧客にコスト効率が高く持続可能なAI推論サービスを提供します。
• 大企業：社内検索エンジン、顧客サービスチャットボット、コード生成アシスタント、データ分析などのアプリケーション向けに、強力で効率的なオンプレミスAIインフラを構築します。
• AI研究機関：法外なエネルギーコストをかけることなく、大規模モデルに関する最先端の研究を推進します。例えば、LG AI Researchは、LLM推論においてGPUに対して2.25倍の性能向上を達成しました。
• 持続可能なAIイニシアティブ：環境への影響を最小限に抑え、よりグリーンなコンピューティング目標に貢献することで、企業が責任を持ってAI能力を拡大できるようにします。

FuriosaAIの利点

FuriosaAIの主な利点は、性能、プログラマビリティ、効率を同時に提供できる能力です。

• 総所有コスト（TCO）の削減：電気代の大幅な削減、高価な液体冷却システムの不要化、サーバーフットプリントの縮小により、長期的に大幅な節約が実現します。
• 展開とスケーラビリティの簡素化：既存の空冷データセンターで運用できる能力と堅牢なソフトウェアスタックにより、参入障壁が低くなり、スケーリング操作が簡素化されます。
• 将来性のあるアーキテクチャ：TCPアーキテクチャは、固定サイズの行列積ユニットよりも本質的に柔軟性があり、将来のAIモデルやアルゴリズムへのより良い適応性を提供します。
• 持続可能性の向上：より少ない電力でより多くのことを行うことで、FuriosaAIは、強力でありながら環境に責任を持つAIシステムを構築するための明確な道筋を提供します。

料金プラン

FuriosaAIは、企業およびクラウド規模の展開向けにB2Bのハードウェアおよびソフトウェアソリューションを提供しています。そのため、RNGDアクセラレータの具体的な価格は公表されていません。価格は、数量、パートナーシップ契約、サポートパッケージに基づいて決定されます。データセンター事業者、クラウドプロバイダー、大企業などの関心のある関係者は、見積もりや購入情報についてFuriosaAIの営業チームに直接問い合わせることをお勧めします。この技術は、Microsoft Azureのようなクラウドパートナーを通じても利用可能になり、価格はクラウドサービスの従量課金制またはリザーブドインスタンスモデルに統合されます。