FuriosaAI

FuriosaAI는 대규모 AI 배포에서 성능, 효율성 및 비용의 핵심 과제를 해결하기 위해 노력하는 AI 하드웨어 혁신의 선두에 있는 선구적인 기업입니다. 일반적인 소프트웨어 도구와 달리 FuriosaAI는 차세대 인공지능을 구동하도록 설계된 특수 하드웨어인 AI 가속기를 개발합니다. 주력 제품인 RNGD("레니게이드"로 발음) 가속기는 훈련된 모델을 사용하여 예측을 수행하는 과정인 AI 추론을 위해 특별히 설계되었습니다.

FuriosaAI가 해결하는 핵심 문제는 기존 GPU에서 대규모 언어 모델(LLM) 및 멀티모달 시스템과 같은 고급 AI 모델을 실행할 때 발생하는 막대한 에너지 소비와 높은 운영 비용입니다. RNGD는 독특한 텐서 수축 프로세서(TCP) 아키텍처를 중심으로 한 혁신적인 접근 방식으로 이 문제를 해결합니다. 이 설계는 대부분의 가속기의 기반이 되는 기존의 행렬 곱셈을 넘어 텐서 수축이라는 보다 일반화되고 효율적인 계산 방법으로 나아갑니다. 이를 통해 RNGD는 경쟁사보다 훨씬 적은 전력을 소비하면서 놀라운 성능을 달성할 수 있어 현대적인 공랭식 데이터센터에 이상적인 솔루션이 됩니다.

FuriosaAI 사용 방법

FuriosaAI를 사용하는 것은 하드웨어와 소프트웨어를 데이터센터나 클라우드 환경에 통합하는 것을 포함합니다. 이 과정은 기업 사용자, 클라우드 제공업체 및 ML 엔지니어를 대상으로 합니다.

1. 하드웨어 구매 및 설치: 기업이나 클라우드 서비스 제공업체는 RNGD 가속기 카드를 구매하여 서버의 표준 PCIe 슬롯에 설치합니다. 180W의 낮은 TDP는 특수 액체 냉각 인프라가 필요 없으므로 이 과정을 단순화합니다.
2. 소프트웨어 스택 통합: 개발자는 포괄적인 소프트웨어 제품군인 Furiosa SDK를 설치합니다. 여기에는 컴파일러, 런타임, 프로파일러 및 디버거가 포함됩니다. SDK는 기존 MLOps 워크플로우와 원활하게 통합되도록 설계되었습니다.
3. 모델 컴파일 및 최적화: 개발자는 Furiosa 컴파일러를 사용하여 PyTorch와 같은 인기 있는 프레임워크와 Hugging Face Hub와 같은 라이브러리에서 사전 훈련된 모델을 가져옵니다. 컴파일러는 RNGD의 TCP 아키텍처에 맞게 이러한 모델을 특별히 최적화하여 성능과 효율성을 극대화합니다.
4. 추론을 위한 배포: 최적화된 모델은 RNGD 하드웨어에 배포됩니다. 소프트웨어 스택은 컨테이너화(예: Docker), Kubernetes를 사용한 오케스트레이션 및 가상화(SR-IOV)를 지원하여 온프레미스 및 클라우드 네이티브 환경 모두에서 유연하고 확장 가능한 배포를 가능하게 합니다.
5. API 통합: 가속화된 추론 엔드포인트는 최종 사용자 애플리케이션에 통합되어 저지연, 고처리량 AI 기능을 제공할 수 있습니다.

FuriosaAI의 핵심 기능

• RNGD AI 가속기: 획기적인 180W TDP로 최대 512 TFLOPS(FP8)의 성능을 제공하는 강력한 2세대 데이터센터 AI 가속기입니다. 48GB의 고대역폭 HBM3 메모리를 갖추고 있습니다.
• 텐서 수축 프로세서(TCP): 효율적인 텐서 연산을 위해 설계된 새로운 컴퓨팅 아키텍처로, 현대 딥러닝 워크로드에서 기존 행렬 곱셈 장치보다 우수한 성능과 에너지 효율성을 제공합니다.
• 포괄적인 소프트웨어 스택(Furiosa SDK): AI 모델 배포를 간소화하는 컴파일러, 런타임 및 API를 포함한 전체 도구 모음입니다. PyTorch 2.x 및 Hugging Face 생태계와의 깊은 통합을 특징으로 합니다.
• 급진적인 에너지 효율성: 극도로 낮은 전력 소비는 전기 비용을 크게 줄이고 데이터센터 열 관리를 단순화하며 AI 운영의 전반적인 탄소 발자국을 줄입니다.
• 고성능 LLM 추론: Llama 3.1 70B와 같은 최첨단 모델을 효율적으로 실행하여 까다로운 애플리케이션에 대해 경쟁력 있는 초당 토큰 성능을 제공하는 것으로 입증되었습니다.
• 데이터센터 준비 완료: 다중 인스턴스 가상화(SR-IOV)를 지원하고 Kubernetes와 같은 클라우드 네이티브 도구와 통합되어 기업 및 클라우드 환경을 위해 구축되었습니다.

FuriosaAI의 사용 사례

FuriosaAI의 기술은 대규모 AI 추론 워크로드를 실행하는 모든 조직에 이상적입니다.

• 클라우드 서비스 제공업체: Microsoft Azure Marketplace에서 곧 제공될 예정인 것처럼 광범위한 고객에게 비용 효율적이고 지속 가능한 AI 추론 서비스를 제공합니다.
• 대기업: 내부 검색 엔진, 고객 서비스 챗봇, 코드 생성 도우미 및 데이터 분석과 같은 애플리케이션을 위한 강력하고 효율적인 온프레미스 AI 인프라를 구축합니다.
• AI 연구 기관: 과도한 에너지 비용 없이 대규모 모델에 대한 최첨단 연구를 지원합니다. 예를 들어, LG AI 연구원은 LLM 추론에서 GPU 대비 2.25배의 성능 향상을 달성했습니다.
• 지속 가능한 AI 이니셔티브: 환경 영향을 최소화하고 친환경 컴퓨팅 목표에 기여함으로써 기업이 책임감 있게 AI 역량을 확장할 수 있도록 합니다.

FuriosaAI의 장점

FuriosaAI의 주요 장점은 성능, 프로그래밍 가능성 및 효율성을 동시에 제공하는 능력입니다.

• 총 소유 비용(TCO) 절감: 전기 요금 대폭 절감, 고가의 액체 냉각 시스템 불필요, 서버 공간 축소로 상당한 장기적 비용 절감 효과를 가져옵니다.
• 단순화된 배포 및 확장성: 기존 공랭식 데이터센터에서 운영할 수 있는 능력과 강력한 소프트웨어 스택은 진입 장벽을 낮추고 확장 작업을 단순화합니다.
• 미래 지향적 아키텍처: TCP 아키텍처는 고정 크기 행렬 곱셈 장치보다 본질적으로 더 유연하여 미래의 AI 모델 및 알고리즘에 대한 더 나은 적응성을 제공합니다.
• 향상된 지속 가능성: 더 적은 전력으로 더 많은 일을 함으로써 FuriosaAI는 강력하면서도 환경적으로 책임 있는 AI 시스템을 구축할 수 있는 명확한 경로를 제공합니다.

가격 및 플랜

FuriosaAI는 기업 및 클라우드 규모 배포를 위한 B2B 하드웨어 및 소프트웨어 솔루션을 제공합니다. 따라서 RNGD 가속기의 구체적인 가격은 공개되지 않았습니다. 가격은 수량, 파트너십 계약 및 지원 패키지에 따라 결정됩니다. 데이터센터 운영자, 클라우드 제공업체 및 대기업과 같은 관심 있는 당사자는 견적 및 구매 정보를 위해 FuriosaAI 영업팀에 직접 문의하는 것이 좋습니다. 이 기술은 또한 Microsoft Azure와 같은 클라우드 파트너를 통해 액세스할 수 있으며, 가격은 클라우드 서비스의 종량제 또는 예약 인스턴스 모델에 통합될 것입니다.