Juice

Juice Labs의 Juice는 GPU-over-IP라는 혁신적인 컴퓨팅 패러다임을 소개합니다. 이는 가속화된 컴퓨팅 파워가 전력망을 통해 전기가 흐르는 것처럼 네트워크를 통해 흐르는 새로운 컴퓨팅 기판을 생성하도록 설계된 정교한 소프트웨어 솔루션입니다. 이 기술은 조직이 값비싼 GPU 리소스를 활용하고 관리하는 방식을 근본적으로 바꿉니다. GPU를 물리적 호스트에서 분리함으로써 Juice는 온프레미스, 클라우드 또는 하이브리드 환경 등 네트워크 어디에서나 모든 머신의 모든 애플리케이션이 GPU 파워를 활용할 수 있도록 합니다.

이 플랫폼은 기존 인프라에 원활하게 통합되도록 설계되었습니다. 애플리케이션, 하드웨어 또는 기본 운영 체제를 변경할 필요가 없습니다. Juice는 GPU 리소스를 가상화하고 표준 IP 네트워크를 통해 사용할 수 있도록 하는 방식으로 작동합니다. 즉, 데이터 과학자의 워크스테이션이나 CPU 전용 서버가 강력한 원격 GPU에 즉시 연결하여 까다로운 AI 모델을 실행한 다음, 신속하게 해제하여 다음 워크로드를 위해 리소스를 사용할 수 있게 합니다. 이 동적 할당은 GPU 유휴 상태를 제거하고 활용률을 극적으로 높이며 고성능 컴퓨팅 하드웨어에 대한 투자 수익을 극대화합니다.

Juice 사용 방법

Juice를 워크플로우에 통합하는 것은 간단하고 방해받지 않도록 설계되었습니다. 일반적인 프로세스는 다음과 같습니다.

1. 배포: Juice는 소프트웨어 전용 솔루션입니다. GPU를 호스팅하는 머신(GPU 서버)과 액세스해야 하는 머신(클라이언트 노드)에 Juice 에이전트를 배포합니다. 이는 베어메탈, 가상 머신 또는 컨테이너 내에서 Windows 및 Linux 환경 전반에 걸쳐 수행할 수 있습니다.
2. 액세스: 사용자는 여러 인터페이스를 통해 원격 가상화 GPU에 액세스할 수 있습니다. 가장 일반적인 방법은 pip install juice와 같은 명령을 실행하여 명령줄 인터페이스(CLI)를 통하는 것입니다. Windows용 사용자 친화적인 데스크톱 애플리케이션도 제공되며, 더 깊은 네이티브 애플리케이션 통합을 위한 SDK가 개발 중입니다.
3. 오케스트레이션: 관리자는 물리적 GPU를 논리적 풀로 그룹화할 수 있습니다. 그런 다음 액세스 정책을 설정하여 특정 풀에 액세스할 수 있는 사용자 또는 시스템을 제어할 수 있습니다. 태그를 사용하여 VRAM 크기나 GPU 모델과 같은 요구 사항에 따라 워크로드를 가장 적절한 GPU 리소스와 지능적으로 일치시킬 수 있습니다. 이 전체 오케스트레이션 계층은 Kubernetes의 복잡성 없이 작동하지만 공존할 수 있습니다.
4. 실행: 연결되면 평소처럼 애플리케이션을 실행합니다. Juice는 애플리케이션에서 GPU API 호출(예: CUDA, DirectX, OpenGL)을 가로채 네트워크를 통해 원격 GPU로 라우팅합니다. 계산은 원격 GPU에서 발생하고 결과는 다시 전송됩니다. 애플리케이션에는 로컬 GPU가 있는 것처럼 보입니다.

Juice의 핵심 기능

• GPU-over-IP 기술: 거의 네이티브에 가까운 성능으로 표준 네트워크를 통한 원격 GPU 액세스를 가능하게 하는 핵심 혁신입니다.
• 동적 풀링 및 공유: 전체 인프라의 GPU를 중앙 집중식 풀로 집계하여 온디맨드 할당을 통해 사일로와 비효율적인 활용을 제거합니다.
• GPU 분할: 단일 물리적 GPU를 여러 가상 GPU로 분할하여 다른 애플리케이션이나 사용자가 동시에 사용할 수 있도록 하여 효율성을 더욱 높입니다.
• 코드 또는 하드웨어 변경 불필요: 애플리케이션 코드, 드라이버 또는 물리적 하드웨어 설정을 수정할 필요 없이 기존 환경에 바로 적용됩니다.
• 크로스 플랫폼 및 클라우드 독립적: Windows와 Linux를 지원하며 온프레미스, 모든 클라우드에서 실행하거나 여러 환경(하이브리드/멀티 클라우드)을 연결할 수 있습니다.
• 광범위한 API 호환성: CUDA API를 통해 주요 머신러닝 프레임워크(PyTorch, TensorFlow, ONNX) 및 그래픽 API(DirectX, OpenGL, Vulkan)와 완벽하게 호환됩니다.
• 단순화된 오케스트레이션: Kubernetes 없이 직관적인 도구를 통해 전체 GPU 집합을 관리하고, 액세스 제어를 설정하고, 사용량을 모니터링합니다.

Juice의 사용 사례

Juice는 주요 조직에서 중요한 인프라 문제를 해결하기 위해 채택되고 있습니다.

• 학술 슈퍼컴퓨팅: 최고의 기술 대학들이 슈퍼클러스터에서 동적 GPU 스케줄링 및 풀링을 위해 Juice를 사용하여 연구원들이 복잡한 오케스트레이션 없이 리소스를 효율적으로 공유할 수 있도록 합니다.
• 클라우드 서비스 제공업체: 디지털 인프라 회사는 Juice를 활용하여 풍부한 지역에서 부족한 지역으로 GPU 용량을 라우팅하여 효과적으로 글로벌하고 대체 가능한 GPU 클라우드를 만듭니다.
• 기업 AI 및 데이터 과학: 포춘 100대 기업은 데이터 과학팀이 중앙 GPU 풀을 공유하여 자신의 워크스테이션이나 CPU 서버에서 동적으로 AI/ML 워크로드를 실행할 수 있도록 지원합니다.
• 게임 개발 및 VFX: Ubisoft와 같은 스튜디오는 Juice를 사용하여 개발자를 원격 GPU에 연결하여 고급 그래픽 리소스를 공유함으로써 막대한 비용 절감과 혁신적인 새로운 개발 워크플로우를 가능하게 합니다.

Juice의 장점

Juice의 주요 장점은 효율성의 대폭적인 증가입니다. 업계 평균을 훨씬 뛰어넘는 GPU 활용률을 달성함으로써 상당한 비용 절감을 제공합니다. 유연성을 통해 조직은 변화하는 요구에 따라 컴퓨팅 리소스를 동적으로 조정할 수 있습니다. 모든 CPU 전용 노드를 즉시 GPU 노드로 전환하는 기능은 가속 컴퓨팅에 대한 액세스를 민주화합니다. 또한 LLaMa, BERT, YOLO와 같은 모델과의 벤치마크에서 입증된 바와 같이 고성능, 저지연 연결은 까다로운 워크로드도 원활하게 실행되도록 보장합니다.

가격 및 플랜

Juice는 다양한 요구에 맞는 계층별 가격 모델을 제공합니다.

• Juice Free: 월 $0. 개인 또는 소규모 테스트에 이상적입니다. 월 최대 10시간의 총 GPU 시간, 최대 3개의 GPU 에이전트 풀링, 최대 40GB VRAM의 Nvidia GPU 지원이 포함됩니다.
• Juice Pro: 월 $30. 전문가 및 소규모 팀을 위해 설계되었습니다. 월 무제한 GPU 시간, 최대 3개의 GPU 에이전트 풀링, 최대 40GB VRAM의 Nvidia GPU 지원을 제공합니다.
• Juice Enterprise: 맞춤형 가격. 대규모 조직을 위한 맞춤형 솔루션입니다. 무제한 GPU 시간, 무제한 GPU 에이전트, 모든 크기의 Nvidia GPU 지원과 함께 전용 지원 및 고급 기능을 제공합니다.