Juice

由 Juice Labs 推出的 Juice 引入了一種革命性的計算範式：GPU-over-IP。它是一個先進的軟體解決方案，旨在創建一個新的計算基底，讓加速計算能力像電流通過電網一樣在網路中流動。這項技術從根本上改變了組織利用和管理其昂貴 GPU 資源的方式。透過將 GPU 與其物理主機解耦，Juice 允許任何機器上的任何應用程式從網路上的任何地方（無論是在本地、雲端還是混合環境中）調用 GPU 算力。

該平台專為無縫整合到現有基礎設施而設計。它不需要對您的應用程式、硬體或底層作業系統進行任何更改。Juice 的工作原理是虛擬化 GPU 資源，並透過標準 IP 網路使其可用。這意味著資料科學家的工作站或僅有 CPU 的伺服器可以立即連接到強大的遠端 GPU 來運行要求苛刻的 AI 模型，然後在任務完成後迅速釋放它，使該資源可用於下一個工作負載。這種動態分配消除了 GPU 的閒置，極大地提高了利用率，並最大化了高效能運算硬體的投資回報。

如何使用 Juice

將 Juice 整合到您的工作流程中被設計得簡單直接且無干擾。以下是典型流程：

1. 部署： Juice 是一個純軟體解決方案。您需要在託管 GPU 的機器（GPU 伺服器）和需要存取它們的機器（客戶端節點）上部署 Juice 代理。這可以在裸機、虛擬機或容器中完成，跨越 Windows 和 Linux 環境。
2. 存取： 使用者可以透過多種介面存取遠端虛擬化 GPU。最常見的方法是透過命令列介面（CLI），只需運行像 pip install juice 這樣的命令。此外，還為 Windows 提供了使用者友好的桌面應用程式，並且正在開發一個 SDK 以實現更深度的原生應用程式整合。
3. 編排： 管理員可以將實體 GPU 分組成邏輯池。然後，他們可以設定存取策略來控制哪些使用者或系統可以存取特定的池。使用標籤，可以根據 VRAM 大小或 GPU 型號等要求，智能地將工作負載與最合適的 GPU 資源匹配。整個編排層操作無需 Kubernetes 的複雜性，儘管它可以與之共存。
4. 執行： 連接後，您可以像平常一樣運行您的應用程式。Juice 會攔截來自您應用程式的 GPU API 呼叫（如 CUDA、DirectX、OpenGL），並透過網路將它們路由到遠端 GPU。計算在遠端 GPU 上進行，結果被傳送回來。對於應用程式來說，這看起來就像本地有一塊 GPU 一樣。

Juice 的核心功能

• GPU-over-IP 技術： 核心創新，可透過標準網路以接近本機的效能實現遠端 GPU 存取。
• 動態池化與共享： 將整個基礎設施中的 GPU 聚合到集中池中，進行按需分配，消除孤島和資源利用不足。
• GPU 分片： 將單個實體 GPU 分割成多個虛擬 GPU，可供不同應用程式或使用者同時使用，進一步提高效率。
• 無需程式碼或硬體變更： 直接部署到您現有的環境中，無需對您的應用程式程式碼、驅動程式或實體硬體設定進行任何修改。
• 跨平台與雲無關： 支援 Windows 和 Linux，並且可以在本地、任何雲中運行，或橋接多個環境（混合/多雲）。
• 廣泛的 API 相容性： 透過 CUDA API 完全相容主流機器學習框架（PyTorch、TensorFlow、ONNX），以及圖形 API（DirectX、OpenGL、Vulkan）。
• 簡化的編排： 透過直觀的工具管理您的整個 GPU 機群、設定存取控制和監控使用情況，而無需 Kubernetes。

Juice 的使用案例

Juice 正被領先組織採用以解決關鍵的基礎設施挑戰：

• 學術超算： 頂尖技術大學在超級叢集中使用 Juice 進行動態 GPU 調度和池化，使研究人員能夠高效共享資源，而無需複雜的編排。
• 雲端服務供應商： 數位基礎設施公司利用 Juice 將 GPU 容量從資源豐富的地區路由到稀缺地區，有效地創建了一個全球性的、可互換的 GPU 雲。
• 企業 AI 與資料科學： 財富 100 強公司使其資料科學團隊能夠共享一個中央 GPU 池，允許他們從自己的工作站或 CPU 伺服器動態運行 AI/ML 工作負載。
• 遊戲開發與視覺特效： 像育碧（Ubisoft）這樣的工作室使用 Juice 將開發者連接到遠端 GPU，透過共享高階圖形資源，實現了巨大的成本節約和創新的開發工作流程。

Juice 的優勢特點

Juice 的主要優勢是效率的大幅提升。透過實現遠超行業平均水準的 GPU 利用率，它帶來了顯著的成本節約。其靈活性使組織能夠根據不斷變化的需求動態調整其計算資源。將任何僅有 CPU 的節點即時轉變為 GPU 節點的能力，使加速計算的存取變得大眾化。此外，其高效能、低延遲的連接確保了即使是要求苛刻的工作負載也能平穩運行，這一點已透過 LLaMa、BERT 和 YOLO 等模型的基準測試得到證明。

定價和計劃

Juice 提供分層定價模型以滿足不同需求：

• Juice Free： 0美元/月。非常適合個人或小規模測試。每月包括最多 10 小時的總 GPU 使用時間，最多 3 個 GPU 代理的池化，並支援高達 40GB VRAM 的輝達 GPU。
• Juice Pro： 30美元/月。專為專業人士和小型團隊設計。提供每月無限的 GPU 使用時間，最多 3 個 GPU 代理的池化，並支援高達 40GB VRAM 的輝達 GPU。
• Juice Enterprise： 客製化價格。為大型組織量身定制的解決方案。提供無限的 GPU 時間、無限的 GPU 代理，並支援任何尺寸的輝達 GPU，以及專門的支援和進階功能。