Juice

由 Juice Labs 推出的 Juice 引入了一种革命性的计算范式：GPU-over-IP。它是一个先进的软件解决方案，旨在创建一个新的计算基底，让加速计算能力像电流通过电网一样在网络中流动。这项技术从根本上改变了组织利用和管理其昂贵 GPU 资源的方式。通过将 GPU 与其物理主机解耦，Juice 允许任何机器上的任何应用程序从网络上的任何地方（无论是在本地、云端还是混合环境中）调用 GPU 算力。

该平台专为无缝集成到现有基础设施而设计。它不需要对您的应用程序、硬件或底层操作系统进行任何更改。Juice 的工作原理是虚拟化 GPU 资源，并通过标准 IP 网络使其可用。这意味着数据科学家的工作站或仅有 CPU 的服务器可以立即连接到强大的远程 GPU 来运行要求苛刻的 AI 模型，然后在任务完成后迅速释放它，使该资源可用于下一个工作负载。这种动态分配消除了 GPU 的闲置，极大地提高了利用率，并最大化了高性能计算硬件的投资回报。

如何使用 Juice

将 Juice 集成到您的工作流程中被设计得简单直接且无干扰。以下是典型流程：

1. 部署： Juice 是一个纯软件解决方案。您需要在托管 GPU 的机器（GPU 服务器）和需要访问它们的机器（客户端节点）上部署 Juice 代理。这可以在裸机、虚拟机或容器中完成，跨越 Windows 和 Linux 环境。
2. 访问： 用户可以通过多种界面访问远程虚拟化 GPU。最常见的方法是通过命令行界面（CLI），只需运行像 pip install juice 这样的命令。此外，还为 Windows 提供了用户友好的桌面应用程序，并且正在开发一个 SDK 以实现更深度的原生应用程序集成。
3. 编排： 管理员可以将物理 GPU 分组成逻辑池。然后，他们可以设置访问策略来控制哪些用户或系统可以访问特定的池。使用标签，可以根据 VRAM 大小或 GPU 型号等要求，智能地将工作负载与最合适的 GPU 资源匹配。整个编排层操作无需 Kubernetes 的复杂性，尽管它可以与之共存。
4. 执行： 连接后，您可以像平常一样运行您的应用程序。Juice 会拦截来自您应用程序的 GPU API 调用（如 CUDA、DirectX、OpenGL），并通过网络将它们路由到远程 GPU。计算在远程 GPU 上进行，结果被发送回来。对于应用程序来说，这看起来就像本地有一块 GPU 一样。

Juice 的核心功能

• GPU-over-IP 技术： 核心创新，可通过标准网络以接近本机的性能实现远程 GPU 访问。
• 动态池化与共享： 将整个基础设施中的 GPU 聚合到集中池中，进行按需分配，消除孤岛和资源利用不足。
• GPU 分片： 将单个物理 GPU 分割成多个虚拟 GPU，可供不同应用程序或用户同时使用，进一步提高效率。
• 无需代码或硬件更改： 直接部署到您现有的环境中，无需对您的应用程序代码、驱动程序或物理硬件设置进行任何修改。
• 跨平台与云无关： 支持 Windows 和 Linux，并且可以在本地、任何云中运行，或桥接多个环境（混合/多云）。
• 广泛的 API 兼容性： 通过 CUDA API 完全兼容主流机器学习框架（PyTorch、TensorFlow、ONNX），以及图形 API（DirectX、OpenGL、Vulkan）。
• 简化的编排： 通过直观的工具管理您的整个 GPU 集群、设置访问控制和监控使用情况，而无需 Kubernetes。

Juice 的使用案例

Juice 正被领先组织采用以解决关键的基础设施挑战：

• 学术超算： 顶尖技术大学在超级集群中使用 Juice 进行动态 GPU 调度和池化，使研究人员能够高效共享资源，而无需复杂的编排。
• 云服务提供商： 数字基础设施公司利用 Juice 将 GPU 容量从资源丰富的地区路由到稀缺地区，有效地创建了一个全球性的、可互换的 GPU 云。
• 企业 AI 与数据科学： 财富 100 强公司使其数据科学团队能够共享一个中央 GPU 池，允许他们从自己的工作站或 CPU 服务器动态运行 AI/ML 工作负载。
• 游戏开发与视觉特效： 像育碧（Ubisoft）这样的工作室使用 Juice 将开发者连接到远程 GPU，通过共享高端图形资源，实现了巨大的成本节约和创新的开发工作流程。

Juice 的优势特点

Juice 的主要优势是效率的大幅提升。通过实现远超行业平均水平的 GPU 利用率，它带来了显著的成本节约。其灵活性使组织能够根据不断变化的需求动态调整其计算资源。将任何仅有 CPU 的节点即时转变为 GPU 节点的能力，使加速计算的访问变得大众化。此外，其高性能、低延迟的连接确保了即使是要求苛刻的工作负载也能平稳运行，这一点已通过 LLaMa、BERT 和 YOLO 等模型的基准测试得到证明。

定价和计划

Juice 提供分层定价模型以满足不同需求：

• Juice Free： 0美元/月。非常适合个人或小规模测试。每月包括最多 10 小时的总 GPU 使用时间，最多 3 个 GPU 代理的池化，并支持高达 40GB VRAM 的英伟达 GPU。
• Juice Pro： 30美元/月。专为专业人士和小型团队设计。提供每月无限的 GPU 使用时间，最多 3 个 GPU 代理的池化，并支持高达 40GB VRAM 的英伟达 GPU。
• Juice Enterprise： 定制价格。为大型组织量身定制的解决方案。提供无限的 GPU 时间、无限的 GPU 代理，并支持任何尺寸的英伟达 GPU，以及专门的支持和高级功能。