Juice

Juice, của Juice Labs, giới thiệu một mô hình tính toán mang tính cách mạng: GPU-qua-IP. Đây là một giải pháp phần mềm tinh vi được thiết kế để tạo ra một nền tảng tính toán mới, nơi sức mạnh tính toán tăng tốc lưu thông qua các mạng, giống như điện năng qua lưới điện. Công nghệ này thay đổi cơ bản cách các tổ chức sử dụng và quản lý tài nguyên GPU đắt đỏ của họ. Bằng cách tách rời GPU khỏi máy chủ vật lý, Juice cho phép bất kỳ ứng dụng nào trên bất kỳ máy nào cũng có thể khai thác sức mạnh GPU từ bất kỳ đâu trên mạng—dù là tại chỗ, trên đám mây hay trong môi trường lai.

Nền tảng này được thiết kế để tích hợp liền mạch vào các cơ sở hạ tầng hiện có. Nó không yêu cầu thay đổi đối với ứng dụng, phần cứng hoặc hệ điều hành cơ bản của bạn. Juice hoạt động bằng cách ảo hóa tài nguyên GPU và cung cấp chúng qua các mạng IP tiêu chuẩn. Điều này có nghĩa là máy trạm của một nhà khoa học dữ liệu hoặc một máy chủ chỉ có CPU có thể kết nối ngay lập tức với một GPU từ xa mạnh mẽ để chạy một mô hình AI đòi hỏi khắt khe, sau đó giải phóng nó nhanh chóng, làm cho tài nguyên sẵn sàng cho khối lượng công việc tiếp theo. Việc phân bổ động này giúp loại bỏ tình trạng GPU nhàn rỗi, tăng đáng kể tỷ lệ sử dụng và tối đa hóa lợi tức đầu tư vào phần cứng máy tính hiệu năng cao.

Cách sử dụng Juice

Việc tích hợp Juice vào quy trình làm việc của bạn được thiết kế để đơn giản và không gây gián đoạn. Dưới đây là một quy trình điển hình:

1. Triển khai: Juice là một giải pháp chỉ phần mềm. Bạn triển khai tác nhân Juice trên các máy chủ chứa GPU (máy chủ GPU) và trên các máy cần truy cập chúng (nút máy khách). Điều này có thể được thực hiện trên bare metal, trong máy ảo hoặc trong các container trên các môi trường Windows và Linux.
2. Truy cập: Người dùng có thể truy cập các GPU ảo hóa từ xa thông qua nhiều giao diện. Phương pháp phổ biến nhất là qua Giao diện Dòng lệnh (CLI) bằng cách chạy một lệnh đơn giản như pip install juice. Một ứng dụng máy tính để bàn thân thiện với người dùng cũng có sẵn cho Windows, và một SDK đang được phát triển để tích hợp ứng dụng gốc sâu hơn.
3. Điều phối: Quản trị viên có thể nhóm các GPU vật lý thành các nhóm logic. Sau đó, họ có thể đặt chính sách truy cập để kiểm soát người dùng hoặc hệ thống nào có thể truy cập các nhóm cụ thể. Sử dụng các thẻ, khối lượng công việc có thể được kết hợp thông minh với các tài nguyên GPU phù hợp nhất dựa trên các yêu cầu như kích thước VRAM hoặc mô hình GPU. Toàn bộ lớp điều phối này hoạt động mà không cần sự phức tạp của Kubernetes, mặc dù nó có thể cùng tồn tại với nó.
4. Thực thi: Sau khi kết nối, bạn chạy các ứng dụng của mình như bình thường. Juice chặn các lệnh gọi API GPU (như CUDA, DirectX, OpenGL) từ ứng dụng của bạn và định tuyến chúng qua mạng đến GPU từ xa. Việc tính toán diễn ra trên GPU từ xa và kết quả được gửi trở lại. Đối với ứng dụng, nó dường như có một GPU cục bộ.

Tính năng chính của Juice

• Công nghệ GPU-qua-IP: Sự đổi mới cốt lõi cho phép truy cập GPU từ xa qua các mạng tiêu chuẩn với hiệu suất gần như gốc.
• Gộp chung & Chia sẻ động: Tập hợp các GPU từ toàn bộ cơ sở hạ tầng của bạn vào các nhóm tập trung để phân bổ theo yêu cầu, loại bỏ các silo và tình trạng sử dụng kém hiệu quả.
• Phân mảnh GPU: Chia một GPU vật lý duy nhất thành nhiều GPU ảo có thể được sử dụng bởi các ứng dụng hoặc người dùng khác nhau đồng thời, tăng cường hiệu quả hơn nữa.
• Không cần thay đổi mã hoặc phần cứng: Tích hợp vào môi trường hiện tại của bạn mà không yêu cầu bất kỳ sửa đổi nào đối với mã ứng dụng, trình điều khiển hoặc thiết lập phần cứng vật lý của bạn.
• Đa nền tảng & Độc lập với đám mây: Hỗ trợ Windows và Linux, và có thể chạy tại chỗ, trên bất kỳ đám mây nào, hoặc kết nối nhiều môi trường (lai/đa đám mây).
• Tương thích API rộng rãi: Hoàn toàn tương thích với các framework học máy chính (PyTorch, TensorFlow, ONNX) thông qua API CUDA, và các API đồ họa (DirectX, OpenGL, Vulkan).
• Điều phối đơn giản hóa: Quản lý toàn bộ đội GPU của bạn, thiết lập kiểm soát truy cập và giám sát việc sử dụng thông qua các công cụ trực quan mà không cần Kubernetes.

Các trường hợp sử dụng Juice

Juice đang được các tổ chức hàng đầu áp dụng để giải quyết các thách thức cơ sở hạ tầng quan trọng:

• Siêu máy tính học thuật: Các trường đại học kỹ thuật hàng đầu sử dụng Juice để lập lịch và gộp chung GPU động trong các siêu cụm, cho phép các nhà nghiên cứu chia sẻ tài nguyên hiệu quả mà không cần điều phối phức tạp.
• Nhà cung cấp dịch vụ đám mây: Các công ty cơ sở hạ tầng kỹ thuật số tận dụng Juice để định tuyến dung lượng GPU từ các khu vực dồi dào đến các khu vực khan hiếm, tạo ra một đám mây GPU toàn cầu, có thể thay thế một cách hiệu quả.
• AI & Khoa học dữ liệu doanh nghiệp: Các công ty trong danh sách Fortune 100 trao quyền cho các nhóm khoa học dữ liệu của họ chia sẻ một nhóm GPU trung tâm, cho phép họ chạy các khối lượng công việc AI/ML một cách linh hoạt từ máy trạm hoặc máy chủ CPU của riêng họ.
• Phát triển trò chơi & VFX: Các studio như Ubisoft sử dụng Juice để kết nối các nhà phát triển với GPU từ xa, cho phép tiết kiệm chi phí lớn và các quy trình phát triển mới sáng tạo bằng cách chia sẻ tài nguyên đồ họa cao cấp.

Ưu điểm của Juice

Ưu điểm chính của Juice là sự gia tăng hiệu quả vượt trội. Bằng cách đạt được tỷ lệ sử dụng GPU vượt xa mức trung bình của ngành, nó mang lại khoản tiết kiệm chi phí đáng kể. Tính linh hoạt của nó cho phép các tổ chức điều chỉnh tài nguyên tính toán của mình một cách linh hoạt theo nhu cầu thay đổi. Khả năng biến bất kỳ nút chỉ có CPU nào thành một nút GPU ngay lập tức đã dân chủ hóa quyền truy cập vào tính toán tăng tốc. Hơn nữa, kết nối hiệu suất cao, độ trễ thấp của nó đảm bảo rằng ngay cả các khối lượng công việc đòi hỏi khắt khe nhất cũng chạy trơn tru, như đã được chứng minh bằng các bài kiểm tra hiệu năng với các mô hình như LLaMa, BERT và YOLO.

Giá cả và gói dịch vụ

Juice cung cấp một mô hình giá theo cấp để phù hợp với các nhu cầu khác nhau:

• Juice Free: $0/Tháng. Lý tưởng cho cá nhân hoặc thử nghiệm quy mô nhỏ. Bao gồm tối đa 10 giờ tổng thời gian sử dụng GPU mỗi tháng, gộp chung tối đa 3 tác nhân GPU và hỗ trợ GPU Nvidia với VRAM lên đến 40GB.
• Juice Pro: $30/Tháng. Được thiết kế cho các chuyên gia và nhóm nhỏ. Cung cấp thời gian sử dụng GPU không giới hạn mỗi tháng, gộp chung tối đa 3 tác nhân GPU và hỗ trợ GPU Nvidia với VRAM lên đến 40GB.
• Juice Enterprise: Giá tùy chỉnh. Một giải pháp phù hợp cho các tổ chức lớn. Cung cấp thời gian GPU không giới hạn, tác nhân GPU không giới hạn và hỗ trợ cho bất kỳ kích thước GPU Nvidia nào, cùng với hỗ trợ chuyên dụng và các tính năng nâng cao.