Banana

Thông báo quan trọng: Nền tảng GPU không máy chủ Banana đã chính thức ngừng hoạt động vào ngày 31 tháng 3 năm 2024 và không còn là một dịch vụ đang hoạt động. Mô tả sau đây trình bày chi tiết các tính năng và chức năng của nền tảng trước khi ngừng hoạt động.

Banana là một nền tảng cơ sở hạ tầng đám mây chuyên dụng, được thiết kế để đơn giản hóa việc triển khai và mở rộng các mô hình AI cho suy luận. Nó nhắm đến các nhóm AI và nhà phát triển cần một giải pháp đáng tin cậy, thông lượng cao và tiết kiệm chi phí để chạy các khối lượng công việc sử dụng nhiều GPU mà không gặp phải sự phức tạp của việc quản lý cơ sở hạ tầng của riêng họ. Nền tảng này được xây dựng trên nguyên tắc cung cấp trải nghiệm liền mạch cho nhà phát triển, kết hợp kiến trúc không máy chủ với các tài nguyên GPU mạnh mẽ.

Cốt lõi của dịch vụ Banana là lưu trữ GPU không máy chủ, cho phép các mô hình được triển khai trong các môi trường container có thể tùy chỉnh. Điều này được cung cấp bởi Potassium, framework Python mã nguồn mở của Banana, cho phép các nhà phát triển dễ dàng đóng gói các mô hình của họ (từ các thư viện phổ biến như PyTorch, TensorFlow và Hugging Face) và chuẩn bị chúng để triển khai. Kiến trúc của nền tảng được thiết kế cho suy luận thông lượng cao, tự động quản lý tài nguyên để xử lý hiệu quả nhu cầu biến động.

Cách sử dụng Banana

Quy trình phát triển và triển khai trên Banana được thiết kế đơn giản và tích hợp với các thực tiễn phát triển tiêu chuẩn:

1. Chuẩn bị mô hình: Các nhà phát triển sẽ sử dụng framework Potassium để cấu trúc mã Python của họ. Điều này thường bao gồm một hàm `init()` để tải mô hình và các tài sản nặng khác vào bộ nhớ khi khởi động, và một hàm `handler()` để xử lý các yêu cầu suy luận đến bằng cách sử dụng mô hình đã được tải trước.
2. Container hóa: Ứng dụng, cùng với tất cả các phụ thuộc của nó (ví dụ: `torch`, `transformers`), được đóng gói vào một container Docker, đảm bảo một môi trường nhất quán và có thể tái tạo.
3. Triển khai: Các nhà phát triển có thể triển khai ứng dụng đã được container hóa của họ lên nền tảng Banana bằng Giao diện Dòng lệnh (CLI) được cung cấp hoặc thông qua tích hợp trực tiếp với GitHub cho các đường ống CI/CD. Điều này cho phép các tính năng như triển khai cuốn chiếu và môi trường thử nghiệm dựa trên nhánh.
4. Mở rộng và Suy luận: Sau khi triển khai, Banana sẽ cung cấp một điểm cuối API duy nhất cho mô hình. Bộ tự động co giãn của nền tảng sẽ tự động tăng hoặc giảm các bản sao GPU dựa trên lưu lượng yêu cầu thời gian thực, mở rộng từ con số không để xử lý các đợt tăng đột biến và thu hẹp về con số không trong thời gian không hoạt động để tiết kiệm chi phí.

Tính năng chính của Banana

• GPU tự động co giãn: Tự động điều chỉnh số lượng phiên bản GPU đang hoạt động dựa trên nhu cầu, đảm bảo hiệu suất cao trong thời gian cao điểm và giảm thiểu chi phí trong thời gian thấp điểm.
• Giá cả chuyển tiếp: Cung cấp một mô hình định giá minh bạch với một khoản phí nền tảng hàng tháng cố định cộng với giá trực tiếp, theo chi phí của thời gian tính toán GPU, không có bất kỳ khoản phụ thu nào.
• Nền tảng DevOps đầy đủ: Bao gồm các công cụ thiết yếu cho phát triển hiện đại, chẳng hạn như tích hợp GitHub, CI/CD, một CLI mạnh mẽ, triển khai cuốn chiếu, truy vết và ghi nhật ký tập trung.
• Khả năng quan sát và Phân tích: Cung cấp các bảng điều khiển tích hợp để theo dõi lưu lượng yêu cầu, độ trễ và tỷ lệ lỗi trong thời gian thực. Nó cũng cung cấp phân tích kinh doanh để theo dõi chi tiêu và việc sử dụng điểm cuối theo thời gian.
• Framework Potassium: Một framework Python mã nguồn mở giúp đơn giản hóa quá trình tạo các máy chủ mô hình được container hóa, sẵn sàng cho sản xuất.
• API tự động hóa: Một API toàn diện với các SDK cho phép quản lý và tự động hóa các triển khai và các tài nguyên nền tảng khác theo chương trình.

Các trường hợp sử dụng Banana

Banana lý tưởng cho nhiều tác vụ suy luận AI, đặc biệt là những tác vụ yêu cầu các mô hình tùy chỉnh hoặc logic xử lý chuyên biệt. Các trường hợp sử dụng phổ biến bao gồm:

• Lưu trữ các Mô hình Ngôn ngữ Lớn (LLM) đã được tinh chỉnh cho các ứng dụng chatbot tùy chỉnh hoặc tạo nội dung.
• Triển khai các mô hình tạo hình ảnh như Stable Diffusion với các bước tiền xử lý hoặc hậu xử lý tùy chỉnh.
• Phục vụ các mô hình phiên âm thanh như Whisper để xử lý thời gian thực hoặc hàng loạt.
• Chạy các mô hình thị giác máy tính để phát hiện đối tượng, phân loại hình ảnh hoặc các tác vụ phân tích khác.

Ưu điểm của Banana

Ưu điểm chính của Banana là khả năng trừu tượng hóa sự phức tạp của việc quản lý cơ sở hạ tầng GPU. Điều này cho phép các nhóm tập trung vào việc xây dựng và cải thiện các mô hình của họ thay vì vào DevOps. Mô hình tự động co giãn từ con số không và tính toán theo chi phí của nó đã làm cho nó trở thành một giải pháp rất tiết kiệm chi phí cho các khối lượng công việc có lưu lượng biến đổi. Các công cụ và tích hợp tập trung vào nhà phát triển đã hợp lý hóa toàn bộ vòng đời MLOps, từ phát triển đến triển khai và giám sát.

Giá cả và gói dịch vụ

Trước khi ngừng hoạt động, Banana cung cấp các gói sau:

• Gói Team: Có giá 1200 đô la/tháng cộng với chi phí tính toán. Gói này được thiết kế cho các nhóm nhỏ và bao gồm hỗ trợ cho 10 thành viên nhóm, 5 dự án và tối đa 50 GPU song song, cùng với các tính năng như ghi nhật ký, phân tích và các loại GPU tùy chỉnh.
• Gói Enterprise: Cung cấp giá tùy chỉnh cộng với chi phí tính toán. Nó bao gồm tất cả các tính năng của gói Team, cộng với các tính năng cấp doanh nghiệp như SAML SSO, một API tự động hóa chuyên dụng, giới hạn GPU song song cao hơn, hàng đợi suy luận có thể tùy chỉnh và hỗ trợ chuyên dụng.