FriendliAI

FriendliAI là một công ty cơ sở hạ tầng AI tạo sinh toàn diện, chuyên tâm làm cho việc triển khai và mở rộng các mô hình AI trở nên dễ dàng, nhanh chóng và hiệu quả về chi phí. Nền tảng này cung cấp một bộ công cụ được thiết kế để tăng tốc suy luận AI tạo sinh, cho phép các doanh nghiệp chuyển từ giai đoạn phát triển sang sản xuất một cách liền mạch. Bằng cách tận dụng các công nghệ tối ưu hóa đột phá, FriendliAI giảm đáng kể chi phí vận hành và yêu cầu phần cứng trong khi tăng cường hiệu suất. Nó hỗ trợ một hệ sinh thái rộng lớn với hơn 400.000 mô hình, bao gồm các LLM mã nguồn mở phổ biến như Llama, Mixtral và Qwen, cũng như các mô hình tùy chỉnh và đa phương thức.

Cốt lõi của FriendliAI là Friendli Suite, bao gồm ba sản phẩm chính phù hợp với các nhu cầu triển khai khác nhau: Friendli Dedicated Endpoints cho hiệu suất được đảm bảo, Friendli Serverless Endpoints cho sự linh hoạt trả theo mức sử dụng, và Friendli Container cho bảo mật tối đa trong cơ sở hạ tầng riêng của công ty. Nền tảng này được xây dựng trên các công nghệ độc quyền như Iteration Batching (Continuous Batching), các nhân GPU được tối ưu hóa và lượng tử hóa gốc, tất cả cùng nhau mang lại thông lượng và độ trễ thấp hàng đầu trong ngành.

Cách sử dụng FriendliAI

Bắt đầu với FriendliAI là một quy trình đơn giản được thiết kế cho các nhà phát triển và đội ngũ MLOps. Dưới đây là một quy trình làm việc điển hình:

1. Đăng ký và Chọn sản phẩm: Tạo một tài khoản trên Friendli Suite. Tùy thuộc vào nhu cầu của bạn, bạn có thể bắt đầu với bản dùng thử miễn phí hoặc tín dụng. Chọn giữa Dedicated Endpoints, Serverless Endpoints hoặc giải pháp Container.
2. Tạo một Endpoint mới: Trong bảng điều khiển, tạo một dự án mới và sau đó là một endpoint mới. Đặt cho nó một tên duy nhất.
3. Chọn một Mô hình: Bạn có thể triển khai các mô hình trực tiếp từ các kho lưu trữ phổ biến như Hugging Face hoặc Weights & Biases (W&B). Chỉ cần cung cấp ID Mô hình. Ngoài ra, bạn có thể tải lên mô hình được đào tạo tùy chỉnh của riêng mình.
4. Cấu hình Instance: Chọn loại instance GPU phù hợp (ví dụ: A100, H100) dựa trên kích thước mô hình và yêu cầu hiệu suất của bạn. Nền tảng cung cấp các đề xuất để ngăn chặn các vấn đề về VRAM.
5. Thiết lập Tự động co giãn: Cấu hình các tham số tự động co giãn để quản lý chi phí và hiệu suất một cách hiệu quả. Bạn có thể đặt số lượng bản sao tối thiểu và tối đa, với khả năng co giãn xuống không để loại bỏ chi phí trong thời gian không hoạt động.
6. Triển khai và Kiểm tra: Nhấp vào 'Tạo' để triển khai endpoint. Sau khi khởi tạo, bạn có thể sử dụng 'Playground' tích hợp để gửi các lời nhắc thử nghiệm và xác minh đầu ra.
7. Tích hợp với Ứng dụng của bạn: Sử dụng các khóa API và đoạn mã được cung cấp (cURL, Python) để tích hợp endpoint suy luận vào các ứng dụng, sản phẩm hoặc dịch vụ của bạn.
8. Giám sát và Tối ưu hóa: Tận dụng bảng điều khiển tích hợp để giám sát hiệu suất endpoint, xem nhật ký và phân tích các chỉ số để tối ưu hóa hơn nữa việc triển khai của bạn.

Tính năng chính của FriendliAI

• Friendli Suite: Một nền tảng tất cả trong một với ba tùy chọn triển khai: Dedicated Endpoints (tài nguyên được đảm bảo), Serverless Endpoints (trả theo mức sử dụng) và Container (tại chỗ/VPC).
• Hiệu suất đột phá: Sử dụng các công nghệ độc quyền như Iteration Batching (Continuous Batching) để đạt được thông lượng cao hơn tới 10,7 lần và độ trễ thấp hơn 6,2 lần so với các giải pháp thay thế.
• Hiệu quả chi phí: Mang lại khoản tiết kiệm chi phí từ 50-90% bằng cách yêu cầu ít hơn tới 6 lần GPU cho cùng một khối lượng công việc.
• Hỗ trợ Mô hình rộng rãi: Triển khai liền mạch hơn 400.000 mô hình từ Hugging Face, W&B, hoặc tải lên các mô hình tùy chỉnh, bao gồm cả các mô hình đa phương thức.
• Lượng tử hóa nâng cao: Hỗ trợ các kỹ thuật lượng tử hóa gốc như FP8, INT8 và AWQ để phục vụ các mô hình một cách hiệu quả mà không làm giảm độ chính xác.
• Tự động co giãn thông minh: Tự động điều chỉnh tài nguyên dựa trên nhu cầu thời gian thực, bao gồm cả việc co giãn xuống không để giảm thiểu chi phí.
• Công cụ xây dựng Tác nhân AI: Có tính năng gọi hàm không phụ thuộc vào mô hình, đầu ra có cấu trúc và tích hợp với các công cụ như tìm kiếm web và máy tính để xây dựng các tác nhân AI đáng tin cậy và phức tạp.
• Sẵn sàng cho sản xuất: Cung cấp SLA được đảm bảo, bảo mật mạnh mẽ cho việc triển khai trên đám mây hoặc tại chỗ, và các công cụ giám sát và gỡ lỗi nâng cao.

Các trường hợp sử dụng FriendliAI

FriendliAI được các công ty hàng đầu tin tưởng cho các ứng dụng AI đòi hỏi khắt khe, cấp sản xuất.

• Dịch vụ AI quy mô lớn: Các nhà cung cấp viễn thông như SKT sử dụng FriendliAI để cung cấp năng lượng cho các dịch vụ AI cho hàng triệu người dùng, đạt được thông lượng cao hơn 5 lần và tiết kiệm chi phí 3 lần.
• Chatbot lưu lượng cao: Các công ty như NextDay AI chạy các chatbot nhân vật được cá nhân hóa xử lý hơn 3 nghìn tỷ token mỗi tháng, tiết kiệm hơn 50% mức sử dụng GPU với Friendli Container.
• Ứng dụng AI doanh nghiệp: Triển khai các mô hình được tinh chỉnh cho các chức năng kinh doanh cụ thể, chẳng hạn như tìm kiếm cơ sở kiến thức nội bộ, tạo mã hoặc tự động hóa hỗ trợ khách hàng, với quyền riêng tư dữ liệu hoàn toàn bằng cách sử dụng Friendli Container.
• Đánh giá và Lựa chọn Mô hình: Sử dụng tính năng so sánh song song trong Serverless Endpoints để đánh giá và chọn mô hình hoạt động tốt nhất cho một trường hợp sử dụng cụ thể.
• Xây dựng Tác nhân AI phức tạp: Trao quyền cho các tác nhân AI bằng các công cụ bên ngoài và gọi hàm đáng tin cậy để thực hiện các tác vụ phức tạp như phân tích dữ liệu, hệ thống đặt chỗ hoặc quy trình làm việc tự động.

Ưu điểm của FriendliAI

FriendliAI cung cấp một lợi thế cạnh tranh khác biệt thông qua việc tập trung vào hiệu suất, chi phí và tính linh hoạt. Lợi thế cốt lõi của nó nằm ở công cụ suy luận độc quyền vượt trội hơn hẳn các giải pháp khác. Điều này mang lại lợi ích trực tiếp như hóa đơn điện toán đám mây thấp hơn đáng kể và khả năng phục vụ nhiều người dùng hơn với ít phần cứng hơn. Tính linh hoạt của nền tảng cho phép các doanh nghiệp chọn mô hình triển khai hoàn hảo cho nhu cầu bảo mật và mở rộng của họ, cho dù đó là API không máy chủ được quản lý hoàn toàn hay một container chạy trong đám mây riêng của họ. Sự dễ sử dụng, với việc triển khai bằng một cú nhấp chuột từ Hugging Face và các công cụ giám sát toàn diện, giúp giảm gánh nặng vận hành cho các đội ngũ kỹ thuật, cho phép họ tập trung vào việc xây dựng các sản phẩm AI sáng tạo.

Giá cả và gói dịch vụ

FriendliAI cung cấp một mô hình định giá linh hoạt, dựa trên mức sử dụng với điểm khởi đầu freemium.

• Gói Cơ bản: Bắt đầu với 5 đô la tín dụng miễn phí. Gói này là trả theo mức sử dụng và cung cấp quyền truy cập vào các tính năng cốt lõi như tự động co giãn có thể cấu hình và triển khai các mô hình tùy chỉnh.
• Gói Doanh nghiệp: Được thiết kế cho các đợt triển khai quy mô lớn, gói này bao gồm mọi thứ trong gói Cơ bản cộng với quyền truy cập ưu tiên vào các GPU có nhu cầu cao, giám sát nâng cao (Chỉ số & Nhật ký), hỗ trợ chuyên dụng và báo giá tùy chỉnh.

Giá cho Friendli Dedicated Endpoints được tính theo giờ GPU, với mức giá thay đổi theo loại GPU:

• A100 80GB: 2,9 đô la / giờ
• H100 80GB: 4,9 đô la / giờ
• H200 141GB: 5,9 đô la / giờ

Giá cho Friendli Container và Friendli Serverless Endpoints cũng có sẵn và được điều chỉnh cho phù hợp với các mô hình sử dụng cụ thể của chúng. Khách hàng doanh nghiệp có thể liên hệ với bộ phận bán hàng để có một kế hoạch giá chiết khấu tùy chỉnh.