Agentary

Agentary là một framework mã nguồn mở, ưu tiên cục bộ được thiết kế để các nhà phát triển tạo và triển khai các tác nhân AI tự trị chạy hoàn toàn trong trình duyệt của người dùng. Bằng cách sử dụng các công nghệ như WebGPU và WebAssembly, Agentary đưa việc thực thi AI đến biên, loại bỏ nhu cầu về máy chủ, API dựa trên đám mây và xử lý dữ liệu bên ngoài. Cách tiếp cận này ưu tiên quyền riêng tư của người dùng, giảm độ trễ và loại bỏ chi phí vận hành, cho phép phát triển các ứng dụng web được hỗ trợ bởi AI có độ phản hồi cao và an toàn.

Cách sử dụng Agentary

Để bắt đầu với Agentary, các nhà phát triển có thể cài đặt SDK qua npm bằng lệnh npm install agentary-js. Sau khi cài đặt, hãy nhập SDK vào dự án JavaScript hoặc TypeScript của bạn. Sau đó, bạn có thể xác định mục tiêu cho tác nhân AI của mình, có thể từ một lời nhắc đơn giản đến một quy trình làm việc phức tạp gồm nhiều bước liên quan đến các công cụ khác nhau. Framework sẽ xử lý việc tải một mô hình ngôn ngữ đã được lượng tử hóa vào trình duyệt, nơi nó chạy trên WebGPU để tăng tốc hiệu suất. Tác nhân sau đó sẽ suy luận, lập kế hoạch và thực thi các tác vụ cục bộ, chẳng hạn như gọi các công cụ hoặc API tùy chỉnh, mà không có bất kỳ dữ liệu nào rời khỏi thiết bị của người dùng.

Tính năng chính của Agentary

• Thực thi Gốc trên Trình duyệt: Chạy các mô hình ngôn ngữ đã được lượng tử hóa trực tiếp trong trình duyệt bằng WebGPU hoặc WebAssembly, loại bỏ sự phụ thuộc vào máy chủ.
• Tăng tốc WebGPU: Tận dụng GPU của thiết bị để suy luận gần như thời gian thực và truyền token mượt mà, phản hồi nhanh.
• Quy trình làm việc của Tác nhân: Cho phép tạo và thực thi các quy trình làm việc của tác nhân phức tạp, nhiều bước với logic điều kiện.
• Tích hợp Công cụ & API: Cho phép các nhà phát triển đăng ký các công cụ tùy chỉnh và các hàm API mà các tác nhân AI có thể gọi và sử dụng trong quá trình thực thi.
• Hỗ trợ Đa mô hình: Hỗ trợ chạy các mô hình khác nhau trong các luồng worker riêng biệt để thực thi song song các tác vụ như trò chuyện, suy luận và lập kế hoạch.
• Chức năng Ngoại tuyến: Sau khi các mô hình được tải xuống, các tác nhân có thể hoạt động hoàn toàn ngoại tuyến, vì tất cả quá trình xử lý đều diễn ra ở phía máy khách.

Các trường hợp sử dụng Agentary

Agentary lý tưởng cho các ứng dụng mà quyền riêng tư dữ liệu, độ trễ thấp và hiệu quả chi phí là rất quan trọng. Các trường hợp sử dụng bao gồm: Người bạn đồng hành Sức khỏe & Sức khỏe Ưu tiên Quyền riêng tư phân tích dữ liệu thiết bị đeo cục bộ; Công cụ Viết sáng tạo & Lên ý tưởng hoạt động không giới hạn API đám mây; Gia sư Học tập Tương tác giữ bí mật dữ liệu của sinh viên; Hỏi đáp Tài liệu Cục bộ cho nghiên cứu bí mật; Trợ lý Email & Viết trên Thiết bị cho các giao tiếp nhạy cảm; và Chatbot Hỗ trợ Khách hàng Nhúng giúp giảm chi phí máy chủ trong khi vẫn bảo vệ quyền riêng tư của người dùng.

Ưu điểm của Agentary

Ưu điểm chính của Agentary là kiến trúc không máy chủ và ưu tiên quyền riêng tư. Bằng cách xử lý tất cả dữ liệu trên thiết bị của người dùng, nó đảm bảo rằng thông tin nhạy cảm không bao giờ bị lộ cho bên thứ ba. Điều này cũng giúp giảm đáng kể độ trễ và mang lại trải nghiệm người dùng phản hồi nhanh hơn. Hơn nữa, nó loại bỏ chi phí máy chủ, phí API và giới hạn sử dụng liên quan đến các dịch vụ AI dựa trên đám mây. Là một công cụ mã nguồn mở và miễn phí theo Giấy phép MIT, nó cung cấp cho các nhà phát triển toàn quyền kiểm soát và sự linh hoạt cho cả các dự án cá nhân và thương mại.

Giá cả và gói dịch vụ

Agentary hoàn toàn miễn phí và là mã nguồn mở, được phân phối theo Giấy phép MIT. Không có phí cấp phép, chi phí API hoặc giới hạn sử dụng, giúp nó có thể tiếp cận được cho tất cả các dự án cá nhân và thương mại.