Inferable

Inferable là một nền tảng nhà phát triển mã nguồn mở mạnh mẽ được thiết kế để đơn giản hóa việc tạo ra các ứng dụng sẵn sàng cho sản xuất, được hỗ trợ bởi LLM. Nó cung cấp cơ sở hạ tầng và các nguyên tắc cơ bản cần thiết để xây dựng các agent và quy trình làm việc AI đáng tin cậy, phân tán và an toàn. Bằng cách xử lý sự phức tạp của việc quản lý trạng thái, phiên bản và khả năng quan sát, Inferable cho phép các nhà phát triển tập trung vào logic ứng dụng cốt lõi của họ bằng cách sử dụng các ngôn ngữ lập trình và công cụ quen thuộc.

Nền tảng này được xây dựng xung quanh khái niệm "quy trình làm việc bền bỉ", là các quy trình chạy dài có thể tạm dừng trong vài phút hoặc thậm chí vài ngày để chờ đợi đầu vào của con người, sau đó tiếp tục một cách liền mạch từ nơi đã dừng lại. Điều này làm cho nó trở nên lý tưởng cho các ứng dụng đòi hỏi sự giám sát của con người hoặc ra quyết định phức tạp. Là một giải pháp mã nguồn mở và có thể tự lưu trữ, Inferable cung cấp khả năng kiểm soát vô song đối với dữ liệu, bảo mật và cơ sở hạ tầng, cho phép các quy trình làm việc chạy trên máy chủ của riêng bạn mà không cần phải mở các kết nối đến cho các dịch vụ nội bộ.

Cách sử dụng Inferable

Sử dụng Inferable là một trải nghiệm tập trung vào nhà phát triển, tích hợp trực tiếp vào cơ sở mã hiện có của bạn mà không yêu cầu bạn phải học một framework mới. Quá trình này thường bao gồm:

1. Cài đặt: Cài đặt SDK Inferable cho ngôn ngữ bạn ưa thích (hiện tại là TypeScript/Node.js và Go).
2. Khởi tạo: Cấu hình SDK với thông tin xác thực API của bạn để kết nối với mặt phẳng điều khiển của Inferable (phiên bản đám mây được quản lý hoặc phiên bản tự lưu trữ của bạn).
3. Định nghĩa quy trình làm việc: Định nghĩa một quy trình làm việc bằng SDK. Điều này bao gồm việc đặt tên cho quy trình và chỉ định một lược đồ đầu vào.
4. Phiên bản hóa: Tạo các phiên bản khác nhau của logic quy trình làm việc của bạn. Điều này cho phép bạn phát triển và cải thiện ứng dụng của mình theo thời gian mà không làm gián đoạn các lần thực thi đang diễn ra. Ví dụ: `workflow.version(1).define(...)` và `workflow.version(2).define(...)`.
5. Thực hiện logic: Trong định nghĩa của mỗi phiên bản, hãy viết logic ứng dụng của bạn. Sử dụng các nguyên tắc LLM của Inferable như `ctx.llm.structured` để nhận đầu ra JSON có cấu trúc từ các mô hình ngôn ngữ và `ctx.workflow.pause` cho các bước có sự tham gia của con người.
6. Thực thi: Kích hoạt các quy trình làm việc của bạn thông qua một lệnh gọi API. Mặt phẳng điều khiển của Inferable sẽ điều phối việc thực thi, quản lý trạng thái và cung cấp khả năng quan sát thông qua một bảng điều khiển dành cho nhà phát triển.

Tính năng chính của Inferable

• Quy trình làm việc bền bỉ và có phiên bản: Tạo các quy trình làm việc chạy dài có khả năng chống chịu lỗi. Phát triển các quy trình làm việc của bạn với phiên bản tương thích ngược, đảm bảo rằng các quy trình đang diễn ra hoàn thành bằng logic ban đầu của chúng.
• Có sự tham gia của con người (Human-in-the-Loop): Thiết kế các quy trình làm việc có thể tạm dừng để chờ đợi đầu vào hoặc sự chấp thuận của con người trước khi tiếp tục, cho phép tự động hóa tương tác và có giám sát.
• Đầu ra có cấu trúc: Nhận dữ liệu JSON có cấu trúc một cách đáng tin cậy từ bất kỳ LLM nào bằng cách định nghĩa một lược đồ đầu ra, loại bỏ nhu cầu về kỹ thuật prompt và phân tích cú pháp phức tạp.
• Quản lý trạng thái: Inferable tự động xử lý tất cả việc quản lý trạng thái cho các quy trình làm việc bền bỉ của bạn, vì vậy bạn không cần phải cung cấp hoặc quản lý cơ sở dữ liệu của riêng mình cho mục đích này.
• Thực thi tại chỗ và an toàn: Chạy các quy trình làm việc của bạn trên cơ sở hạ tầng của riêng bạn. Kiến trúc sử dụng các kết nối chỉ đi ra ngoài, tăng cường bảo mật bằng cách không yêu cầu bạn mở các cổng đến.
• Mã nguồn mở và có thể tự lưu trữ: Toàn bộ nền tảng là mã nguồn mở, cung cấp sự minh bạch hoàn toàn. Bạn có thể tự lưu trữ Inferable để có toàn quyền kiểm soát dữ liệu và môi trường tính toán của mình.
• Trải nghiệm ưu tiên nhà phát triển: Tích hợp với các nguyên tắc lập trình hiện có và cung cấp SDK cho TypeScript và Go. Nó bao gồm một bảng điều khiển dành cho nhà phát triển để quan sát và gỡ lỗi từ đầu đến cuối.

Các trường hợp sử dụng Inferable

Inferable rất phù hợp cho nhiều ứng dụng AI phức tạp, nhiều bước:

• Hỗ trợ khách hàng tự động: Tạo các agent xử lý các truy vấn ban đầu của khách hàng, chuyển cho nhân viên hỗ trợ khi cần thiết (tạm dừng quy trình làm việc), sau đó tiếp tục với giải pháp được cung cấp.
• Kiểm duyệt và phân tích nội dung: Xây dựng một quy trình phân tích nội dung do người dùng tạo, gắn cờ các mục có khả năng vi phạm để con người xem xét và thực hiện hành động dựa trên quyết định của người đánh giá.
• Xử lý dữ liệu phức tạp: Phát triển các quy trình làm việc lấy dữ liệu từ nhiều nguồn (API, cơ sở dữ liệu), sử dụng LLM để làm phong phú hoặc phân tích nó, sau đó ghi lại kết quả, với các bước xác thực của con người có thể có.
• Đánh giá rủi ro tài chính: Tự động hóa quy trình thu thập dữ liệu tài chính của khách hàng, thực hiện phân tích rủi ro ban đầu bằng LLM, sau đó tạm dừng để một nhà phân tích tài chính phê duyệt hoặc điều chỉnh mức độ rủi ro.

Ưu điểm của Inferable

Ưu điểm chính của Inferable là sự tập trung vào độ tin cậy cấp sản xuất và quyền kiểm soát của nhà phát triển. Nó trừu tượng hóa các phần khó khăn của việc xây dựng các ứng dụng LLM có trạng thái, chẳng hạn như độ bền, thử lại và phiên bản. Các tùy chọn mã nguồn mở và tự lưu trữ cung cấp bảo mật và quyền riêng tư dữ liệu tối đa, điều này rất quan trọng đối với nhiều doanh nghiệp. Việc sử dụng các SDK quen thuộc thay vì một framework mới hạn chế giúp giảm đường cong học tập và tăng năng suất của nhà phát triển.

Giá cả và gói dịch vụ

Inferable cung cấp một mô hình định giá minh bạch, dựa trên mức tiêu thụ với một gói miễn phí hào phóng.

• Gói miễn phí: $0/tháng. Bao gồm 2 quy trình làm việc đã đăng ký, 1.000 lần thực thi quy trình làm việc, mang theo mô hình của riêng bạn (BYO models) và tối đa 2 luồng đồng thời. Lý tưởng cho việc thử nghiệm và các dự án nhỏ.
• Trả theo mức sử dụng: $10/tháng. Bao gồm 20 quy trình làm việc đã đăng ký, 5.000 lần thực thi quy trình làm việc (với các lần thực thi bổ sung ở mức $1 cho mỗi 1.000), BYO models, tối đa 10 luồng đồng thời và hỗ trợ qua email ưu tiên. Phù hợp cho các dự án đang phát triển.
• Doanh nghiệp: Giá hàng năm tùy chỉnh. Cung cấp các triển khai tùy chỉnh trên AWS, GCP hoặc Azure, cách ly dữ liệu hoàn toàn, hỗ trợ Slack chuyên dụng và SLA tùy chỉnh để kiểm soát và bảo mật tối đa.