Inferable

Inferable 是一個功能強大的開源開發者平台，旨在簡化生產級、由 LLM 驅動的應用程式的創建。它為建構可靠、分散式和安全的 AI 代理及工作流程提供了必要的基礎設施和原生功能。透過處理狀態管理、版本控制和可觀測性等複雜問題，Inferable 讓開發者可以使用熟悉的程式語言和工具，專注於其核心應用邏輯。

該平台圍繞「持久化工作流程」這一概念建構，這些工作流程是長時間運行的進程，可以暫停數分鐘甚至數天以等待人類輸入，然後從中斷處無縫恢復。這使其非常適合需要人工監督或複雜決策的應用。作為一個開源和可自託管的解決方案，Inferable 提供了對資料、安全性和基礎設施無與倫比的控制，允許工作流程在您自己的伺服器上運行，而無需向外部暴露內部服務的入站連接。

如何使用 Inferable

使用 Inferable 是一種以開發者為中心的體驗，可直接整合到您現有的程式碼庫中，而無需學習新框架。該過程通常包括：

1. 安裝：為您偏好的語言（目前支援 TypeScript/Node.js 和 Go）安裝 Inferable SDK。
2. 初始化：使用您的 API 憑證配置 SDK，以連接到 Inferable 控制平面（可以是託管的雲端版本或您自託管的實例）。
3. 工作流程定義：使用 SDK 定義一個工作流程。這包括命名工作流程並指定輸入模式。
4. 版本控制：為您的工作流程邏輯創建不同版本。這使您能夠隨著時間的推移演進和改進您的應用程式，而不會中斷正在進行的執行。例如，`workflow.version(1).define(...)` 和 `workflow.version(2).define(...)`。
5. 實現邏輯：在每個版本的定義中，撰寫您的應用程式邏輯。使用 Inferable 的 LLM 原生功能，如 `ctx.llm.structured` 從語言模型獲取結構化的 JSON 輸出，以及 `ctx.workflow.pause` 用於人機協作步驟。
6. 執行：透過 API 呼叫觸發您的工作流程。Inferable 的控制平面會編排執行、管理狀態，並透過開發者控制台提供可觀測性。

Inferable 的核心功能

• 持久化和版本化的工作流程：創建能夠抵禦故障的長時間運行工作流程。透過向後相容的版本控制來演進您的工作流程，確保正在進行的進程使用其原始邏輯完成。
• 人機協作（Human-in-the-Loop）：設計可以暫停以等待人類輸入或批准，然後再繼續執行的工作流程，從而實現互動式和有監督的自動化。
• 結構化輸出：透過定義輸出模式，可靠地從任何 LLM 獲取結構化的 JSON 資料，無需進行複雜的提示工程和解析。
• 託管狀態管理：Inferable 自動處理您持久化工作流程的所有狀態管理，因此您無需為此目的配置或管理自己的資料庫。
• 本地化和安全執行：在您自己的基礎設施上運行工作流程。該架構使用僅出站連接，無需開放進站連接埠，從而增強了安全性。
• 開源和可自託管：整個平台是開源的，提供完全的透明度。您可以自託管 Inferable，以完全控制您的資料和計算環境。
• 開發者優先的體驗：與現有的程式設計原生功能整合，並提供 TypeScript 和 Go 的 SDK。它包括一個用於端對端可觀測性和偵錯的開發者控制台。

Inferable 的使用案例

Inferable 非常適合各種複雜的多步驟 AI 應用：

• 自動化客戶支援：創建代理來處理初始客戶查詢，在必要時升級給人工客服（暫停工作流程），然後根據提供的解決方案恢復執行。
• 內容審核與分析：建構一個分析使用者生成內容的流程，標記潛在問題項以供人工審查，並根據審查員的決定採取行動。
• 複雜資料處理：開發從多個來源（API、資料庫）獲取資料的工作流程，使用 LLM 對其進行豐富或分析，然後將結果寫回，並可能包含人工驗證步驟。
• 金融風險評估：自動化收集客戶財務資料、使用 LLM 進行初步風險分析，然後暫停等待金融分析師批准或調整風險等級的過程。

Inferable 的優勢特點

Inferable 的主要優勢在於其對生產級可靠性和開發者控制的關注。它抽象了建構有狀態 LLM 應用的難點，如持久性、重試和版本控制。開源和自託管選項提供了最大的安全性和資料隱私，這對許多企業至關重要。它使用熟悉的 SDK 而非限制性的新框架，降低了學習曲線並提高了開發者的生產力。

定價和計劃

Inferable 提供透明的、基於用量的定價模型，並設有慷慨的免費方案。

• 免費方案：$0/月。包括 2 個註冊工作流程、1,000 次工作流程執行、自帶模型（BYO models）和最大並發數為 2。非常適合實驗和小型專案。
• 按量付費：$10/月。包括 20 個註冊工作流程、5,000 次工作流程執行（額外執行按每 1,000 次 $1 收費）、自帶模型、最大並發數為 10 和優先郵件支援。適合成長中的專案。
• 企業版：客製化年度定價。提供在 AWS、GCP 或 Azure 上的客製化部署、完全資料隔離、專屬 Slack 支援和客製化的服務等級協議（SLA），以實現最大程度的控制和安全性。