Inferable

Inferable 是一个功能强大的开源开发者平台，旨在简化生产级、由 LLM 驱动的应用程序的创建。它为构建可靠、分布式和安全的 AI 代理及工作流提供了必要的基础设施和原生功能。通过处理状态管理、版本控制和可观测性等复杂问题，Inferable 让开发者可以使用熟悉的编程语言和工具，专注于其核心应用逻辑。

该平台围绕“持久化工作流”这一概念构建，这些工作流是长时间运行的进程，可以暂停数分钟甚至数天以等待人类输入，然后从中断处无缝恢复。这使其非常适合需要人工监督或复杂决策的应用。作为一个开源和可自托管的解决方案，Inferable 提供了对数据、安全性和基础设施无与伦比的控制，允许工作流在您自己的服务器上运行，而无需向外部暴露内部服务的入站连接。

如何使用 Inferable

使用 Inferable 是一种以开发者为中心的体验，可直接集成到您现有的代码库中，而无需学习新框架。该过程通常包括：

1. 安装：为您偏好的语言（目前支持 TypeScript/Node.js 和 Go）安装 Inferable SDK。
2. 初始化：使用您的 API 凭据配置 SDK，以连接到 Inferable 控制平面（可以是托管的云版本或您自托管的实例）。
3. 工作流定义：使用 SDK 定义一个工作流。这包括命名工作流并指定输入模式。
4. 版本控制：为您的工作流逻辑创建不同版本。这使您能够随着时间的推移演进和改进您的应用程序，而不会中断正在进行的执行。例如，`workflow.version(1).define(...)` 和 `workflow.version(2).define(...)`。
5. 实现逻辑：在每个版本的定义中，编写您的应用程序逻辑。使用 Inferable 的 LLM 原生功能，如 `ctx.llm.structured` 从语言模型获取结构化的 JSON 输出，以及 `ctx.workflow.pause` 用于人机协作步骤。
6. 执行：通过 API 调用触发您的工作流。Inferable 的控制平面会编排执行、管理状态，并通过开发者控制台提供可观测性。

Inferable 的核心功能

• 持久化和版本化的工作流：创建能够抵御故障的长时间运行工作流。通过向后兼容的版本控制来演进您的工作流，确保正在进行的进程使用其原始逻辑完成。
• 人机协作（Human-in-the-Loop）：设计可以暂停以等待人类输入或批准，然后再继续执行的工作流，从而实现交互式和有监督的自动化。
• 结构化输出：通过定义输出模式，可靠地从任何 LLM 获取结构化的 JSON 数据，无需进行复杂的提示工程和解析。
• 托管状态管理：Inferable 自动处理您持久化工作流的所有状态管理，因此您无需为此目的配置或管理自己的数据库。
• 本地化和安全执行：在您自己的基础设施上运行工作流。该架构使用仅出站连接，无需开放入站端口，从而增强了安全性。
• 开源和可自托管：整个平台是开源的，提供完全的透明度。您可以自托管 Inferable，以完全控制您的数据和计算环境。
• 开发者优先的体验：与现有的编程原生功能集成，并提供 TypeScript 和 Go 的 SDK。它包括一个用于端到端可观测性和调试的开发者控制台。

Inferable 的使用案例

Inferable 非常适合各种复杂的多步骤 AI 应用：

• 自动化客户支持：创建代理来处理初始客户查询，在必要时升级给人工客服（暂停工作流），然后根据提供的解决方案恢复执行。
• 内容审核与分析：构建一个分析用户生成内容的流水线，标记潜在问题项以供人工审查，并根据审查员的决定采取行动。
• 复杂数据处理：开发从多个来源（API、数据库）获取数据的工作流，使用 LLM 对其进行丰富或分析，然后将结果写回，并可能包含人工验证步骤。
• 金融风险评估：自动化收集客户财务数据、使用 LLM 进行初步风险分析，然后暂停等待金融分析师批准或调整风险级别的过程。

Inferable 的优势特点

Inferable 的主要优势在于其对生产级可靠性和开发者控制的关注。它抽象了构建有状态 LLM 应用的难点，如持久性、重试和版本控制。开源和自托管选项提供了最大的安全性和数据隐私，这对许多企业至关重要。它使用熟悉的 SDK 而非限制性的新框架，降低了学习曲线并提高了开发者的生产力。

定价和计划

Inferable 提供透明的、基于用量的定价模型，并设有慷慨的免费套餐。

• 免费套餐：$0/月。包括 2 个注册工作流、1,000 次工作流执行、自带模型（BYO models）和最大并发数为 2。非常适合实验和小型项目。
• 按量付费：$10/月。包括 20 个注册工作流、5,000 次工作流执行（额外执行按每 1,000 次 $1 收费）、自带模型、最大并发数为 10 和优先邮件支持。适合成长中的项目。
• 企业版：定制年度定价。提供在 AWS、GCP 或 Azure 上的定制部署、完全数据隔离、专属 Slack 支持和定制的服务等级协议（SLA），以实现最大程度的控制和安全性。