Inferable

Inferable es una potente plataforma de código abierto para desarrolladores, diseñada para simplificar la creación de aplicaciones listas para producción e impulsadas por LLM. Proporciona la infraestructura y las primitivas esenciales para construir agentes y flujos de trabajo de IA fiables, distribuidos y seguros. Al encargarse de las complejidades de la gestión de estado, el versionado y la observabilidad, Inferable permite a los desarrolladores centrarse en la lógica principal de su aplicación utilizando lenguajes de programación y herramientas familiares.

La plataforma se basa en el concepto de "flujos de trabajo duraderos", que son procesos de larga duración que pueden pausarse durante minutos o incluso días para esperar la intervención humana, y luego reanudarse sin problemas desde donde se quedaron. Esto la hace ideal para aplicaciones que requieren supervisión humana o toma de decisiones complejas. Como solución de código abierto y autohospedable, Inferable ofrece un control sin igual sobre los datos, la seguridad y la infraestructura, permitiendo que los flujos de trabajo se ejecuten en sus propios servidores sin exponer servicios internos a conexiones entrantes.

Cómo usar Inferable

Usar Inferable es una experiencia centrada en el desarrollador que se integra directamente en su código base existente sin requerir el aprendizaje de un nuevo framework. El proceso generalmente incluye:

1. Instalación: Instale el SDK de Inferable para su lenguaje preferido (actualmente TypeScript/Node.js y Go).
2. Inicialización: Configure el SDK con sus credenciales de API para conectarse al plano de control de Inferable (ya sea la versión en la nube gestionada o su instancia autohospedada).
3. Definición del flujo de trabajo: Defina un flujo de trabajo usando el SDK. Esto implica nombrar el flujo de trabajo y especificar un esquema de entrada.
4. Versionado: Cree diferentes versiones de la lógica de su flujo de trabajo. Esto le permite evolucionar y mejorar su aplicación con el tiempo sin interrumpir las ejecuciones en curso. Por ejemplo, `workflow.version(1).define(...)` y `workflow.version(2).define(...)`.
5. Implementación de la lógica: Dentro de la definición de cada versión, escriba la lógica de su aplicación. Use las primitivas de LLM de Inferable como `ctx.llm.structured` para obtener salidas JSON estructuradas de los modelos de lenguaje y `ctx.workflow.pause` para los pasos de intervención humana.
6. Ejecución: Active sus flujos de trabajo mediante una llamada a la API. El plano de control de Inferable orquesta la ejecución, gestiona el estado y proporciona observabilidad a través de una consola para desarrolladores.

Características principales de Inferable

• Flujos de trabajo duraderos y versionados: Cree flujos de trabajo de larga duración que sean resistentes a fallos. Evolucione sus flujos de trabajo con un versionado retrocompatible, asegurando que los procesos en curso se completen utilizando su lógica original.
• Intervención humana (Human-in-the-Loop): Diseñe flujos de trabajo que puedan pausarse para esperar la entrada o aprobación humana antes de continuar, permitiendo una automatización interactiva y supervisada.
• Salidas estructuradas: Obtenga datos JSON estructurados de forma fiable de cualquier LLM definiendo un esquema de salida, eliminando la necesidad de una compleja ingeniería de prompts y análisis sintáctico.
• Estado gestionado: Inferable gestiona automáticamente todo el estado de sus flujos de trabajo duraderos, por lo que no necesita aprovisionar ni gestionar sus propias bases de datos para este propósito.
• Ejecución local y segura: Ejecute sus flujos de trabajo en su propia infraestructura. La arquitectura utiliza conexiones solo de salida, lo que mejora la seguridad al no requerir la apertura de puertos de entrada.
• Código abierto y autohospedable: Toda la plataforma es de código abierto, lo que proporciona total transparencia. Puede autohospedar Inferable para tener un control completo sobre sus datos y su entorno de computación.
• Experiencia centrada en el desarrollador: Se integra con las primitivas de programación existentes y ofrece SDK para TypeScript y Go. Incluye una consola para desarrolladores para la observabilidad y depuración de extremo a extremo.

Casos de uso para Inferable

Inferable es ideal para una variedad de aplicaciones de IA complejas y de múltiples pasos:

• Soporte al cliente automatizado: Cree agentes que manejen las consultas iniciales de los clientes, escalen a un agente humano cuando sea necesario (pausando el flujo de trabajo) y luego se reanuden con la resolución proporcionada.
• Moderación y análisis de contenido: Construya una canalización que analice el contenido generado por los usuarios, marque los elementos potencialmente problemáticos para su revisión humana y tome medidas basadas en la decisión del revisor.
• Procesamiento de datos complejo: Desarrolle flujos de trabajo que obtengan datos de múltiples fuentes (API, bases de datos), usen un LLM para enriquecerlos o analizarlos y luego escriban los resultados, con posibles pasos de validación humana.
• Evaluación de riesgos financieros: Automatice el proceso de recopilación de datos financieros de clientes, realizando un análisis de riesgo inicial con un LLM y luego pausando para que un analista financiero apruebe o ajuste el nivel de riesgo.

Ventajas de Inferable

La principal ventaja de Inferable es su enfoque en la fiabilidad a nivel de producción y el control del desarrollador. Abstrae las partes difíciles de construir aplicaciones LLM con estado, como la durabilidad, los reintentos y el versionado. Las opciones de código abierto y autohospedaje proporcionan la máxima seguridad y privacidad de los datos, lo cual es fundamental para muchas empresas. Su uso de SDK familiares en lugar de un nuevo marco restrictivo reduce la curva de aprendizaje y aumenta la productividad del desarrollador.

Precios y planes

Inferable ofrece un modelo de precios transparente basado en el consumo con un generoso plan gratuito.

• Plan Gratuito: $0/mes. Incluye 2 flujos de trabajo registrados, 1,000 ejecuciones de flujo de trabajo, traiga sus propios modelos (BYO models) y una concurrencia máxima de 2. Ideal para experimentar y proyectos pequeños.
• Pago por uso: $10/mes. Incluye 20 flujos de trabajo registrados, 5,000 ejecuciones de flujo de trabajo incluidas (con ejecuciones adicionales a $1 por cada 1,000), BYO models, una concurrencia máxima de 10 y soporte prioritario por correo electrónico. Adecuado para proyectos en crecimiento.
• Empresarial: Precios anuales personalizados. Ofrece implementaciones personalizadas en AWS, GCP o Azure, aislamiento total de datos, soporte dedicado en Slack y SLA personalizados para un control y seguridad máximos.