Inferable

Inferable est une puissante plateforme de développement open-source conçue pour simplifier la création d'applications prêtes pour la production et basées sur les LLM. Elle fournit l'infrastructure et les primitives essentielles pour construire des agents et des flux de travail IA fiables, distribués et sécurisés. En gérant les complexités de la gestion d'état, du versionnage et de l'observabilité, Inferable permet aux développeurs de se concentrer sur la logique principale de leur application en utilisant des langages de programmation et des outils familiers.

La plateforme est construite autour du concept de "flux de travail durables", qui sont des processus de longue durée pouvant être mis en pause pendant des minutes ou même des jours pour attendre une entrée humaine, puis reprendre de manière transparente là où ils se sont arrêtés. Cela la rend idéale pour les applications nécessitant une supervision humaine ou une prise de décision complexe. En tant que solution open-source et auto-hébergeable, Inferable offre un contrôle inégalé sur les données, la sécurité et l'infrastructure, permettant aux flux de travail de s'exécuter sur vos propres serveurs sans exposer les services internes à des connexions entrantes.

Comment utiliser Inferable

L'utilisation d'Inferable est une expérience centrée sur le développeur qui s'intègre directement dans votre base de code existante sans nécessiter l'apprentissage d'un nouveau framework. Le processus implique généralement :

1. Installation : Installez le SDK Inferable pour votre langage préféré (actuellement TypeScript/Node.js et Go).
2. Initialisation : Configurez le SDK avec vos informations d'identification API pour vous connecter au plan de contrôle d'Inferable (soit la version cloud gérée, soit votre instance auto-hébergée).
3. Définition du flux de travail : Définissez un flux de travail à l'aide du SDK. Cela implique de nommer le flux de travail et de spécifier un schéma d'entrée.
4. Versionnage : Créez différentes versions de la logique de votre flux de travail. Cela vous permet de faire évoluer et d'améliorer votre application au fil du temps sans perturber les exécutions en cours. Par exemple, `workflow.version(1).define(...)` et `workflow.version(2).define(...)`.
5. Implémentation de la logique : Dans la définition de chaque version, écrivez la logique de votre application. Utilisez les primitives LLM d'Inferable comme `ctx.llm.structured` pour obtenir des sorties JSON structurées des modèles de langage et `ctx.workflow.pause` pour les étapes d'intervention humaine.
6. Exécution : Déclenchez vos flux de travail via un appel API. Le plan de contrôle d'Inferable orchestre l'exécution, gère l'état et fournit une observabilité via une console de développeur.

Fonctionnalités principales de Inferable

• Flux de travail durables et versionnés : Créez des flux de travail de longue durée qui sont résilients aux pannes. Faites évoluer vos flux de travail avec un versionnage rétrocompatible, garantissant que les processus en cours se terminent en utilisant leur logique d'origine.
• Intervention humaine (Human-in-the-Loop) : Concevez des flux de travail qui peuvent faire une pause pour attendre une entrée ou une approbation humaine avant de continuer, permettant une automatisation interactive et supervisée.
• Sorties structurées : Obtenez de manière fiable des données JSON structurées de n'importe quel LLM en définissant un schéma de sortie, éliminant le besoin d'ingénierie de prompt et d'analyse complexes.
• État géré : Inferable gère automatiquement toute la gestion d'état pour vos flux de travail durables, vous n'avez donc pas besoin de provisionner ou de gérer vos propres bases de données à cette fin.
• Exécution sur site et sécurisée : Exécutez vos flux de travail sur votre propre infrastructure. L'architecture utilise des connexions sortantes uniquement, ce qui renforce la sécurité en n'exigeant pas l'ouverture de ports entrants.
• Open-source et auto-hébergeable : L'ensemble de la plateforme est open-source, offrant une transparence totale. Vous pouvez auto-héberger Inferable pour un contrôle complet de vos données et de votre environnement de calcul.
• Expérience axée sur le développeur : S'intègre avec les primitives de programmation existantes et propose des SDK pour TypeScript et Go. Il comprend une console de développeur pour une observabilité et un débogage de bout en bout.

Cas d'utilisation pour Inferable

Inferable est bien adapté à une variété d'applications IA complexes et multi-étapes :

• Support client automatisé : Créez des agents qui traitent les requêtes initiales des clients, les transmettent à un agent humain si nécessaire (en mettant le flux de travail en pause), puis reprennent avec la résolution fournie.
• Modération et analyse de contenu : Construisez un pipeline qui analyse le contenu généré par les utilisateurs, signale les éléments potentiellement problématiques pour un examen humain et prend des mesures en fonction de la décision de l'examinateur.
• Traitement de données complexe : Développez des flux de travail qui récupèrent des données de plusieurs sources (API, bases de données), utilisent un LLM pour les enrichir ou les analyser, puis écrivent les résultats, avec des étapes de validation humaine potentielles.
• Évaluation des risques financiers : Automatisez le processus de collecte des données financières des clients, effectuez une première analyse des risques avec un LLM, puis faites une pause pour qu'un analyste financier approuve ou ajuste le niveau de risque.

Avantages de Inferable

Le principal avantage d'Inferable est son accent sur la fiabilité de niveau production et le contrôle du développeur. Il abstrait les parties difficiles de la création d'applications LLM avec état, telles que la durabilité, les tentatives et le versionnage. Les options open-source et d'auto-hébergement offrent une sécurité et une confidentialité des données maximales, ce qui est essentiel pour de nombreuses entreprises. Son utilisation de SDK familiers plutôt qu'un nouveau framework restrictif réduit la courbe d'apprentissage et augmente la productivité des développeurs.

Tarification et plans

Inferable propose un modèle de tarification transparent basé sur la consommation avec un généreux plan gratuit.

• Plan Gratuit : 0 $/mois. Comprend 2 flux de travail enregistrés, 1 000 exécutions de flux de travail, apportez vos propres modèles (BYO models) et une simultanéité maximale de 2. Idéal pour l'expérimentation et les petits projets.
• Paiement à l'utilisation : 10 $/mois. Comprend 20 flux de travail enregistrés, 5 000 exécutions de flux de travail incluses (avec des exécutions supplémentaires à 1 $ pour 1 000), BYO models, une simultanéité maximale de 10 et un support par e-mail prioritaire. Adapté aux projets en croissance.
• Entreprise : Tarification annuelle personnalisée. Offre des déploiements personnalisés sur AWS, GCP ou Azure, une isolation complète des données, un support Slack dédié et des SLA personnalisés pour un contrôle et une sécurité maximum.