Inferable

Inferable ist eine leistungsstarke Open-Source-Entwicklerplattform, die entwickelt wurde, um die Erstellung von produktionsreifen, LLM-gestützten Anwendungen zu vereinfachen. Sie bietet die wesentliche Infrastruktur und die Primitiven zum Erstellen zuverlässiger, verteilter und sicherer KI-Agenten und Workflows. Indem Inferable die Komplexität der Zustandsverwaltung, Versionierung und Beobachtbarkeit übernimmt, ermöglicht es Entwicklern, sich auf ihre Kernanwendungslogik zu konzentrieren und dabei vertraute Programmiersprachen und Werkzeuge zu verwenden.

Die Plattform basiert auf dem Konzept der "langlebigen Workflows", d.h. langlaufende Prozesse, die für Minuten oder sogar Tage angehalten werden können, um auf menschliche Eingaben zu warten, und dann nahtlos dort fortgesetzt werden, wo sie aufgehört haben. Dies macht sie ideal für Anwendungen, die menschliche Aufsicht oder komplexe Entscheidungen erfordern. Als Open-Source- und selbst-hostbare Lösung bietet Inferable eine beispiellose Kontrolle über Daten, Sicherheit und Infrastruktur und ermöglicht es, Workflows auf Ihren eigenen Servern auszuführen, ohne interne Dienste für eingehende Verbindungen freizugeben.

Wie man Inferable verwendet

Die Verwendung von Inferable ist eine entwicklerzentrierte Erfahrung, die sich direkt in Ihre bestehende Codebasis integriert, ohne dass Sie ein neues Framework erlernen müssen. Der Prozess umfasst typischerweise:

1. Installation: Installieren Sie das Inferable SDK für Ihre bevorzugte Sprache (derzeit TypeScript/Node.js und Go).
2. Initialisierung: Konfigurieren Sie das SDK mit Ihren API-Anmeldeinformationen, um sich mit der Inferable-Kontrollebene zu verbinden (entweder die verwaltete Cloud-Version oder Ihre selbst gehostete Instanz).
3. Workflow-Definition: Definieren Sie einen Workflow mit dem SDK. Dies beinhaltet die Benennung des Workflows und die Angabe eines Eingabeschemas.
4. Versionierung: Erstellen Sie verschiedene Versionen Ihrer Workflow-Logik. Dies ermöglicht es Ihnen, Ihre Anwendung im Laufe der Zeit weiterzuentwickeln und zu verbessern, ohne laufende Ausführungen zu stören. Zum Beispiel `workflow.version(1).define(...)` und `workflow.version(2).define(...)`.
5. Logikimplementierung: Schreiben Sie innerhalb der Definition jeder Version Ihre Anwendungslogik. Verwenden Sie die LLM-Primitiven von Inferable wie `ctx.llm.structured`, um strukturierte JSON-Ausgaben von Sprachmodellen zu erhalten, und `ctx.workflow.pause` für Mensch-im-Kreis-Schritte.
6. Ausführung: Lösen Sie Ihre Workflows über einen API-Aufruf aus. Die Kontrollebene von Inferable orchestriert die Ausführung, verwaltet den Zustand und bietet Beobachtbarkeit über eine Entwicklerkonsole.

Kernfunktionen von Inferable

• Langlebige & versionierte Workflows: Erstellen Sie langlaufende Workflows, die ausfallsicher sind. Entwickeln Sie Ihre Workflows mit abwärtskompatibler Versionierung weiter und stellen Sie sicher, dass laufende Prozesse mit ihrer ursprünglichen Logik abgeschlossen werden.
• Mensch-im-Kreis (Human-in-the-Loop): Entwerfen Sie Workflows, die angehalten werden können, um auf menschliche Eingaben oder Genehmigungen zu warten, bevor sie fortfahren, und ermöglichen so eine interaktive und überwachte Automatisierung.
• Strukturierte Ausgaben: Erhalten Sie zuverlässig strukturierte JSON-Daten von jedem LLM, indem Sie ein Ausgabeschema definieren, was die Notwendigkeit für komplexes Prompt-Engineering und Parsen eliminiert.
• Verwalteter Zustand: Inferable übernimmt automatisch die gesamte Zustandsverwaltung für Ihre langlebigen Workflows, sodass Sie keine eigenen Datenbanken für diesen Zweck bereitstellen oder verwalten müssen.
• On-Premise & sichere Ausführung: Führen Sie Ihre Workflows auf Ihrer eigenen Infrastruktur aus. Die Architektur verwendet nur ausgehende Verbindungen, was die Sicherheit erhöht, da Sie keine eingehenden Ports öffnen müssen.
• Open-Source & selbst-hostbar: Die gesamte Plattform ist Open-Source und bietet volle Transparenz. Sie können Inferable selbst hosten, um die vollständige Kontrolle über Ihre Daten und Ihre Rechenumgebung zu haben.
• Entwickler-fokussierte Erfahrung: Integriert sich in bestehende Programmierprimitive und bietet SDKs für TypeScript und Go. Es enthält eine Entwicklerkonsole für End-to-End-Beobachtbarkeit und Debugging.

Anwendungsfälle für Inferable

Inferable eignet sich gut für eine Vielzahl komplexer, mehrstufiger KI-Anwendungen:

• Automatisierter Kundensupport: Erstellen Sie Agenten, die anfängliche Kundenanfragen bearbeiten, bei Bedarf an einen menschlichen Agenten eskalieren (den Workflow anhalten) und dann mit der bereitgestellten Lösung fortfahren.
• Inhaltsmoderation & -analyse: Erstellen Sie eine Pipeline, die von Benutzern erstellte Inhalte analysiert, potenziell problematische Elemente zur menschlichen Überprüfung markiert und basierend auf der Entscheidung des Prüfers Maßnahmen ergreift.
• Komplexe Datenverarbeitung: Entwickeln Sie Workflows, die Daten aus mehreren Quellen (APIs, Datenbanken) abrufen, ein LLM zur Anreicherung oder Analyse verwenden und dann die Ergebnisse zurückschreiben, mit möglichen menschlichen Validierungsschritten.
• Finanzielle Risikobewertung: Automatisieren Sie den Prozess der Erfassung von Kundendaten, führen Sie eine erste Risikoanalyse mit einem LLM durch und halten Sie dann an, damit ein Finanzanalyst das Risikoniveau genehmigen oder anpassen kann.

Vorteile von Inferable

Der Hauptvorteil von Inferable liegt in seinem Fokus auf produktionsreifer Zuverlässigkeit und Entwicklerkontrolle. Es abstrahiert die schwierigen Teile der Erstellung zustandsbehafteter LLM-Anwendungen wie Langlebigkeit, Wiederholungsversuche und Versionierung. Die Open-Source- und Selbsthosting-Optionen bieten maximale Sicherheit und Datenschutz, was für viele Unternehmen entscheidend ist. Die Verwendung vertrauter SDKs anstelle eines restriktiven neuen Frameworks senkt die Lernkurve und steigert die Entwicklerproduktivität.

Preise und Pläne

Inferable bietet ein transparentes, verbrauchsabhängiges Preismodell mit einer großzügigen kostenlosen Stufe.

• Kostenlose Stufe: 0 $/Monat. Beinhaltet 2 registrierte Workflows, 1.000 Workflow-Ausführungen, BYO-Modelle und eine maximale Parallelität von 2. Ideal zum Experimentieren und für kleine Projekte.
• Pay-as-you-go: 10 $/Monat. Beinhaltet 20 registrierte Workflows, 5.000 Workflow-Ausführungen (mit zusätzlichen Ausführungen zu 1 $ pro 1.000), BYO-Modelle, eine maximale Parallelität von 10 und priorisierten E-Mail-Support. Geeignet für wachsende Projekte.
• Enterprise: Individuelle Jahrespreise. Bietet benutzerdefinierte Bereitstellungen auf AWS, GCP oder Azure, vollständige Datenisolation, dedizierten Slack-Support und benutzerdefinierte SLAs für maximale Kontrolle und Sicherheit.