Inferable

Inferableは、本番環境に対応したLLM搭載アプリケーションの作成を簡素化するために設計された、強力なオープンソースの開発者プラットフォームです。信頼性が高く、分散型で安全なAIエージェントとワークフローを構築するために不可欠なインフラストラクチャとプリミティブを提供します。状態管理、バージョン管理、可観測性といった複雑な部分を処理することで、Inferableは開発者が使い慣れたプログラミング言語とツールを使用して、コアとなるアプリケーションロジックに集中できるようにします。

このプラットフォームは「永続的ワークフロー」という概念を中心に構築されています。これは、人間の入力を待つために数分から数日間一時停止し、中断したところからシームレスに再開できる長時間実行プロセスです。これにより、人間の監督や複雑な意思決定が必要なアプリケーションに最適です。オープンソースで自己ホスト可能なソリューションであるInferableは、データ、セキュリティ、インフラストラクチャに対する比類のない制御を提供し、インバウンド接続のために内部サービスを公開することなく、独自のサーバーでワークフローを実行できます。

Inferableの使い方

Inferableの使用は、新しいフレームワークを学ぶ必要なく、既存のコードベースに直接統合できる開発者中心のエクスペリエンスです。プロセスは通常、次のようになります：

1. インストール：お好みの言語（現在TypeScript/Node.jsとGoをサポート）用のInferable SDKをインストールします。
2. 初期化：API認証情報でSDKを設定し、Inferableコントロールプレーン（マネージドクラウド版または自己ホスト型インスタンス）に接続します。
3. ワークフローの定義：SDKを使用してワークフローを定義します。これには、ワークフローの命名と入力スキーマの指定が含まれます。
4. バージョン管理：ワークフローロジックの異なるバージョンを作成します。これにより、進行中の実行を中断することなく、時間をかけてアプリケーションを進化させ、改善することができます。例：`workflow.version(1).define(...)`と`workflow.version(2).define(...)`。
5. ロジックの実装：各バージョンの定義内で、アプリケーションロジックを記述します。`ctx.llm.structured`のようなInferableのLLMプリミティブを使用して言語モデルから構造化JSON出力を取得し、`ctx.workflow.pause`を人間参加型のステップに使用します。
6. 実行：API呼び出しを介してワークフローをトリガーします。Inferableのコントロールプレーンが実行をオーケストレーションし、状態を管理し、開発者コンソールを通じて可観測性を提供します。

Inferableの主な機能

• 永続的でバージョン管理されたワークフロー：障害に強い長時間実行ワークフローを作成します。後方互換性のあるバージョン管理でワークフローを進化させ、進行中のプロセスが元のロジックを使用して完了することを保証します。
• 人間参加型（Human-in-the-Loop）：人間の入力や承認を待つために一時停止してから続行できるワークフローを設計し、インタラクティブで監視付きの自動化を可能にします。
• 構造化出力：出力スキーマを定義することで、任意のLLMから構造化JSONデータを確実に取得し、複雑なプロンプトエンジニアリングや解析の必要性を排除します。
• 管理された状態：Inferableは永続的ワークフローに必要なすべての状態管理を自動的に処理するため、この目的のために独自のデータベースをプロビジョニングまたは管理する必要はありません。
• オンプレミス＆セキュアな実行：独自のインフラストラクチャでワークフローを実行します。アーキテクチャはアウトバウンド専用接続を使用するため、インバウンドポートを開く必要がなく、セキュリティが強化されます。
• オープンソース＆自己ホスト可能：プラットフォーム全体がオープンソースであり、完全な透明性を提供します。データと計算環境を完全に制御するために、Inferableを自己ホストできます。
• 開発者第一の体験：既存のプログラミングプリミティブと統合し、TypeScriptとGo用のSDKを提供します。エンドツーエンドの可観測性とデバッグのための開発者コンソールが含まれています。

Inferableの使用例

Inferableは、さまざまな複雑な多段階AIアプリケーションに適しています：

• 自動化されたカスタマーサポート：最初の顧客の問い合わせを処理し、必要に応じて人間のエージェントにエスカレーションし（ワークフローを一時停止）、提供された解決策で再開するエージェントを作成します。
• コンテンツのモデレーションと分析：ユーザー生成コンテンツを分析し、問題の可能性のある項目を人間のレビューのためにフラグ付けし、レビュー担当者の決定に基づいてアクションを実行するパイプラインを構築します。
• 複雑なデータ処理：複数のソース（API、データベース）からデータを取得し、LLMを使用してそれをエンリッチまたは分析し、結果を書き戻すワークフローを開発します。これには、人間の検証ステップが含まれる場合があります。
• 金融リスク評価：顧客の財務データを収集し、LLMで初期リスク分析を実行し、金融アナリストがリスクレベルを承認または調整するまで一時停止するプロセスを自動化します。

Inferableの利点

Inferableの主な利点は、本番環境レベルの信頼性と開発者の制御に焦点を当てていることです。永続性、リトライ、バージョン管理など、ステートフルなLLMアプリケーションを構築する際の難しい部分を抽象化します。オープンソースと自己ホストのオプションは、多くの企業にとって不可欠な最大限のセキュリティとデータプライバシーを提供します。制限の多い新しいフレームワークではなく、使い慣れたSDKを使用することで、学習曲線を下げ、開発者の生産性を向上させます。

料金プラン

Inferableは、寛大な無料枠を備えた透明性の高い従量課金制の料金モデルを提供しています。

• 無料プラン：月額$0。登録済みワークフロー2つ、ワークフロー実行1,000回、BYOモデル、最大同時実行数2つが含まれます。実験や小規模プロジェクトに最適です。
• 従量課金プラン：月額$10。登録済みワークフロー20、ワークフロー実行5,000回（追加実行は1,000回ごとに$1）、BYOモデル、最大同時実行数10、優先メールサポートが含まれます。成長中のプロジェクトに適しています。
• エンタープライズプラン：カスタム年間価格。AWS、GCP、またはAzureでのカスタムデプロイメント、完全なデータ分離、専用のSlackサポート、および最大限の制御とセキュリティのためのカスタムSLAを提供します。