Inferable

Inferable은 프로덕션 수준의 LLM 기반 애플리케이션 생성을 단순화하기 위해 설계된 강력한 오픈 소스 개발자 플랫폼입니다. 신뢰할 수 있고 분산된 보안 AI 에이전트 및 워크플로우를 구축하는 데 필수적인 인프라와 기본 요소를 제공합니다. 상태 관리, 버전 관리, 관찰 가능성과 같은 복잡성을 처리함으로써 Inferable은 개발자가 익숙한 프로그래밍 언어와 도구를 사용하여 핵심 애플리케이션 로직에 집중할 수 있도록 합니다.

이 플랫폼은 '내구성 있는 워크플로우'라는 개념을 중심으로 구축되었습니다. 이는 인간의 입력을 기다리기 위해 몇 분 또는 며칠 동안 일시 중지했다가 중단된 지점에서 원활하게 다시 시작할 수 있는 장기 실행 프로세스입니다. 이로 인해 인간의 감독이나 복잡한 의사 결정이 필요한 애플리케이션에 이상적입니다. 오픈 소스 및 자체 호스팅 솔루션인 Inferable은 데이터, 보안 및 인프라에 대한 탁월한 제어력을 제공하여 인바운드 연결을 위해 내부 서비스를 노출하지 않고도 자체 서버에서 워크플로우를 실행할 수 있게 합니다.

Inferable 사용 방법

Inferable 사용은 새로운 프레임워크를 배울 필요 없이 기존 코드베이스에 직접 통합되는 개발자 중심의 경험입니다. 프로세스는 일반적으로 다음을 포함합니다:

1. 설치: 선호하는 언어(현재 TypeScript/Node.js 및 Go 지원)용 Inferable SDK를 설치합니다.
2. 초기화: API 자격 증명으로 SDK를 구성하여 Inferable 제어 평면(관리형 클라우드 버전 또는 자체 호스팅 인스턴스)에 연결합니다.
3. 워크플로우 정의: SDK를 사용하여 워크플로우를 정의합니다. 여기에는 워크플로우 이름 지정 및 입력 스키마 지정이 포함됩니다.
4. 버전 관리: 워크플로우 로직의 다른 버전을 만듭니다. 이를 통해 진행 중인 실행을 방해하지 않고 시간이 지남에 따라 애플리케이션을 발전시키고 개선할 수 있습니다. 예: `workflow.version(1).define(...)` 및 `workflow.version(2).define(...)`.
5. 로직 구현: 각 버전의 정의 내에서 애플리케이션 로직을 작성합니다. `ctx.llm.structured`와 같은 Inferable의 LLM 기본 요소를 사용하여 언어 모델에서 구조화된 JSON 출력을 얻고, `ctx.workflow.pause`를 사용하여 인간 참여형 단계를 구현합니다.
6. 실행: API 호출을 통해 워크플로우를 트리거합니다. Inferable의 제어 평면은 실행을 조율하고 상태를 관리하며 개발자 콘솔을 통해 관찰 가능성을 제공합니다.

Inferable의 핵심 기능

• 내구성 및 버전 관리 워크플로우: 장애에 강한 장기 실행 워크플로우를 만듭니다. 하위 호환되는 버전 관리로 워크플로우를 발전시켜 진행 중인 프로세스가 원래 로직을 사용하여 완료되도록 보장합니다.
• 인간 참여형(Human-in-the-Loop): 인간의 입력이나 승인을 기다리기 위해 일시 중지한 후 계속 진행할 수 있는 워크플로우를 설계하여 대화형 및 감독 자동화를 가능하게 합니다.
• 구조화된 출력: 출력 스키마를 정의하여 모든 LLM에서 구조화된 JSON 데이터를 안정적으로 얻음으로써 복잡한 프롬프트 엔지니어링 및 파싱의 필요성을 제거합니다.
• 관리형 상태: Inferable은 내구성 있는 워크플로우에 필요한 모든 상태 관리를 자동으로 처리하므로 이 목적을 위해 자체 데이터베이스를 프로비저닝하거나 관리할 필요가 없습니다.
• 온프레미스 및 보안 실행: 자체 인프라에서 워크플로우를 실행합니다. 아키텍처는 아웃바운드 전용 연결을 사용하여 인바운드 포트를 열 필요가 없으므로 보안을 강화합니다.
• 오픈 소스 및 자체 호스팅 가능: 전체 플랫폼이 오픈 소스이므로 완전한 투명성을 제공합니다. 데이터 및 컴퓨팅 환경을 완전히 제어하기 위해 Inferable을 자체 호스팅할 수 있습니다.
• 개발자 우선 경험: 기존 프로그래밍 기본 요소와 통합되며 TypeScript 및 Go용 SDK를 제공합니다. 엔드투엔드 관찰 가능성 및 디버깅을 위한 개발자 콘솔을 포함합니다.

Inferable의 사용 사례

Inferable은 다양한 복잡한 다단계 AI 애플리케이션에 적합합니다:

• 자동화된 고객 지원: 초기 고객 문의를 처리하고, 필요할 때 인간 상담원에게 에스컬레이션(워크플로우 일시 중지)한 다음, 제공된 해결책으로 재개하는 에이전트를 만듭니다.
• 콘텐츠 검토 및 분석: 사용자 생성 콘텐츠를 분석하고, 잠재적으로 문제가 있는 항목을 인간 검토를 위해 플래그 지정하고, 검토자의 결정에 따라 조치를 취하는 파이프라인을 구축합니다.
• 복잡한 데이터 처리: 여러 소스(API, 데이터베이스)에서 데이터를 가져오고, LLM을 사용하여 데이터를 보강하거나 분석한 다음, 결과를 다시 작성하는 워크플로우를 개발하며, 잠재적인 인간 검증 단계를 포함할 수 있습니다.
• 금융 위험 평가: 고객 금융 데이터를 수집하고, LLM으로 초기 위험 분석을 수행한 다음, 금융 분석가가 위험 수준을 승인하거나 조정할 때까지 일시 중지하는 프로세스를 자동화합니다.

Inferable의 장점

Inferable의 주요 장점은 프로덕션 수준의 신뢰성과 개발자 제어에 중점을 둔다는 것입니다. 내구성, 재시도, 버전 관리와 같은 상태 저장 LLM 애플리케이션 구축의 어려운 부분을 추상화합니다. 오픈 소스 및 자체 호스팅 옵션은 많은 기업에 중요한 최대의 보안 및 데이터 프라이버시를 제공합니다. 제한적인 새 프레임워크 대신 익숙한 SDK를 사용함으로써 학습 곡선을 낮추고 개발자 생산성을 향상시킵니다.

가격 및 플랜

Inferable은 넉넉한 무료 등급을 갖춘 투명한 소비 기반 가격 모델을 제공합니다.

• 무료 등급: 월 $0. 등록된 워크플로우 2개, 워크플로우 실행 1,000회, 자체 모델 사용(BYO models), 최대 동시성 2개를 포함합니다. 실험 및 소규모 프로젝트에 이상적입니다.
• 종량제: 월 $10. 등록된 워크플로우 20개, 워크플로우 실행 5,000회 포함(추가 실행은 1,000회당 $1), 자체 모델 사용, 최대 동시성 10개, 우선 이메일 지원을 포함합니다. 성장하는 프로젝트에 적합합니다.
• 엔터프라이즈: 맞춤형 연간 가격. AWS, GCP 또는 Azure에서의 맞춤형 배포, 완전한 데이터 격리, 전용 Slack 지원 및 최대 제어 및 보안을 위한 맞춤형 SLA를 제공합니다.