Substrate

Substrate는 지능형 에이전트 AI 소프트웨어 제작을 위해 설계된 고급 인프라 플랫폼입니다. 개발자에게 복잡한 다단계 AI 워크로드를 구축, 최적화 및 배포할 수 있는 통합되고 강력한 환경을 제공합니다. 우아한 추상화와 고성능 구성 요소를 제공함으로써 Substrate는 개발 프로세스를 단순화하여 제작자가 기본 복잡성에 얽매이지 않고 정교한 AI 시스템을 구축하는 데 집중할 수 있도록 합니다.

이 플랫폼은 엄선된 최적화된 언어 및 이미지 모델 라이브러리, 효율적인 데이터 검색을 위한 통합 벡터 데이터베이스, 동적 작업 실행을 위한 보안 코드 인터프리터, 지능형 모델 라우터를 포함한 핵심 고성능 구성 요소 세트를 기반으로 구축되었습니다. 이러한 올인원 접근 방식은 여러 이질적인 서비스를 하나로 묶을 필요를 없애고 원활한 개발자 경험을 제공합니다.

Substrate 사용 방법

Python 또는 TypeScript에 익숙한 개발자라면 Substrate를 시작하는 것이 간단합니다. 과정은 다음과 같습니다:

1. 가입 및 API 키 받기: Substrate 웹사이트에서 계정을 만들어 API 키와 50달러 상당의 무료 크레딧을 받으세요. 신용카드 없이 시작할 수 있습니다.
2. SDK 설치: Python의 경우 pip install Substrate와 같은 간단한 명령을 사용하여 개발 환경에 Substrate 라이브러리를 설치합니다.
3. 클라이언트 인스턴스화: 코드에서 API 키를 사용하여 Substrate 클라이언트를 가져오고 초기화합니다.
4. 노드 정의: '노드'를 정의하여 AI 워크플로우를 구성합니다. 각 노드는 텍스트 생성(ComputeText), 이미지 생성(GenerateImage), 벡터 데이터베이스 쿼리(QueryVectorStore)와 같은 특정 작업을 나타냅니다.
5. 워크플로우 구성: 노드를 연결하여 복잡한 다단계 로직을 만듭니다. Substrate의 API 패러다임을 사용하면 'futures' 개념을 사용하여 종속성을 관리하면서 한 노드의 출력을 다른 노드의 입력으로 원활하게 전달할 수 있습니다.
6. 실행 및 최적화: 단일 s.run() 명령으로 전체 워크플로우를 실행합니다. Substrate의 컴퓨팅 엔진은 워크플로우를 방향성 비순환 그래프(DAG)로 자동 분석하여 노드를 병합하고 네트워크 왕복을 줄여 병렬성과 효율성을 극대화하도록 최적화합니다.

Python과 TypeScript의 코드 예제는 광범위하게 문서화되어 있어 간단한 텍스트 생성 스크립트부터 정교한 다중 모드 에이전트까지 쉽게 구축할 수 있습니다.

Substrate의 핵심 기능

• 최적화된 컴퓨팅 엔진: 다단계 AI 워크로드를 그래프로 자동 분석하고 최적화하여 병렬성을 극대화하고 대기 시간을 최소화합니다.
• 모듈식 노드 기반 아키텍처: 텍스트 생성, 이미지 생성, 벡터 검색, 코드 실행과 같은 작업을 위한 모듈식 빌딩 블록(노드)을 연결하여 복잡한 시스템을 구축합니다.
• 포괄적인 모델 라이브러리: Llama 3, Mixtral, Stable Diffusion XL, CLIP 등 다양한 모달리티(텍스트, 이미지, 오디오)를 위한 광범위한 사전 최적화 모델에 액세스할 수 있습니다.
• 통합 고성능 구성 요소: 내장된 벡터 데이터베이스, 보안 코드 인터프리터, 모델 라우터를 갖추고 있으며 모두 통합 API를 통해 액세스할 수 있습니다.
• 개발자 친화적인 SDK: 우아한 디자인으로 칭찬받는 Python 및 TypeScript용 깔끔하고 직관적이며 잘 문서화된 SDK.
• 다중 모드 기능: 텍스트, 이미지, 오디오 전반의 작업을 기본적으로 지원하여 풍부하고 상호작용적인 애플리케이션을 만들 수 있습니다.
• 관리형 인프라: AI 모델 및 그 종속성을 호스팅, 확장 및 관리하는 복잡성을 추상화합니다.

Substrate의 사용 사례

Substrate는 여러 모델과 도구가 협력해야 하는 차세대 AI 애플리케이션을 구축하는 개발자에게 이상적입니다. 주요 사용 사례는 다음과 같습니다:

• AI 에이전트: 추론, 도구 사용, 데이터 상호 작용을 통해 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트 개발.
• 고급 RAG 시스템: 문서 분할, 임베딩, 벡터 검색, 텍스트 합성을 포함하는 정교한 검색 증강 생성(RAG) 파이프라인 구축.
• 다중 모드 콘텐츠 제작: 단일 워크플로우에서 텍스트 생성, 이미지 생성/편집, 오디오 합성을 결합하여 리치 미디어 제작을 자동화합니다.
• 복잡한 데이터 처리: 언어 모델과 코드 인터프리터를 조합하여 데이터를 분석하고 변환하는 워크플로우 생성.
• 지능형 애플리케이션 백엔드: 안정적이고 고성능인 백엔드로 웹 및 모바일 애플리케이션의 지능형 기능을 강화합니다.

Substrate의 장점

다른 프레임워크 및 MLOps 플랫폼과 비교할 때 Substrate는 몇 가지 주요 이점을 제공합니다:

• 놀랍도록 빠른 성능: 독특한 그래프 기반 최적화 엔진은 복합 AI 워크로드에 대해 훨씬 빠른 실행 속도를 제공합니다.
• 우수한 개발자 경험: API와 SDK는 단순성과 우아함을 염두에 두고 설계되었으며, 종종 LangChain과 같은 프레임워크보다 더 깔끔하고 덜 부풀려진 대안으로 묘사됩니다.
• 통합 플랫폼: 모델 추론, 벡터 저장, 워크플로우 조율을 단일의 통합된 플랫폼으로 통합하여 통합 오버헤드를 줄입니다.
• 원칙에 입각한 추상화: 노드 기반 패러다임은 복잡한 AI 로직을 구조화하는 명확하고 논리적인 방법을 제공하여 코드의 유지 관리성과 확장성을 높입니다.
• 비용 효율성: 종량제 가격 모델과 계산 시간을 줄이는 성능 최적화가 결합되어 전반적인 비용을 절감할 수 있습니다.

가격 및 플랜

Substrate는 모든 규모의 개인 및 기업에 적합한 유연한 가격 구조를 제공합니다:

• 스타터 플랜: 무료로 시작하며 50달러의 스타터 크레딧이 포함됩니다. 크레딧 소진 후에는 월 30달러와 사용료가 부과됩니다. 8개의 동시 노드로 제한됩니다.
• 프로 플랜: 월 500달러와 사용료. 이 플랜은 동시성 제한을 64개 노드로 늘리고 제품 로드맵에 대한 우선적인 의견을 제공합니다.
• 엔터프라이즈 플랜: 맞춤형 가격. 최대 노드 동시성, 맞춤형 모델 지원, 전용 인스턴스, 비공개 Slack 채널을 통한 프리미엄 지원을 제공합니다.
• 자체 호스팅 플랜: 자체 인프라에 Substrate를 배포하기 위한 맞춤형 가격.

사용량 기반 가격은 언어 모델(1백만 토큰당), 이미지 모델(이미지당), 오디오 모델(분/문자당), 임베딩 모델(1백만 토큰당), 벡터 저장소(GB/일당), 코드 인터프리터(세션당)에 적용됩니다.