Portkey

Portkey는 생성형 AI를 사용하여 애플리케이션을 구축하는 개발자와 팀을 위해 설계된 올인원 프로덕션 스택입니다. 포괄적인 LLMOps(대규모 언어 모델 운영) 플랫폼으로서 팀이 개발에서 프로덕션으로 원활하게 전환하는 데 필요한 필수 도구를 제공합니다. Portkey는 통합 AI 게이트웨이, 심층적인 관찰 가능성, 강력한 가드레일, 엔터프라이즈급 거버넌스 및 효율적인 프롬프트 관리와 같은 중요한 기능을 단일의 통합된 플랫폼으로 중앙 집중화합니다.

Portkey의 핵심은 다양한 제공업체의 1,600개 이상의 LLM에 액세스할 수 있는 통합 API를 제공하는 AI 게이트웨이입니다. 이 추상화 계층은 통합을 단순화하여 개발자가 코드베이스를 변경하지 않고도 모델 간에 전환할 수 있도록 합니다. 또한 대체 모델로의 자동 폴백, 여러 API 키 또는 모델에 걸친 로드 밸런싱, 실패한 요청에 대한 지능형 재시도와 같은 기능으로 애플리케이션 신뢰성을 향상시킵니다. 이를 통해 기본 모델 제공업체에 다운타임이 발생하더라도 애플리케이션이 탄력적이고 성능을 유지할 수 있습니다.

Portkey 사용 방법

Portkey를 프로젝트에 통합하는 것은 간단하고 방해받지 않도록 설계되었으며 일반적으로 몇 줄의 코드만 필요합니다.

1. 가입 및 API 키 받기: Portkey 웹사이트에서 계정을 만들어 고유한 API 키를 받으세요.
2. SDK 통합: 선호하는 언어(예: Python, Node.js)용 Portkey SDK를 설치합니다. 기존 LLM 클라이언트(예: OpenAI 클라이언트)를 Portkey 클라이언트로 교체합니다. 이는 종종 드롭인 교체입니다.
3. 모델 구성: Portkey 대시보드에서 LLM 제공업체 계정(예: OpenAI, Azure, Anthropic)을 연결하고 사용하려는 모델을 구성합니다.
4. API 호출: 코드에서 Portkey 클라이언트를 사용하여 API를 호출합니다. 이제 모든 요청은 Portkey 게이트웨이를 통해 라우팅됩니다.
5. 모니터링 및 최적화: Portkey 대시보드를 사용하여 상세한 로그를 보고, 비용 및 지연 시간을 모니터링하고, 프롬프트를 관리하고, 보안 가드레일을 설정하고, 실시간으로 성능을 분석합니다.

Portkey의 핵심 기능

• AI 게이트웨이: 1,600개 이상의 LLM을 위한 범용 API로, 자동 폴백, 로드 밸런싱, 지능형 재시도, 지연 시간 및 비용 절감을 위한 단순 및 의미론적 캐싱 기능을 갖추고 있습니다.
• 관찰 가능성: LLM 동작을 모니터링하고 사용자 또는 사용 사례별로 비용, 사용량 및 지연 시간을 추적하는 실시간 대시보드입니다. 이상을 조기에 발견하기 위한 상세한 로그, 추적 및 사용자 피드백 메커니즘을 포함합니다.
• 가드레일 및 보안: AI 출력이 안전하고 규정을 준수하도록 규칙을 구현합니다. 민감한 데이터를 자동으로 제거하는 PII 수정 및 고급 콘텐츠 조정을 위한 사용자 지정 후크와 같은 기능이 포함됩니다.
• 프롬프트 관리: 프롬프트를 API 엔드포인트로 생성, 버전 관리, 테스트 및 배포하기 위한 전용 스튜디오입니다. 이를 통해 하드코딩된 프롬프트를 제거하고 애플리케이션을 다시 배포하지 않고도 동적 업데이트가 가능합니다.
• 모델 카탈로그 및 거버넌스: 조직 전체에서 사용되는 모든 LLM을 중앙에서 관리합니다. 어떤 팀이 특정 모델에 액세스할 수 있는지 제어하고, 세분화된 예산을 설정하고, 책임감 있는 사용을 보장하고 비용 초과를 방지하기 위해 속도 제한을 적용합니다.
• 엔터프라이즈 지원: SSO(Single Sign-On), RBAC(역할 기반 액세스 제어)를 지원하며 최대의 보안 및 데이터 제어를 위해 온프레미스/사설 클라우드 배포를 제공합니다. SOC2, GDPR 및 HIPAA를 준수합니다.

Portkey의 사용 사례

Portkey는 다재다능하며 다양한 시나리오에서 가치가 있습니다.

• GenAI 애플리케이션 확장: 스타트업과 기업은 Portkey의 강력한 인프라를 활용하여 신뢰성과 확장성을 확보함으로써 시장 출시 시간을 단축할 수 있습니다.
• 비용 관리 및 최적화: 조직은 AI 지출에 대한 명확한 가시성을 확보하고, 다른 팀이나 프로젝트에 대한 예산을 설정하고, 캐싱을 사용하여 중복 API 호출을 크게 줄일 수 있습니다.
• 다중 팀 협업 및 거버넌스: 대기업은 모델 카탈로그와 RBAC를 사용하여 모든 부서에 중앙 집중식의 안전한 LLM 액세스를 제공하여 일관성과 규정 준수를 보장할 수 있습니다.
• 탄력적인 AI 서비스 구축: 개발자는 자동 폴백 및 로드 밸런싱을 구현하여 고가용성 애플리케이션을 구축하고 사용자에게 중단 없는 서비스를 보장할 수 있습니다.
• 안전하고 규정을 준수하는 AI 개발: 의료 및 금융과 같은 규제 산업의 회사는 PII 수정 및 사설 배포 옵션을 사용하여 엄격한 데이터 개인 정보 보호 요구 사항을 충족할 수 있습니다.

Portkey의 장점

Portkey는 필수적인 LLMOps 도구를 통합하여 명확한 경쟁 우위를 제공합니다. 주요 장점으로는 개발 복잡성 대폭 감소, 시장 출시 시간 단축, 운영 비용 절감 등이 있습니다. 플랫폼의 신뢰성과 확장성에 대한 집중은 애플리케이션이 문제없이 프로덕션 수준의 트래픽을 처리할 수 있도록 보장합니다. 또한 포괄적인 보안 및 거버넌스 기능은 데이터 보호 및 규정 준수를 우선시하는 기업에게 신뢰할 수 있는 선택이 되게 합니다. 핵심 게이트웨이의 오픈 소스 특성은 투명성과 커뮤니티 주도 혁신을 촉진합니다.

가격 및 플랜

Portkey는 다양한 요구에 맞는 유연한 가격 구조를 제공합니다.

• 개발자(무료): 프로토타이핑 및 평가에 이상적입니다. 월 10,000개의 기록된 로그, AI 게이트웨이, 기본 관찰 가능성 및 최대 3개의 템플릿에 대한 프롬프트 관리가 포함됩니다.
• 프로덕션($49/월): 프로덕션 환경에 애플리케이션을 배포하는 팀을 위해 설계되었습니다. 월 100,000개의 기록된 로그(추가 10만 건당 $9의 초과 요금), 알림 기능이 있는 고급 관찰 가능성, 무제한 프롬프트, RBAC 및 프로덕션 지원이 포함됩니다.
• 엔터프라이즈(맞춤 가격): 대용량 또는 복잡한 규정 준수 요구 사항이 있는 대규모 조직에 맞게 조정됩니다. 1,000만 개 이상의 로그, 맞춤형 데이터 보존, 고급 가드레일, SSO, 사설 클라우드 배포 및 전담 지원을 제공합니다.
• 오픈 소스(자체 호스팅): 사용자는 자체 인프라에 핵심 AI 게이트웨이를 무료로 배포할 수 있으며, 여기에는 범용 API, 재시도 및 기본 라우팅과 같은 기능이 포함됩니다.