ThriftyAI

ThriftyAI는 AI API 호출 앞에 배치되는 스마트한 의미론적 두뇌 역할을 하여 유사한 요청에 대해 매번 비용을 지불하는 대신 한 번만 지불하도록 보장합니다. 이 혁신적인 접근 방식은 AI API 비용을 최대 80%까지 절감하고 캐시된 쿼리에 대해 종종 50ms 미만의 번개처럼 빠른 응답 시간을 제공할 수 있습니다. 최신 팀을 위해 구축된 ThriftyAI는 고급 캐싱 메커니즘, 엔터프라이즈급 데이터 보호 및 지능형 모니터링을 포함하여 AI 인프라를 최적화하는 포괄적인 기능 제품군을 제공합니다.

ThriftyAI 사용 방법

ThriftyAI를 애플리케이션에 통합하는 것은 간단하게 설계되었습니다. 기존 OpenAI, Anthropic 및 Google AI API를 대체하는 드롭인 방식으로 작동합니다. 일반적으로 애플리케이션 구성에서 API 호출의 기본 URL을 ThriftyAI 게이트웨이를 가리키도록 한 줄의 코드만 변경하면 됩니다. 사용자는 자체 AI 공급자 API 키(BYOK 모델)를 제공하여 완전한 제어권을 유지합니다. 사용자 지정 캐시 TTL, 대체 공급자 또는 사용자 추적과 같은 특정 기능의 경우 개발자는 API 요청에서 사용자 지정 헤더(예: `x-cache-ttl`, `x-fallback-provider`, `x-end-user-id`)를 활용할 수 있습니다. 대시보드는 캐시 관리, 웹훅 구성 및 모니터링을 위한 도구를 제공합니다.

ThriftyAI의 핵심 기능

• 의미론적 캐싱: 유사한 AI 쿼리를 지능적으로 이해하고 캐시하여 기본 AI 공급자를 다시 호출하지 않고 즉각적인 응답을 제공합니다.
• 카나리 캐싱 (Stale-While-Revalidate): 백그라운드에서 새로운 데이터를 가져오는 동안 오래된 캐시 데이터에서 즉각적인 응답을 제공하여 지연 시간 영향을 없애고 구성 가능한 TTL을 보장합니다.
• PII 마스킹: 요청이 AI 공급자에 도달하기 전에 민감한 개인 식별 정보(이메일, 신용 카드, 전화 번호)를 자동으로 감지하고 마스킹하여 데이터 개인 정보 보호 및 규정 준수(SOC 2, GDPR, HIPAA)를 보장합니다.
• 고급 안전 기능: 예산 초과를 방지하기 위한 루프 감지, 시간당 지출 한도, 사용자별 할당량 추적 및 문제 또는 한도에 접근할 때 즉각적인 이메일 알림을 포함합니다.
• 실시간 웹훅: 요청 완료, 캐시 히트/미스, 오류 및 할당량 경고와 같은 다양한 이벤트에 대한 즉각적인 알림을 제공하여 강력한 통합 및 사용자 지정 워크플로를 가능하게 합니다.
• 캐시 제어 및 무효화: 데이터 정확성 및 업데이트에 중요한 개별 캐시된 항목을 삭제하거나 한 번의 클릭으로 전체 캐시를 제거할 수 있는 완전한 제어 기능을 제공합니다.
• 자동 대체: 기본 AI 공급자가 실패할 경우 자동으로 백업 AI 공급자로 전환하도록 구성할 수 있는 메커니즘으로, 애플리케이션 복원력을 보장하고 다운타임을 방지합니다.
• 쉬운 통합: 최소한의 코드 변경으로 주요 AI API(OpenAI, Anthropic, Google AI)를 대체하는 드롭인 방식으로 작동합니다.

ThriftyAI의 사용 사례

ThriftyAI는 AI API에 크게 의존하고 성능을 최적화하고 운영 비용을 절감하며 데이터 보안을 강화하려는 모든 애플리케이션 또는 서비스에 이상적입니다. 여기에는 다음이 포함됩니다.

• 고트래픽 AI 애플리케이션: 유사한 사용자 쿼리가 대량으로 발생하는 플랫폼의 경우 API 비용을 크게 절감하고 응답 시간을 개선합니다.
• 엔터프라이즈 AI 솔루션: AI가 처리하는 민감한 고객 또는 내부 데이터에 대한 강력한 데이터 개인 정보 보호(PII 마스킹, SOC 2, GDPR, HIPAA 준수)가 필요한 회사.
• 개발자 팀 및 스타트업: AI API 사용을 관리하고, 지출을 모니터링하며, 자동 대체 및 속도 제한과 같은 기능을 통해 애플리케이션 안정성을 보장하는 쉬운 통합 솔루션을 찾고 있습니다.
• 분석 및 모니터링: 실시간 웹훅을 활용하여 AI API 사용, 캐시 성능 및 시스템 이벤트에 대한 자세한 통찰력을 얻어 사용자 지정 분석 파이프라인을 구축합니다.
• 비용에 민감한 프로젝트: 중복 API 호출을 최소화하여 AI 예산 효율성을 극대화하려는 모든 프로젝트.

ThriftyAI의 장점

ThriftyAI의 주요 장점은 AI 기반 애플리케이션에 상당한 비용 절감, 우수한 성능 및 향상된 보안을 제공하는 능력에서 비롯됩니다. 사용자는 유사한 요청을 지능적으로 캐시하여 API 비용을 최대 80%까지 절감할 수 있으므로 반복되는 쿼리에 대해 더 적은 비용을 지불합니다. 응답 시간은 캐시된 응답이 50ms 미만으로 제공되어 크게 개선되어 훨씬 더 부드럽고 빠른 사용자 경험을 제공합니다. 엔터프라이즈급 PII 마스킹 및 SOC 2 규정 준수는 민감한 데이터를 보호하여 규제 산업에 필수적입니다. 또한 자동 대체 및 지능형 모니터링과 같은 기능은 AI 인프라에 대한 신뢰성과 제어력을 높여 다운타임과 예상치 못한 비용을 최소화합니다. BYOK 모델은 사용자가 API 키 및 공급자로부터 직접 청구에 대한 완전한 제어권을 유지하도록 보장합니다.

가격 및 플랜

ThriftyAI는 투명한 가격 책정과 프리미엄 모델을 제공하여 사용자가 무료로 시작하고 필요에 따라 확장할 수 있도록 합니다. 모든 플랜에는 의미론적 캐싱, 고급 분석, 사용자 지정 캐시 TTL, 99.9% 가동 시간 SLA, 웹훅/이메일 알림, 24/7 지원, 루프 보호, 예산 보호, 스마트 대체 및 PII 마스킹이 포함됩니다.

• Hobby: 월 $0, 월 10,000개 요청 및 10초당 10개 요청의 속도 제한이 포함됩니다. 사이드 프로젝트 및 실험에 적합합니다.
• Pro: 월 $29, 월 250,000개 요청 및 10초당 100개 요청의 속도 제한(10배 빠름)이 포함됩니다. 프로덕션 앱 및 성장하는 비즈니스를 위해 설계되었습니다.
• Enterprise: 대규모 배포를 위한 사용자 지정 가격 책정, 무제한 요청 및 사용자 지정 속도 제한(10초당 최대 1000개 요청)을 제공합니다. 자세한 내용은 영업팀에 문의하십시오.