Not Diamond

Not Diamond는 복잡한 인공지능의 멀티 모델 미래를 탐색하는 개발자와 기업을 위해 설계된 정교한 AI 인프라 플랫폼입니다. 이는 다양한 대규모 언어 모델(LLM) 위에 위치하는 '메타 모델' 또는 지능형 라우팅 계층으로 작동합니다. Not Diamond의 핵심 사명은 팀이 단일 모델에 얽매이지 않고 여러 AI 모델의 강점을 활용할 수 있도록 하는 것입니다. 이를 통해 AI 기반 애플리케이션의 정확도를 극적으로 향상시키고 운영 비용과 지연 시간을 줄입니다.

이 플랫폼은 AI의 미래가 단일의 거대한 모델이 아니라 수천 개의 전문화된 모델로 구성된 네트워크 생태계라는 믿음에 기반을 두고 있습니다. Not Diamond는 이 생태계를 효율적으로 관리하는 데 필요한 핵심 인프라를 제공합니다. 들어오는 요청을 분석하고, 사용자가 정의한 평가 데이터와 비즈니스 로직을 기반으로 어떤 모델(예: GPT-4o, Claude 3.5 Sonnet 등)이 해당 작업에 가장 적합한지 예측적으로 결정합니다. 이 프로세스는 품질 면에서 개별 모델을 능가하면서 속도와 비용을 동시에 최적화합니다.

Not Diamond 사용 방법

Not Diamond는 기존 개발 워크플로우에 원활하게 통합되도록 설계되었습니다. 개발자는 Python SDK, TypeScript 클라이언트 또는 유연한 REST API를 통해 해당 기능에 액세스할 수 있어 거의 모든 기술 스택과 호환됩니다.

일반적인 워크플로우는 다음과 같습니다:

1. 통합: Not Diamond SDK 또는 API를 애플리케이션에 통합합니다.
2. 라우터 훈련: 자체 평가 데이터(입력 예시 및 원하는 출력 또는 품질 점수)를 제공합니다. Not Diamond는 이 데이터를 사용하여 특정 도메인, 품질 정의 및 비즈니스 요구 사항을 이해하는 맞춤형 라우터를 훈련합니다.
3. 요청 라우팅: LLM API를 직접 호출하는 대신 Not Diamond 엔드포인트로 요청을 보냅니다.
4. 추천 수신: Not Diamond의 라우터는 입력을 분석하고 60ms 이내에 해당 특정 요청에 사용할 최적의 모델에 대한 추천을 반환합니다.
5. 클라이언트 측 실행: 그런 다음 애플리케이션은 추천된 LLM의 API에 직접적인 클라이언트 측 호출을 수행합니다. Not Diamond는 프록시가 아니며 라우팅 인텔리전스만 제공하여 데이터 및 API 호출에 대한 완전한 제어를 보장합니다.

Not Diamond의 핵심 기능

• 지능형 모델 라우팅: 평가 데이터를 활용하여 각 입력에 가장 적합한 LLM을 예측적으로 선택하고 정확성, 비용 및 지연 시간의 균형을 맞춰 단일 모델을 능가합니다.
• 자동 프롬프트 조정: 한 모델(예: GPT-4o)용으로 작성된 프롬프트를 다른 대상 모델(예: Claude 3.5 Sonnet)에서 효과적으로 수행되도록 자동으로 변환하고 최적화하여 수동 프롬프트 엔지니어링 시간을 크게 절약합니다.
• 조정 가능한 트레이드오프: 품질 임계값을 설정하여 덜 중요한 작업에 대해 더 빠르고 저렴한 모델을 사용하면서도 출력 품질을 저하시키지 않도록 할 수 있습니다.
• 초고속 추론: 모델 선택 프로세스는 일반적으로 50-60ms 미만이 소요되어 오버헤드가 거의 없으며, 더 빠른 모델로 라우팅하여 순 속도 향상을 가져올 수도 있습니다.
• 엔터프라이즈급 보안: Not Diamond는 SOC-2를 준수하며 클라이언트 측 요청 실행, 제로 데이터 보존 정책, 대규모 보안을 위한 VPC 배포 지원 등 강력한 보안 기능을 제공합니다.
• 개발자 친화적인 SDK: Python 및 TypeScript를 위한 사용하기 쉬운 클라이언트와 모든 환경에 통합할 수 있는 포괄적인 REST API를 제공합니다.

Not Diamond의 사용 사례

Not Diamond는 여러 애플리케이션과 모델에 걸쳐 AI 운영을 확장하는 팀에 이상적입니다.

• 고객 지원 자동화: 간단하고 대량의 고객 문의는 빠르고 저렴한 모델로 라우팅하고, 복잡하고 미묘한 지원 요청은 더 강력하고 최첨단 모델로 보내 비용과 고객 만족도를 모두 최적화할 수 있습니다.
• 콘텐츠 생성 플랫폼: 마케팅 플랫폼은 Not Diamond를 사용하여 다양한 콘텐츠 유형에 가장 적합한 모델을 선택할 수 있습니다. 블로그 게시물에는 창의적인 모델, 소셜 미디어 업데이트에는 간결한 모델, 기술 문서에는 전문적인 모델을 사용합니다.
• 데이터 분석 및 요약: 다양한 문서를 분석하는 애플리케이션은 법률 계약 요약 요청을 강력한 추론 능력을 가진 모델로 라우팅하고, 뉴스 기사 요약 요청은 더 빠르고 범용적인 모델로 라우팅할 수 있습니다.

Not Diamond의 장점

Not Diamond와 함께 멀티 모델 전략을 채택함으로써 개발 팀은 상당한 경쟁 우위를 확보할 수 있습니다.

• 비용 절감: 저렴한 대안으로 처리할 수 있는 작업에 비싼 모델을 과도하게 사용하는 것을 피함으로써 LLM 운영 비용을 대폭 절감합니다.
• 정확성 및 품질 향상: 항상 작업에 가장 적합한 도구를 사용하고 다양한 모델의 고유한 강점을 활용하여 전반적인 출력 품질을 높입니다.
• 개발 가속화: 모델 선택 및 프롬프트 엔지니어링의 복잡성을 추상화하여 개발 주기를 근본적으로 단축합니다.
• 지연 시간 감소: 적절할 때 더 빠른 모델로 지능적으로 라우팅하여 더 빠른 응답 시간을 달성합니다.
• 미래 대비: 기존 애플리케이션 로직을 리팩토링하지 않고도 새로운 모델을 원활하게 통합하여 빠르게 발전하는 AI 환경에 쉽게 적응합니다.

가격 및 플랜

Not Diamond는 모든 규모의 팀에 맞는 계층별 가격 구조를 제공합니다.

• Discovery (무료): 월 최대 100,000건의 API 라우팅 요청, 맞춤형 라우터 1개 훈련 기능, 프롬프트 조정 지원이 포함됩니다. 개인 및 시작하는 소규모 팀에 이상적입니다.
• Possibility (월 100달러 + 사용량): Discovery 플랜의 모든 기능과 함께 무제한 API 라우팅 요청(최초 10만 건 이후 요청당 0.001달러), 무제한 맞춤형 라우터, 강화된 데이터 개인 정보 보호 기능이 포함됩니다. 성장하는 팀과 애플리케이션을 위해 설계되었습니다.
• Necessity (맞춤 가격): 대기업을 위한 맞춤형 플랜입니다. Possibility 플랜의 모든 기능과 함께 VPC 배포, 전담 통합 및 훈련 지원, 고급 액세스 및 권한 관리가 포함됩니다.