Not Diamond

Not Diamond est une plateforme d'infrastructure d'IA sophistiquée conçue pour les développeurs et les entreprises qui naviguent dans l'avenir complexe et multi-modèle de l'intelligence artificielle. Elle fonctionne comme un "méta-modèle" ou une couche de routage intelligente qui se superpose à divers grands modèles de langage (LLM). La mission principale de Not Diamond est de permettre aux équipes de tirer parti des forces de plusieurs modèles d'IA, plutôt que d'être enfermées dans un seul. Ce faisant, elle améliore considérablement la précision, réduit les coûts opérationnels et diminue la latence des applications basées sur l'IA.

La plateforme repose sur la conviction que l'avenir de l'IA n'est pas un modèle unique et monolithique, mais un écosystème en réseau de milliers de modèles spécialisés. Not Diamond fournit l'infrastructure essentielle pour gérer efficacement cet écosystème. Elle analyse les requêtes entrantes et, sur la base des données d'évaluation définies par l'utilisateur et de la logique métier, détermine de manière prédictive quel modèle (par exemple, GPT-4o, Claude 3.5 Sonnet, etc.) est le plus adapté à la tâche. Ce processus surpasse n'importe quel modèle individuel en termes de qualité tout en optimisant simultanément la vitesse et le coût.

Comment utiliser Not Diamond

Not Diamond est conçu pour une intégration transparente dans les flux de travail de développement existants. Les développeurs peuvent accéder à ses fonctionnalités via un SDK Python, un client TypeScript ou une API REST flexible, ce qui le rend compatible avec pratiquement n'importe quelle pile technologique.

Le flux de travail typique est le suivant :

1. Intégration : Intégrez le SDK ou l'API de Not Diamond dans votre application.
2. Entraînement du routeur : Fournissez vos propres données d'évaluation (exemples d'entrées et de sorties souhaitées ou scores de qualité). Not Diamond utilise ces données pour entraîner un routeur personnalisé qui comprend votre domaine spécifique, vos définitions de qualité et vos exigences métier.
3. Routage des requêtes : Au lieu d'appeler directement une API LLM, vous envoyez votre requête au point de terminaison de Not Diamond.
4. Réception des recommandations : Le routeur de Not Diamond analyse l'entrée et, en moins de 60 ms, renvoie une recommandation du modèle optimal à utiliser pour cette requête spécifique.
5. Exécution côté client : Votre application effectue alors un appel direct, côté client, à l'API du LLM recommandé. Not Diamond n'est pas un proxy ; il fournit uniquement l'intelligence de routage, vous assurant de conserver un contrôle total sur vos données et vos appels d'API.

Fonctionnalités principales de Not Diamond

• Routage de modèles intelligent : Exploite vos données d'évaluation pour sélectionner de manière prédictive le LLM le plus approprié pour chaque entrée, en équilibrant la précision, le coût et la latence pour surpasser n'importe quel modèle unique.
• Adaptation automatique des prompts : Traduit et optimise automatiquement un prompt écrit pour un modèle (par ex. GPT-4o) pour qu'il fonctionne efficacement sur n'importe quel autre modèle cible (par ex. Claude 3.5 Sonnet), ce qui permet d'économiser un temps considérable d'ingénierie manuelle des prompts.
• Compromis orientables : Vous permet de définir des seuils de qualité, permettant au système d'utiliser des modèles plus rapides et moins chers pour les tâches moins critiques sans compromettre la qualité du résultat.
• Inférence ultra-rapide : Le processus de sélection du modèle est incroyablement rapide, prenant généralement moins de 50 à 60 ms, ce qui signifie qu'il ajoute une surcharge négligeable et peut même entraîner des gains de vitesse nets en routant vers des modèles plus rapides.
• Sécurité de niveau entreprise : Not Diamond est conforme à la norme SOC-2 et offre des fonctionnalités de sécurité robustes, notamment l'exécution des requêtes côté client, une politique de conservation nulle des données et la prise en charge des déploiements VPC pour une sécurité maximale à grande échelle.
• SDK conviviaux pour les développeurs : Fournit des clients faciles à utiliser pour Python et TypeScript, ainsi qu'une API REST complète pour une intégration dans n'importe quel environnement.

Cas d'utilisation pour Not Diamond

Not Diamond est idéal pour les équipes qui développent leurs opérations d'IA sur plusieurs applications et modèles.

• Automatisation du support client : Une entreprise peut router les requêtes clients simples et à fort volume vers un modèle rapide et peu coûteux, tandis que les demandes de support complexes et nuancées sont envoyées à un modèle plus puissant et de pointe, optimisant ainsi à la fois les coûts et la satisfaction client.
• Plateformes de génération de contenu : Une plateforme marketing peut utiliser Not Diamond pour sélectionner le meilleur modèle pour différents types de contenu — un modèle créatif pour les articles de blog, un modèle concis pour les mises à jour sur les réseaux sociaux et un modèle technique pour la documentation.
• Analyse et résumé de données : Une application qui analyse divers documents peut router les demandes de résumé d'un contrat juridique vers un modèle doté de fortes capacités de raisonnement, tout en routant une demande de résumé d'un article de presse vers un modèle plus rapide et plus généraliste.

Avantages de Not Diamond

En adoptant une stratégie multi-modèle avec Not Diamond, les équipes de développement obtiennent des avantages concurrentiels significatifs :

• Réduction des coûts : Réduisez considérablement les coûts d'exploitation des LLM en évitant la surutilisation de modèles coûteux pour des tâches pouvant être gérées par des alternatives moins chères.
• Amélioration de la précision et de la qualité : Obtenez une qualité de sortie globale supérieure en utilisant toujours le meilleur outil pour la tâche, en tirant parti des forces uniques des différents modèles.
• Développement accéléré : Raccourcissez radicalement les cycles de développement en faisant abstraction de la complexité de la sélection des modèles et de l'ingénierie des prompts.
• Latence réduite : Obtenez des temps de réponse plus rapides en routant intelligemment vers des modèles plus rapides lorsque cela est approprié.
• À l'épreuve du futur : Adaptez-vous facilement au paysage de l'IA en évolution rapide en intégrant de manière transparente de nouveaux modèles sans avoir à remanier la logique de l'application existante.

Tarification et plans

Not Diamond propose une structure de tarification à plusieurs niveaux pour s'adapter aux équipes de toutes tailles :

• Discovery (Gratuit) : Comprend jusqu'à 100 000 requêtes de routage d'API par mois, la possibilité d'entraîner un routeur personnalisé et la prise en charge de l'adaptation des prompts. Idéal pour les particuliers et les petites équipes qui débutent.
• Possibility (100 $/mois + utilisation) : Comprend tout ce qui se trouve dans le plan Discovery, plus des requêtes de routage d'API illimitées (à 0,001 $ par requête après les 100 000 premières), des routeurs personnalisés illimités et des fonctionnalités de confidentialité des données améliorées. Conçu pour les équipes et les applications en croissance.
• Necessity (Tarification personnalisée) : Un plan sur mesure pour les grandes entreprises. Il comprend toutes les fonctionnalités du plan Possibility, ainsi que les déploiements VPC, un support d'intégration et de formation dédié, et une gestion avancée des accès et des autorisations.