Zep

Zep est une plateforme avancée d'ingénierie de contexte conçue pour permettre aux développeurs de créer des agents IA sophistiqués dotés d'une mémoire persistante à long terme. Allant au-delà de la simple ingénierie de prompts, Zep se concentre sur la fourniture systématique de tout le contexte nécessaire — historique de l'utilisateur, données commerciales et nuances de la conversation — à un grand modèle de langage (LLM) pour une exécution de tâches fiable et précise. L'innovation principale de la plateforme réside dans sa capacité à transformer les conversations et les données en un graphe de connaissances temporel qui évolue à chaque interaction, garantissant que les agents IA sont toujours équipés des informations les plus pertinentes et les plus à jour.

Au cœur de sa conception, Zep s'attaque à la limitation fondamentale des LLM sans état, qui manquent de mémoire des interactions passées. En créant un graphe de connaissances vivant, Zep permet aux agents de se souvenir des préférences de l'utilisateur, des conversations précédentes et du contexte commercial critique, éliminant ainsi le besoin pour les utilisateurs de se répéter et permettant des expériences véritablement personnalisées. Ceci est réalisé grâce à une combinaison d'extraction automatique d'entités, de cartographie des relations et de réconciliation des faits, ce qui maintient la base de connaissances précise et cohérente dans le temps.

Comment utiliser Zep

Zep est conçu pour une intégration transparente dans les flux de travail de développement d'IA existants, en particulier pour les développeurs utilisant des frameworks comme LangChain et LangGraph. Le démarrage est simple et peut se faire en quelques lignes de code.

1. Inscrivez-vous et obtenez des clés API : Commencez avec le niveau gratuit sur le site web de Zep pour obtenir vos identifiants API. Aucune carte de crédit n'est requise pour la configuration initiale.
2. Installez le client Zep : Intégrez la bibliothèque cliente Zep dans votre application Python.
3. Ajoutez des conversations à la mémoire : Dans le code de votre agent, utilisez un simple appel de fonction pour ajouter de nouveaux messages à la mémoire de session d'un utilisateur. Par exemple : zep.memory.add(session_id, messages). Zep traite automatiquement cette conversation, extrait les faits et les entités, et met à jour le graphe de connaissances.
4. Récupérez le contexte pertinent : Avant d'appeler votre LLM, récupérez le contexte assemblé depuis Zep. Un seul appel comme memory = zep.memory.get(session_id) fournit un bloc de contexte optimisé contenant les faits clés, les entités et les résumés pertinents pour l'interaction en cours.
5. Ingérez des données commerciales : Connectez vos sources de données commerciales (comme le CRM, les systèmes de facturation ou les bases de données de support) en ingérant des données au format JSON, texte ou messages. Zep intègre ces informations dans le graphe de connaissances, les rendant disponibles pour la récupération.

Fonctionnalités principales de Zep

• Mémoire de l'agent : Fournit aux agents une mémoire parfaite et persistante des préférences de l'utilisateur, des conversations passées et des détails clés à travers toutes les interactions, assurant la continuité de la conversation.
• Graph RAG : Un système de génération augmentée par récupération ultra-rapide basé sur un graphe de connaissances. Il comprend les relations complexes et le contexte au sein de vos données commerciales, traitant les informations dynamiques en quelques millisecondes.
• Assemblage de contexte automatisé : Construit automatiquement des blocs de contexte structurés et prêts pour les LLM. Il combine les traits de l'utilisateur, l'historique des interactions et les données commerciales dans un format efficace en jetons, éliminant le besoin de créer manuellement des prompts.
• Construction de graphe de connaissances temporel : Extrait automatiquement les entités, les relations et les faits des conversations non structurées et des données structurées. Il réconcilie les nouvelles informations avec les données existantes, invalidant même les faits obsolètes pour maintenir la précision dans le temps.
• Conformité de niveau entreprise : Offre la certification SOC 2 Type II et est conforme à la norme HIPAA, ce qui le rend adapté aux applications dans des secteurs réglementés comme la santé.

Cas d'utilisation pour Zep

Les capacités de Zep sont applicables dans divers domaines pour créer des agents IA hautement personnalisés et efficaces :

• Support client : Les agents peuvent accéder à l'historique complet des interactions d'un client, aux problèmes précédents et aux détails du compte pour fournir un support rapide, précis et personnalisé sans poser de questions répétitives.
• Ventes et marketing : Les agents commerciaux peuvent se souvenir des préférences d'un prospect, de ses intérêts pour les produits, des discussions de prix passées et des modèles d'engagement pour personnaliser la prise de contact et accélérer le cycle de vente.
• E-commerce : Personnalisez les expériences d'achat en mémorisant les préférences de style d'un utilisateur, son historique d'achat et même ses plaintes récentes (par exemple, une chaussure qui s'est cassée), permettant à l'agent de faire des recommandations très pertinentes.
• Santé : Les agents conformes à la norme HIPAA peuvent gérer en toute sécurité l'historique des interactions des patients, aidant à la planification des rendez-vous, aux suivis et à la fourniture d'informations tout en maintenant le contexte et la confidentialité.
• Éducation : Les tuteurs IA peuvent se souvenir des progrès d'apprentissage d'un étudiant, de ses difficultés et de ses styles d'apprentissage préférés pour créer des expériences éducatives adaptatives et efficaces.

Avantages de Zep

Zep offre des gains de performance et d'efficacité significatifs pour les applications IA :

• Améliorations drastiques de la précision : En fournissant le bon contexte, Zep atteint plus de 100 % d'amélioration de la précision des performances de l'agent sur des tâches complexes.
• Latence réduite : La récupération et l'assemblage de contexte optimisés entraînent une réduction de 90 % de la latence, permettant des interactions en temps réel.
• Haute efficacité des jetons : L'assemblage intelligent du contexte réduit l'utilisation des jetons jusqu'à 98 %, diminuant les coûts opérationnels tout en maintenant une compréhension complète.
• Développement rapide : Les développeurs peuvent déployer des agents personnalisés en quelques jours au lieu de mois, évitant ainsi de devoir construire des infrastructures complexes de mémoire et de récupération à partir de zéro.
• Évolutif et sécurisé : Conçu pour les équipes et éprouvé à grande échelle, Zep offre une sécurité de niveau entreprise, y compris la conformité SOC 2 et HIPAA, et des options de déploiement en cloud privé (BYOC).

Tarification et plans

Zep propose un modèle de tarification flexible basé sur l'utilisation, adapté aux projets de toutes tailles.

• Plan mesuré (Freemium) : Ce plan est parfait pour les développeurs et les applications en croissance. Il comprend un généreux niveau gratuit avec 2 500 messages et 2,5 Mo de données de graphe par mois. Après le quota gratuit, la tarification est de 1,25 $ par 1 000 messages et 2,50 $ par Mo de données de graphe.
• Plan Entreprise : Conçu pour les applications critiques, ce plan offre des limites personnalisées, la certification SOC 2 Type II, le BAA HIPAA inclus, une location unique, un support Slack dédié et des garanties de SLA.
• BYOC Entreprise (Apportez votre propre cloud) : Pour un contrôle maximal des données et de la sécurité, Zep peut être déployé dans votre propre environnement AWS, GCP ou Azure, garantissant que les données ne quittent jamais votre périmètre de sécurité.
• Crédit pour startup : Les startups financées par du capital-risque peuvent demander un crédit de 2 500 $ pour leur abonnement.