Raven

Raven est une plateforme de surveillance de modèles d'apprentissage automatique (ML) auto-hébergée et en temps réel, conçue spécifiquement pour simplifier l'observabilité des pipelines d'IA. Elle identifie de manière proactive les problèmes tels que les baisses de confiance, les dérives de données et les pics de latence en temps réel, les empêchant d'affecter les utilisateurs finaux. Contrairement aux outils de surveillance de serveurs traditionnels, Raven se concentre spécifiquement sur les performances et le comportement des modèles ML, fournissant des informations approfondies sur leurs processus d'inférence et garantissant la confiance en production.

Comment utiliser Raven

Les utilisateurs intègrent Raven en ajoutant une seule ligne de code (à l'aide des SDK Python ou JVM) dans leur code d'inférence ML pour commencer à envoyer des journaux. Une fois intégré, les tableaux de bord en temps réel se mettent à jour avec les requêtes entrantes, permettant aux utilisateurs de surveiller des métriques clés telles que la confiance, la latence, le débit et le mélange de sortie par modèle, par minute. Lorsque des problèmes tels que la dérive des données ou la dégradation des performances sont détectés, Raven envoie des alertes instantanées via Slack ou e-mail, permettant aux équipes d'optimiser rapidement leurs modèles en fonction d'informations exploitables. La plateforme est déployée via un graphique Helm, ce qui la rend compatible avec Kubernetes et installable en quelques minutes dans votre propre environnement.

Fonctionnalités principales de Raven

• Surveillance en temps réel de la confiance, de la latence, du débit et du mélange de sortie par modèle, par minute.
• Déploiement auto-hébergé à l'aide de graphiques Helm, garantissant que les données restent dans le cluster Kubernetes de l'utilisateur.
• Détection automatisée de la dérive pour identifier les écarts par rapport au comportement attendu du modèle.
• Notifications d'alerte instantanées via Slack ou e-mail pour les problèmes détectés.
• Graphiques rapides et rétention des données historiques alimentés par ClickHouse.
• SDKs conviviaux pour les développeurs (Python et JVM) pour une intégration facile avec le code d'inférence.
• Prise en charge de différents types de bundles (Compact pour le faible trafic, Enterprise pour le trafic élevé) et de types de licence (Community, Plus, Enterprise).

Cas d'utilisation pour Raven

Raven est idéal pour toute organisation déployant des modèles ML en production, en particulier pour les applications critiques où la fiabilité et les performances du modèle sont primordiales. Cela inclut :

• Détection de Fraude : Surveillance des modèles pour s'assurer qu'ils identifient avec précision les activités frauduleuses et ne dérivent pas avec le temps.
• Moteurs de Recommandation : Suivi des performances du modèle pour maintenir des recommandations utilisateur pertinentes et efficaces.
• Applications basées sur les LLM : S'assurer que les grands modèles de langage fonctionnent comme prévu, en détectant des problèmes tels que les pics de temps de réponse ou les sorties inattendues.
• Tout scénario nécessitant une observabilité robuste et en temps réel pour les pipelines d'IA afin de prévenir les défaillances silencieuses des modèles et de maintenir la confiance des utilisateurs.

Avantages de Raven

Raven offre plusieurs avantages clés aux équipes ML :

• Conçu spécifiquement pour le ML : Spécialement conçu pour l'inférence ML, offrant des informations plus approfondies et plus pertinentes que les outils de surveillance génériques.
• Détection des Problèmes en Temps Réel : Capture instantanément les problèmes tels que la dérive des données et la dégradation des performances, avant que les utilisateurs ne soient affectés.
• Auto-hébergé et Confidentialité des Données : Maintient les données sensibles du modèle dans le propre cluster de l'utilisateur, garantissant le contrôle, la sécurité et la conformité.
• Intégration et Déploiement Faciles : Des modifications de code minimales avec les SDK et un déploiement rapide via le graphique Helm simplifient la configuration.
• Alertes Exploitables : Fournit des notifications opportunes pour permettre une optimisation rapide et la résolution des problèmes.
• Évolutivité : Offre différents bundles (Compact, Enterprise) et types de licence pour répondre à diverses charges de trafic et exigences de fonctionnalités.

Tarification et plans

Raven propose des plans tarifaires flexibles :

• Gratuit / Test : 0 $. Comprend les métriques de base et le tableau de bord, l'ingestion HTTP + ClickHouse, la détection de dérive et les alertes Slack/E-mail.
• Pro : 199 $/mois. Conçu pour les environnements prêts pour la production, avec un débit moyen. Comprend les métriques de base et le tableau de bord, l'ingestion HTTP + ClickHouse, la détection de dérive et les notifications Slack/E-mail.
• Enterprise : Bientôt disponible. Ce plan est conçu pour un débit et une échelle élevés, offrant une évolutivité infinie et toutes les fonctionnalités du type de licence Plus.