Metaplane

Metaplane, qui fait maintenant partie de Datadog, est une plateforme complète d'observabilité des données conçue pour réunir l'observabilité des logiciels et des données. Elle permet aux équipes de données modernes de renforcer la confiance dans leurs données en identifiant et en résolvant de manière proactive les problèmes de qualité des données sur l'ensemble de la pile de données, de la source aux outils de BI. La plateforme utilise un apprentissage automatique avancé pour détecter les anomalies que les tests traditionnels et rigides pourraient manquer, en tenant compte de la saisonnalité et des tendances de vos données. Cela garantit que les alertes sont pertinentes et sans bruit, permettant aux équipes de se concentrer sur les vrais problèmes.

La mission principale de Metaplane est de prévenir les incidents de données silencieux — des erreurs subtiles dans les données qui peuvent passer inaperçues pendant de longues périodes, entraînant des analyses erronées et de mauvaises décisions commerciales. En offrant une visibilité à 100 % sur les pipelines de données, Metaplane aide les équipes à comprendre le flux de données, à identifier les dépendances critiques et à évaluer l'impact des changements avant leur déploiement.

Comment utiliser Metaplane

La prise en main de Metaplane est conçue pour être rapide et simple, prenant généralement moins de 15 minutes.

1. Intégrez votre pile de données : Connectez Metaplane à vos entrepôts de données (comme Snowflake, BigQuery, Redshift), vos outils de transformation (comme dbt) et vos plateformes de BI (comme Looker, Tableau, PowerBI). Le processus d'intégration est transparent et ne nécessite qu'un accès en lecture seule aux métadonnées, garantissant la sécurité de vos données sous-jacentes.
2. Configurez les moniteurs : Metaplane suggère automatiquement des moniteurs pour vos tables les plus importantes. Vous pouvez également configurer manuellement des moniteurs pour diverses métriques de qualité des données, y compris le volume, la fraîcheur, les changements de schéma, l'unicité, la nullité et les distributions statistiques. Des moniteurs SQL personnalisés sont également disponibles pour des logiques métier spécifiques.
3. Entraînement du modèle de ML : Une fois connecté, les modèles d'apprentissage automatique de Metaplane commencent à s'entraîner sur les profils de métadonnées de vos données. En seulement trois jours, le système est prêt à envoyer des alertes intelligentes et contextuelles.
4. Recevez et agissez sur les alertes : Lorsqu'une anomalie est détectée, Metaplane envoie une notification ciblée à votre canal de communication préféré (par ex. Slack, MS Teams, PagerDuty). L'alerte inclut un contexte riche, tel que la nature du problème et les impacts potentiels en aval.
5. Enquêtez et résolvez : Utilisez la lignée au niveau de la colonne de bout en bout de Metaplane pour remonter à la cause première du problème. Le graphique de lignée visualise les dépendances sur l'ensemble de votre pile, accélérant considérablement le triage et le temps de résolution.
6. Prévenez les problèmes futurs avec Data CI/CD : Intégrez Metaplane dans votre pipeline CI/CD (GitHub/GitLab). Avant de fusionner une pull request (par ex. pour un changement de modèle dbt), Metaplane exécute automatiquement des tests de régression et d'impact, prévoyant quelles tables et quels tableaux de bord en aval seront affectés. Cela empêche les problèmes de qualité des données d'atteindre la production.

Fonctionnalités principales de Metaplane

• Détection automatique d'anomalies : Des moniteurs basés sur le ML qui s'adaptent automatiquement à la saisonnalité et aux tendances pour détecter les problèmes de volume de données, de fraîcheur, de schéma, d'unicité, de nullité, etc.
• Lignée au niveau de la colonne de bout en bout : Obtenez une image complète et générée automatiquement de votre pile de données, des sources aux outils de BI, pour comprendre le flux de données et les dépendances sans configuration manuelle.
• Data CI/CD : Prévenez les problèmes de qualité des données en exécutant des tests de régression et d'impact automatisés dans les pull requests. S'intègre avec dbt Core/Cloud et GitHub/GitLab.
• Informations et analyses d'utilisation des données : Découvrez comment vos données sont utilisées, par qui, où et à quelle fréquence. Cela aide à optimiser les requêtes, à réduire la dette de données et à prioriser les actifs de données critiques.
• Alertes automatisées et configurables : Recevez des notifications ciblées et sans bruit dans des outils comme Slack, MS Teams et PagerDuty, avec le contexte nécessaire pour résoudre rapidement les problèmes.
• Suivi des changements de schéma : Soyez averti chaque fois que des bases de données, des schémas, des tables ou des colonnes sont ajoutés, renommés ou supprimés.
• Application native Snowflake : Déployez et exécutez Metaplane directement dans votre environnement Snowflake, en vous assurant que les données ne quittent jamais votre entrepôt et en vous permettant de payer avec les crédits Snowflake existants.

Cas d'utilisation pour Metaplane

Metaplane est précieux pour divers rôles et équipes au sein d'une organisation axée sur les données :

• Équipes d'ingénierie des données : Surveillez de manière proactive les pipelines de données, réduisez le temps passé à corriger les bogues de données et assurez la fiabilité de l'infrastructure de données.
• Ingénieurs en analytique : Développez et déployez en toute confiance des modèles dbt en utilisant Data CI/CD pour éviter les changements cassants sur les tableaux de bord et les analyses en aval.
• Équipes de BI et d'analyse : Établissez et maintenez la confiance avec les parties prenantes de l'entreprise en garantissant que les données alimentant les rapports et les tableaux de bord sont exactes, fraîches et fiables.
• Propriétaires de plateformes de données : Obtenez une visibilité et un contrôle complets sur la pile de données, optimisez les coûts de l'entrepôt en identifiant les actifs inutilisés et appliquez les normes de gouvernance des données.

Avantages de Metaplane

Metaplane offre plusieurs avantages clés par rapport aux solutions traditionnelles de qualité des données :

• Retour sur investissement rapide : La configuration prend quelques minutes, pas des semaines, avec des alertes exploitables générées en quelques jours.
• Tarification rentable : Un modèle flexible basé sur l'utilisation où vous ne payez que pour les tables que vous surveillez activement, qui s'adapte à vos besoins.
• Réduction de la fatigue des alertes : Des alertes intelligentes basées sur le ML qui comprennent les schémas normaux de vos données, réduisant considérablement les faux positifs.
• Observabilité holistique : Combine la surveillance, la lignée, les informations d'utilisation et le CI/CD en une seule plateforme unifiée.
• Sécurité de niveau entreprise : Conforme à la norme SOC 2 Type II et respecte des normes de confidentialité élevées comme le RGPD, le CCPA et l'HIPAA, avec une approche de métadonnées en lecture seule.

Tarification et plans

Metaplane propose une structure de tarification flexible conçue pour les équipes de toutes tailles.

• Plan gratuit : Un plan gratuit à vie qui inclut la surveillance de jusqu'à 10 tables et le support pour 4 utilisateurs. Il fournit des capacités de surveillance de base pour les petites équipes ou pour essayer la plateforme.
• Plan Pro : Un plan basé sur l'utilisation où vous payez par table surveillée. Il inclut tout ce qui se trouve dans le plan gratuit, ainsi que des fonctionnalités avancées comme la lignée au niveau de la colonne, le Data CI/CD, la surveillance des coûts et des performances, et le support pour 12 utilisateurs et des spectateurs illimités.
• Plan Entreprise : Un plan personnalisé pour les grandes organisations ayant des besoins spécifiques. Il inclut toutes les fonctionnalités du plan Pro, ainsi que des intégrations personnalisées, le SSO (Okta, SAML), le support PrivateLink et un support premium avec un CSM dédié.

De plus, les utilisateurs de l'application native Snowflake peuvent payer pour Metaplane en utilisant leurs crédits Snowflake existants, ce qui simplifie l'approvisionnement.