Elementary Data

Elementary Data est une plateforme d'observabilité des données native de dbt, axée sur les développeurs et approuvée par des milliers d'ingénieurs de données et d'analyse. Elle est conçue pour opérationnaliser la qualité des données tout au long de leur cycle de vie, de la détection à la résolution. En s'appuyant sur des agents IA, Elementary automatise les tâches manuelles, permettant aux équipes de données de se concentrer sur des activités à fort impact qui génèrent de la valeur commerciale. La plateforme s'attaque au défi critique de la qualité des données, qui est souvent le principal obstacle à la réussite de la mise en œuvre de l'IA et à l'adoption des produits de données, en veillant à ce que de mauvaises entrées ne conduisent pas à des modèles défaillants ou à des décisions non fiables.

Comment utiliser Elementary Data

La prise en main d'Elementary Data est conçue pour être rapide et transparente, en particulier pour les équipes qui utilisent déjà dbt. Le processus implique généralement :

1. Installation : Installez le package dbt open-source d'Elementary en tant que SDK dans votre projet dbt existant. Cela peut être fait en quelques minutes.
2. Configuration : Configurez vos environnements et connectez vos sources de données. Elementary ne nécessite qu'un accès en lecture aux métadonnées et aux résultats des tests, et non à vos données brutes, garantissant ainsi la sécurité et la conformité (certifié SOC-2 Type II).
3. Surveillance : Une fois configuré, Elementary commence automatiquement à surveiller vos pipelines de données. Il capture les échecs des tests dbt, détecte les anomalies dans la fraîcheur et le volume des données, et collecte des métriques de performance.
4. Alertes et Triage : Utilisez la plateforme Cloud d'Elementary pour gérer les alertes. Vous pouvez personnaliser les règles de routage pour notifier les bonnes personnes ou équipes via Slack ou d'autres canaux. La plateforme fournit un contexte, y compris la lignée et les propriétaires, pour aider à trier et résoudre les problèmes plus rapidement.
5. Exploration et Gouvernance : Utilisez le catalogue de données natif pour explorer les schémas, visualiser la lignée au niveau des colonnes et comprendre la santé des données. Les agents IA peuvent aider à la découverte de la couverture des tests et au triage automatisé.

Fonctionnalités principales de Elementary Data

• Agents IA (Ella) : Automatisez le travail manuel tel que le triage des incidents, la découverte de la couverture des tests, l'optimisation des performances et la gouvernance des données pour accroître l'efficacité.
• Tests de Qualité des Données : Gérez les tests dbt, les tests natifs d'Elementary et les tests SQL personnalisés à partir d'une seule plateforme unifiée.
• Détection Automatisée des Anomalies : Surveillez de manière proactive les données pour détecter les anomalies de fraîcheur, de volume et de schéma sans configuration manuelle.
• Lignée des Données de Bout en Bout : Visualisez la lignée au niveau des colonnes pour comprendre les dépendances des données, remonter à la source des problèmes et évaluer l'impact des changements.
• Gestion des Incidents et des Alertes : Réduisez le bruit avec des alertes simplifiées et riches en contexte. Acheminez les notifications aux bonnes parties prenantes et gérez les incidents de la détection à la résolution.
• Scores de Santé des Données : Obtenez un aperçu rapide et de haut niveau de la qualité et de la fiabilité de vos données à travers différentes dimensions de qualité.
• Surveillance des Performances et des Coûts : Identifiez et résolvez les goulots d'étranglement dans vos pipelines de données, suivez les temps d'exécution et surveillez les tendances de performance pour optimiser les coûts.
• Catalogue de Données Natif : Une alternative enrichie à dbt docs, offrant un emplacement centralisé pour la découverte de données, la gestion des métadonnées et la compréhension des actifs de données.

Cas d'utilisation pour Elementary Data

Elementary Data est polyvalent et prend en charge diverses initiatives basées sur les données. Par exemple, une entreprise comme Flock Safety a utilisé Elementary pour établir un programme pratique de gouvernance des données. En se concentrant sur la qualité et la découverte des données, ils ont instauré la confiance parmi les partenaires commerciaux et les ingénieurs d'analyse. Cela a conduit à une augmentation de la consommation de données, une meilleure collaboration et une prise de décision plus fiable. D'autres cas d'utilisation incluent :

• Prévention des Hallucinations de l'IA : Assurer des entrées de données de haute qualité pour les modèles d'IA et d'apprentissage automatique afin de prévenir les résultats erronés et de construire des systèmes fiables.
• Réduction de la Fatigue des Alertes : Les équipes de données d'entreprises comme Hippo utilisent Elementary pour filtrer le bruit et ne recevoir des alertes que pour les véritables pannes de production, éliminant ainsi le 'cauchemar' des notifications constantes et non pertinentes.
• Amélioration de la Confiance des Parties Prenantes : Fournir aux parties prenantes un aperçu quotidien clair de la santé des données, leur donnant confiance dans la qualité des données qu'elles utilisent pour leurs décisions.
• Établissement de la Confiance dans les Données : Utiliser les capacités de test, de balisage et de métadonnées d'Elementary pour créer un 'standard d'or' de confiance dans les actifs de données.

Avantages de Elementary Data

Le principal avantage d'Elementary est son intégration profonde et native avec l'écosystème dbt, ce qui en fait un choix naturel pour les équipes de données modernes. Son approche axée sur les développeurs garantit qu'il s'intègre parfaitement dans les flux de travail existants. L'utilisation d'agents IA pour l'automatisation réduit considérablement l'effort manuel et améliore l'efficacité de l'équipe. De plus, sa couverture complète de l'ensemble du cycle de vie de la qualité des données — des tests et de la surveillance à la résolution des incidents et à la gouvernance — en fait une solution tout-en-un. La plateforme est sécurisée par conception, n'accédant jamais aux données brutes, et propose à la fois une version open-source puissante et des plans cloud évolutifs pour les entreprises.

Tarification et plans

Elementary propose un modèle de tarification flexible basé sur le nombre d'utilisateurs, avec une option open-source gratuite et des plans cloud payants. Un essai gratuit de 30 jours du plan Essentials est disponible.

• Open Source (OSS) : Une version communautaire gratuite et auto-hébergée que des milliers d'équipes utilisent en production.
• Plan Starter : 650 $/mois. Comprend jusqu'à 2 utilisateurs, la détection et le triage des problèmes de données, la détection automatisée des anomalies, la lignée au niveau des colonnes et la surveillance des performances.
• Plan Essentials : 1600 $/mois. Comprend tout ce qui se trouve dans le plan Starter pour un maximum de 8 utilisateurs, ainsi que des fonctionnalités de collaboration, tous les agents IA, la gestion des incidents, la lignée de bout en bout et un support Slack dédié.
• Plan Enterprise : Tarification personnalisée. Comprend tout ce qui se trouve dans le plan Essentials avec des sièges flexibles, une sécurité de niveau entreprise (RBAC, SCIM), des options de déploiement avancées, des SLA de support premium et des intégrations avec des outils comme Jira et PagerDuty.