Metaplane

Metaplane, ahora parte de Datadog, es una plataforma integral de observabilidad de datos diseñada para unir la observabilidad de software y de datos. Empodera a los equipos de datos modernos para construir confianza en sus datos al identificar y resolver proactivamente problemas de calidad de datos en toda la pila de datos, desde la fuente hasta las herramientas de BI. La plataforma utiliza aprendizaje automático avanzado para detectar anomalías que las pruebas tradicionales y rígidas podrían pasar por alto, teniendo en cuenta la estacionalidad y las tendencias en sus datos. Esto asegura que las alertas sean relevantes y sin ruido, permitiendo a los equipos centrarse en problemas genuinos.

La misión principal de Metaplane es prevenir incidentes de datos silenciosos: errores sutiles en los datos que pueden pasar desapercibidos durante largos períodos, lo que lleva a análisis defectuosos y malas decisiones comerciales. Al proporcionar una visibilidad del 100% en las canalizaciones de datos, Metaplane ayuda a los equipos a comprender el flujo de datos, identificar dependencias críticas y evaluar el impacto de los cambios antes de que se implementen.

Cómo usar Metaplane

Comenzar a usar Metaplane está diseñado para ser rápido y sencillo, y generalmente toma menos de 15 minutos.

1. Integre su pila de datos: Conecte Metaplane a sus almacenes de datos (como Snowflake, BigQuery, Redshift), herramientas de transformación (como dbt) y plataformas de BI (como Looker, Tableau, PowerBI). El proceso de integración es fluido y solo requiere acceso de solo lectura a los metadatos, lo que garantiza que sus datos subyacentes permanezcan seguros.
2. Configure monitores: Metaplane sugiere automáticamente monitores para sus tablas más importantes. También puede configurar manualmente monitores para diversas métricas de calidad de datos, incluido el volumen, la frescura, los cambios de esquema, la unicidad, la nulidad y las distribuciones estadísticas. También están disponibles monitores SQL personalizados para lógicas de negocio específicas.
3. Entrenamiento del modelo de ML: Una vez conectado, los modelos de aprendizaje automático de Metaplane comienzan a entrenarse en los perfiles de metadatos de sus datos. En tan solo tres días, el sistema está listo para enviar alertas inteligentes y contextuales.
4. Reciba y actúe sobre las alertas: Cuando se detecta una anomalía, Metaplane envía una notificación dirigida a su canal de comunicación preferido (por ejemplo, Slack, MS Teams, PagerDuty). La alerta incluye un contexto rico, como la naturaleza del problema y los posibles impactos posteriores.
5. Investigue y resuelva: Utilice el linaje a nivel de columna de extremo a extremo de Metaplane para rastrear el problema hasta su causa raíz. El gráfico de linaje visualiza las dependencias en toda su pila, acelerando significativamente el tiempo de triaje y resolución.
6. Prevenga problemas futuros con Data CI/CD: Integre Metaplane en su canal de CI/CD (GitHub/GitLab). Antes de fusionar una solicitud de extracción (por ejemplo, para un cambio en el modelo dbt), Metaplane ejecuta automáticamente pruebas de regresión e impacto, pronosticando qué tablas y paneles posteriores se verán afectados. Esto evita que los problemas de calidad de datos lleguen a producción.

Características principales de Metaplane

• Detección automática de anomalías: Monitores impulsados por ML que se ajustan automáticamente a la estacionalidad y las tendencias para detectar problemas en el volumen de datos, la frescura, el esquema, la unicidad, la nulidad y más.
• Linaje a nivel de columna de extremo a extremo: Obtenga una imagen completa y generada automáticamente de su pila de datos, desde las fuentes hasta las herramientas de BI, para comprender el flujo de datos y las dependencias sin configuración manual.
• Data CI/CD: Prevenga problemas de calidad de datos ejecutando pruebas automáticas de regresión e impacto dentro de las solicitudes de extracción. Se integra con dbt Core/Cloud y GitHub/GitLab.
• Información y análisis de uso de datos: Descubra cómo se utilizan sus datos, por quién, dónde y con qué frecuencia. Esto ayuda a optimizar las consultas, reducir la deuda de datos y priorizar los activos de datos críticos.
• Alertas automatizadas y configurables: Reciba notificaciones dirigidas y sin ruido en herramientas como Slack, MS Teams y PagerDuty, con el contexto necesario para resolver problemas rápidamente.
• Seguimiento de cambios de esquema: Reciba notificaciones cada vez que se agreguen, renombren o eliminen bases de datos, esquemas, tablas o columnas.
• Aplicación nativa de Snowflake: Implemente y ejecute Metaplane directamente en su entorno de Snowflake, asegurando que los datos nunca salgan de su almacén y permitiéndole pagar con los créditos de Snowflake existentes.

Casos de uso para Metaplane

Metaplane es valioso para varios roles y equipos dentro de una organización basada en datos:

• Equipos de ingeniería de datos: Monitoree proactivamente las canalizaciones de datos, reduzca el tiempo dedicado a solucionar errores de datos y garantice la fiabilidad de la infraestructura de datos.
• Ingenieros de análisis: Desarrolle e implemente con confianza modelos de dbt utilizando Data CI/CD para evitar cambios disruptivos en los paneles y análisis posteriores.
• Equipos de BI y análisis: Construya y mantenga la confianza con las partes interesadas del negocio asegurando que los datos que alimentan los informes y paneles sean precisos, frescos y fiables.
• Propietarios de plataformas de datos: Obtenga una visibilidad y un control completos sobre la pila de datos, optimice los costos del almacén identificando activos no utilizados y aplique estándares de gobernanza de datos.

Ventajas de Metaplane

Metaplane ofrece varias ventajas clave sobre las soluciones tradicionales de calidad de datos:

• Rápido tiempo de valorización: La configuración toma minutos, no semanas, con alertas accionables generadas en días.
• Precios rentables: Un modelo flexible basado en el uso donde solo paga por las tablas que monitorea activamente, que escala con sus necesidades.
• Reducción de la fatiga por alertas: Alertas inteligentes impulsadas por ML que comprenden los patrones normales de sus datos, reduciendo significativamente los falsos positivos.
• Observabilidad holística: Combina monitoreo, linaje, información de uso y CI/CD en una única plataforma unificada.
• Seguridad de nivel empresarial: Cumple con SOC 2 Tipo II y se adhiere a altos estándares de privacidad como GDPR, CCPA e HIPAA, con un enfoque de metadatos de solo lectura.

Precios y planes

Metaplane ofrece una estructura de precios flexible diseñada para equipos de todos los tamaños.

• Plan gratuito: Un plan gratuito para siempre que incluye monitoreo para hasta 10 tablas y soporte para 4 usuarios. Proporciona capacidades de monitoreo básicas para equipos pequeños o para probar la plataforma.
• Plan Pro: Un plan basado en el uso donde paga por tabla monitoreada. Incluye todo en el plan Gratuito, además de funciones avanzadas como linaje a nivel de columna, Data CI/CD, monitoreo de costos y rendimiento, y soporte para 12 usuarios y espectadores ilimitados.
• Plan Enterprise: Un plan personalizado para grandes organizaciones con necesidades específicas. Incluye todas las funciones de Pro, además de integraciones personalizadas, SSO (Okta, SAML), soporte de PrivateLink y soporte premium con un CSM dedicado.

Además, los usuarios de la aplicación nativa de Snowflake pueden pagar Metaplane utilizando sus créditos de Snowflake existentes, simplificando la adquisición.