Metaplane

O Metaplane, agora parte da Datadog, é uma plataforma abrangente de observabilidade de dados projetada para unir a observabilidade de software e de dados. Ele capacita equipes de dados modernas a construir confiança em seus dados, identificando e resolvendo proativamente problemas de qualidade de dados em todo o stack de dados, da fonte às ferramentas de BI. A plataforma usa aprendizado de máquina avançado para detectar anomalias que testes tradicionais e rígidos poderiam perder, levando em conta a sazonalidade e as tendências em seus dados. Isso garante que os alertas sejam relevantes e sem ruído, permitindo que as equipes se concentrem em problemas genuínos.

A missão principal do Metaplane é prevenir incidentes de dados silenciosos — erros sutis nos dados que podem passar despercebidos por longos períodos, levando a análises falhas e más decisões de negócios. Ao fornecer 100% de visibilidade nos pipelines de dados, o Metaplane ajuda as equipes a entender o fluxo de dados, identificar dependências críticas e avaliar o impacto das mudanças antes que sejam implantadas.

Como usar o Metaplane

Começar a usar o Metaplane é projetado para ser rápido e direto, geralmente levando menos de 15 minutos.

1. Integre seu Stack de Dados: Conecte o Metaplane aos seus data warehouses (como Snowflake, BigQuery, Redshift), ferramentas de transformação (como dbt) e plataformas de BI (como Looker, Tableau, PowerBI). O processo de integração é contínuo e requer apenas acesso de leitura aos metadados, garantindo que seus dados subjacentes permaneçam seguros.
2. Configure Monitores: O Metaplane sugere automaticamente monitores para suas tabelas mais importantes. Você também pode configurar manualmente monitores para várias métricas de qualidade de dados, incluindo volume, atualização, alterações de esquema, unicidade, nulidade e distribuições estatísticas. Monitores SQL personalizados também estão disponíveis para lógicas de negócios específicas.
3. Treinamento do Modelo de ML: Uma vez conectado, os modelos de aprendizado de máquina do Metaplane começam a treinar nos perfis de metadados de seus dados. Em apenas três dias, o sistema está pronto para enviar alertas inteligentes e contextuais.
4. Receba e Aja sobre os Alertas: Quando uma anomalia é detectada, o Metaplane envia uma notificação direcionada para seu canal de comunicação preferido (por exemplo, Slack, MS Teams, PagerDuty). O alerta inclui um contexto rico, como a natureza do problema e os possíveis impactos a jusante.
5. Investigue e Resolva: Use a linhagem de nível de coluna de ponta a ponta do Metaplane para rastrear o problema até sua causa raiz. O gráfico de linhagem visualiza as dependências em todo o seu stack, acelerando significativamente o tempo de triagem e resolução.
6. Previna Problemas Futuros com Data CI/CD: Integre o Metaplane em seu pipeline de CI/CD (GitHub/GitLab). Antes de mesclar um pull request (por exemplo, para uma alteração no modelo dbt), o Metaplane executa automaticamente testes de regressão e impacto, prevendo quais tabelas e painéis a jusante serão afetados. Isso impede que problemas de qualidade de dados cheguem à produção.

Recursos principais do Metaplane

• Detecção Automática de Anomalias: Monitores alimentados por ML que se ajustam automaticamente à sazonalidade e tendências para detectar problemas de volume, atualização, esquema, unicidade, nulidade e muito mais.
• Linhagem de Nível de Coluna de Ponta a Ponta: Obtenha uma imagem completa e gerada automaticamente do seu stack de dados, das fontes às ferramentas de BI, para entender o fluxo de dados e as dependências sem configuração manual.
• Data CI/CD: Previna problemas de qualidade de dados executando testes automáticos de regressão e impacto em pull requests. Integra-se com dbt Core/Cloud e GitHub/GitLab.
• Insights de Dados e Análise de Uso: Descubra como seus dados estão sendo usados, por quem, onde e com que frequência. Isso ajuda a otimizar consultas, reduzir a dívida de dados e priorizar ativos de dados críticos.
• Alertas Automatizados e Configuráveis: Receba notificações direcionadas e sem ruído em ferramentas como Slack, MS Teams e PagerDuty, com o contexto necessário para resolver problemas rapidamente.
• Rastreamento de Alterações de Esquema: Seja notificado sempre que bancos de dados, esquemas, tabelas ou colunas forem adicionados, renomeados ou removidos.
• Aplicativo Nativo do Snowflake: Implante e execute o Metaplane diretamente em seu ambiente Snowflake, garantindo que os dados nunca saiam do seu warehouse e permitindo que você pague com os créditos Snowflake existentes.

Casos de uso para o Metaplane

O Metaplane é valioso para várias funções e equipes dentro de uma organização orientada a dados:

• Equipes de Engenharia de Dados: Monitore proativamente os pipelines de dados, reduza o tempo gasto combatendo bugs de dados e garanta a confiabilidade da infraestrutura de dados.
• Engenheiros de Análise: Desenvolva e implante com confiança modelos dbt usando Data CI/CD para evitar alterações que quebrem painéis e análises a jusante.
• Equipes de BI e Análise: Construa e mantenha a confiança com as partes interessadas do negócio, garantindo que os dados que alimentam relatórios e painéis sejam precisos, atualizados e confiáveis.
• Proprietários de Plataformas de Dados: Obtenha visibilidade e controle total sobre o stack de dados, otimize os custos do warehouse identificando ativos não utilizados e aplique padrões de governança de dados.

Vantagens do Metaplane

O Metaplane oferece várias vantagens importantes em relação às soluções tradicionais de qualidade de dados:

• Rápido Retorno sobre o Investimento: A configuração leva minutos, não semanas, com alertas acionáveis gerados em dias.
• Preços Custo-Benefício: Um modelo flexível baseado no uso, onde você paga apenas pelas tabelas que monitora ativamente, que escala com suas necessidades.
• Redução da Fadiga de Alertas: Alertas inteligentes, orientados por ML, que entendem os padrões normais de seus dados, reduzindo significativamente os falsos positivos.
• Observabilidade Holística: Combina monitoramento, linhagem, insights de uso e CI/CD em uma única plataforma unificada.
• Segurança de Nível Empresarial: Compatível com SOC 2 Tipo II e adere a altos padrões de privacidade como GDPR, CCPA e HIPAA, com uma abordagem de metadados somente leitura.

Preços e planos

O Metaplane oferece uma estrutura de preços flexível, projetada para equipes de todos os tamanhos.

• Plano Gratuito: Um plano gratuito para sempre que inclui monitoramento para até 10 tabelas e suporte para 4 usuários. Ele fornece recursos de monitoramento essenciais para equipes pequenas ou para experimentar a plataforma.
• Plano Pro: Um plano baseado no uso, onde você paga por tabela monitorada. Inclui tudo no plano Gratuito, mais recursos avançados como linhagem de nível de coluna, Data CI/CD, monitoramento de custo e desempenho, e suporte para 12 usuários e visualizadores ilimitados.
• Plano Enterprise: Um plano personalizado para grandes organizações com necessidades específicas. Inclui todos os recursos do Pro, mais integrações personalizadas, SSO (Okta, SAML), suporte a PrivateLink e suporte premium com um CSM dedicado.

Além disso, os usuários do Aplicativo Nativo do Snowflake podem pagar pelo Metaplane usando seus créditos Snowflake existentes, simplificando a aquisição.