Metaplane

Metaplane，现已并入 Datadog，是一个全面的数据可观测性平台，旨在将软件和数据可观测性融为一体。它通过主动识别和解决从数据源到商业智能（BI）工具的整个数据栈中的数据质量问题，帮助现代数据团队建立对数据的信任。该平台利用先进的机器学习技术来检测传统僵化测试可能遗漏的异常情况，同时考虑到数据的季节性和趋势。这确保了警报具有相关性且无噪音，使团队能够专注于真正的问题。

Metaplane 的核心使命是防止“无声的数据事件”——这些数据中细微的错误可能在很长一段时间内未被察觉，从而导致有缺陷的分析和糟糕的业务决策。通过提供对数据管道的100%可见性，Metaplane 帮助团队理解数据流，识别关键依赖关系，并在部署变更前评估其影响。

如何使用 Metaplane

开始使用 Metaplane 的过程设计得非常快速和直接，通常不到15分钟即可完成。

1. 集成您的数据栈：将 Metaplane 连接到您的数据仓库（如 Snowflake、BigQuery、Redshift）、转换工具（如 dbt）和 BI 平台（如 Looker、Tableau、PowerBI）。集成过程无缝衔接，且仅需元数据的只读权限，确保您的底层数据安全。
2. 配置监控器：Metaplane 会自动为您最重要的表建议监控器。您也可以手动为各种数据质量指标配置监控器，包括数据量、新鲜度、模式变更、唯一性、空值率和统计分布。还提供自定义 SQL 监控器以满足特定的业务逻辑需求。
3. 机器学习模型训练：连接后，Metaplane 的机器学习模型开始基于您数据的元数据配置文件进行训练。最快在三天内，系统就能发送智能的、具有上下文感知能力的警报。
4. 接收并处理警报：当检测到异常时，Metaplane 会向您首选的通信渠道（如 Slack、MS Teams、PagerDuty）发送有针对性的通知。警报包含丰富的上下文信息，如问题性质和潜在的下游影响。
5. 调查和解决：使用 Metaplane 的端到端列级血缘关系来追溯问题的根源。血缘图可视化了整个数据栈的依赖关系，显著加快了分类和解决问题的时间。
6. 通过数据 CI/CD 预防未来问题：将 Metaplane 集成到您的 CI/CD 管道（GitHub/GitLab）中。在合并拉取请求（例如，dbt 模型变更）之前，Metaplane 会自动运行回归和影响测试，预测哪些下游表和仪表板会受到影响。这可以防止数据质量问题进入生产环境。

Metaplane 的核心功能

• 自动异常检测：由机器学习驱动的监控器，能自动适应季节性和趋势，以检测数据量、新鲜度、模式、唯一性、空值率等方面的问题。
• 端到端列级血缘关系：无需手动设置，即可自动生成从数据源到 BI 工具的完整数据栈视图，以理解数据流和依赖关系。
• 数据 CI/CD：通过在拉取请求中运行自动回归和影响测试来预防数据质量问题。它与 dbt Core/Cloud 和 GitHub/GitLab 集成。
• 数据洞察与使用分析：发现您的数据如何被使用、被谁使用、在哪里使用以及使用频率。这有助于优化查询、减少数据债务和优先处理关键数据资产。
• 自动化和可配置警报：在 Slack、MS Teams 和 PagerDuty 等工具中接收有针对性的、无噪音的通知，并附带快速解决问题所需的上下文。
• 模式变更跟踪：当数据库、模式、表或列被添加、重命名或删除时获得通知。
• Snowflake 原生应用：直接在您的 Snowflake 环境中部署和运行 Metaplane，确保数据永不离开您的仓库，并允许您使用现有的 Snowflake 积分支付。

Metaplane 的使用案例

Metaplane 对数据驱动型组织内的各种角色和团队都很有价值：

• 数据工程团队：主动监控数据管道，减少处理数据问题的时间，并确保数据基础设施的可靠性。
• 分析工程团队：使用数据 CI/CD 自信地开发和部署 dbt 模型，以防止对下游仪表板和分析造成破坏性变更。
• BI 和分析团队：通过确保驱动报告和仪表板的数据准确、新鲜和可靠，与业务利益相关者建立并维持信任。
• 数据平台负责人：获得对数据栈的完全可见性和控制权，通过识别未使用的资产来优化仓库成本，并执行数据治理标准。

Metaplane 的优势特点

与传统的数据质量解决方案相比，Metaplane 具有几个关键优势：

• 快速实现价值：设置只需几分钟，而非数周，几天内即可生成可操作的警报。
• 成本效益高的定价：灵活的、基于使用量的模型，您只需为您主动监控的表付费，可根据您的需求进行扩展。
• 减少警报疲劳：智能的、由机器学习驱动的警报系统，能够理解您数据的正常模式，显著减少误报。
• 整体可观测性：将监控、血缘关系、使用洞察和 CI/CD 整合到一个统一的平台中。
• 企业级安全：符合 SOC 2 Type II 标准，并遵守 GDPR、CCPA 和 HIPAA 等高隐私标准，采用只读元数据的方法。

定价和计划

Metaplane 提供灵活的定价结构，专为各种规模的团队设计。

• 免费计划：一个永久免费的计划，包括最多10个被监控的表和支持4个用户。它为小团队或试用平台提供了核心的监控功能。
• 专业版计划：一个基于使用量的计划，按被监控的表付费。它包括免费计划中的所有内容，外加列级血缘关系、数据 CI/CD、成本与性能监控等高级功能，并支持12个用户和无限的查看者。
• 企业版计划：一个为有特定需求的大型组织定制的计划。它包括专业版的所有功能，外加自定义集成、SSO（Okta、SAML）、PrivateLink 支持和提供专门客户成功经理的优质支持。

此外，Snowflake 原生应用的用户可以使用他们现有的 Snowflake 积分来支付 Metaplane 的费用，从而简化采购流程。