Metaplane

Metaplane，現已併入 Datadog，是一個全面的數據可觀測性平台，旨在將軟體和數據可觀測性融為一體。它透過主動識別和解決從數據源到商業智慧（BI）工具的整個數據堆疊中的數據品質問題，幫助現代數據團隊建立對數據的信任。該平台利用先進的機器學習技術來偵測傳統僵化測試可能遺漏的異常情況，同時考慮到數據的季節性和趨勢。這確保了警報具有相關性且無噪音，使團隊能夠專注於真正的問題。

如何使用 Metaplane

開始使用 Metaplane 的過程設計得非常快速和直接，通常不到15分鐘即可完成。

1. 整合您的數據堆疊：將 Metaplane 連接到您的數據倉庫（如 Snowflake、BigQuery、Redshift）、轉換工具（如 dbt）和 BI 平台（如 Looker、Tableau、PowerBI）。整合過程無縫銜接，且僅需元數據的唯讀權限，確保您的底層數據安全。
2. 配置監控器：Metaplane 會自動為您最重要的資料表建議監控器。您也可以手動為各種數據品質指標配置監控器，包括數據量、新鮮度、結構變更、唯一性、空值率和統計分佈。還提供自訂 SQL 監控器以滿足特定的業務邏輯需求。
3. 機器學習模型訓練：連接後，Metaplane 的機器學習模型開始基於您數據的元數據設定檔進行訓練。最快在三天內，系統就能發送智慧的、具有上下文感知能力的警報。
4. 接收並處理警報：當偵測到異常時，Metaplane 會向您首選的通訊渠道（如 Slack、MS Teams、PagerDuty）發送有針對性的通知。警報包含豐富的上下文資訊，如問題性質和潛在的下游影響。
5. 調查和解決：使用 Metaplane 的端到端列級血緣關係來追溯問題的根源。血緣圖視覺化了整個數據堆疊的依賴關係，顯著加快了分類和解決問題的時間。
6. 透過數據 CI/CD 預防未來問題：將 Metaplane 整合到您的 CI/CD 管道（GitHub/GitLab）中。在合併拉取請求（例如，dbt 模型變更）之前，Metaplane 會自動運行回歸和影響測試，預測哪些下游資料表和儀表板會受到影響。這可以防止數據品質問題進入生產環境。

Metaplane 的核心功能

• 自動異常偵測：由機器學習驅動的監控器，能自動適應季節性和趨勢，以偵測數據量、新鮮度、結構、唯一性、空值率等方面的問題。
• 端到端列級血緣關係：無需手動設定，即可自動產生從數據源到 BI 工具的完整數據堆疊視圖，以理解數據流和依賴關係。
• 數據 CI/CD：透過在拉取請求中運行自動回歸和影響測試來預防數據品質問題。它與 dbt Core/Cloud 和 GitHub/GitLab 整合。
• 數據洞察與使用分析：發現您的數據如何被使用、被誰使用、在哪裡使用以及使用頻率。這有助於優化查詢、減少數據債務和優先處理關鍵數據資產。
• 自動化和可配置警報：在 Slack、MS Teams 和 PagerDuty 等工具中接收有針對性的、無噪音的通知，並附帶快速解決問題所需的上下文。
• 結構變更追蹤：當資料庫、結構、資料表或欄位被新增、重新命名或刪除時獲得通知。
• Snowflake 原生應用：直接在您的 Snowflake 環境中部署和運行 Metaplane，確保數據永不離開您的倉庫，並允許您使用現有的 Snowflake 點數支付。

Metaplane 的使用案例

Metaplane 對數據驅動型組織內的各種角色和團隊都很有價值：

• 數據工程團隊：主動監控數據管道，減少處理數據問題的時間，並確保數據基礎設施的可靠性。
• 分析工程團隊：使用數據 CI/CD 自信地開發和部署 dbt 模型，以防止對下游儀表板和分析造成破壞性變更。
• BI 和分析團隊：透過確保驅動報告和儀表板的數據準確、新鮮和可靠，與業務利害關係人建立並維持信任。
• 數據平台負責人：獲得對數據堆疊的完全可見性和控制權，透過識別未使用的資產來優化倉庫成本，並執行數據治理標準。

Metaplane 的優勢特點

與傳統的數據品質解決方案相比，Metaplane 具有幾個關鍵優勢：

• 快速實現價值：設定只需幾分鐘，而非數週，幾天內即可產生可操作的警報。
• 成本效益高的定價：靈活的、基於使用量的模型，您只需為您主動監控的資料表付費，可根據您的需求進行擴展。
• 減少警報疲勞：智慧的、由機器學習驅動的警報系統，能夠理解您數據的正常模式，顯著減少誤報。
• 整體可觀測性：將監控、血緣關係、使用洞察和 CI/CD 整合到一個統一的平台中。
• 企業級安全：符合 SOC 2 Type II 標準，並遵守 GDPR、CCPA 和 HIPAA 等高隱私標準，採用唯讀元數據的方法。

定價和計劃

Metaplane 提供靈活的定價結構，專為各種規模的團隊設計。

• 免費計劃：一個永久免費的計劃，包括最多10個被監控的資料表和支援4個使用者。它為小團隊或試用平台提供了核心的監控功能。
• 專業版計劃：一個基於使用量的計劃，按被監控的資料表付費。它包括免費計劃中的所有內容，外加列級血緣關係、數據 CI/CD、成本與效能監控等進階功能，並支援12個使用者和無限的檢視者。
• 企業版計劃：一個為有特定需求的大型組織客製化的計劃。它包括專業版的所有功能，外加自訂整合、SSO（Okta、SAML）、PrivateLink 支援和提供專門客戶成功經理的優質支援。

此外，Snowflake 原生應用的使用者可以使用他們現有的 Snowflake 點數來支付 Metaplane 的費用，從而簡化採購流程。