Metaplane

Metaplaneは、現在Datadogの一部門として、ソフトウェアとデータのオブザーバビリティを統合するために設計された包括的なデータオブザーバビリティプラットフォームです。ソースからBIツールに至るまでのデータスタック全体でデータ品質問題を積極的に特定・解決することにより、現代のデータチームがデータへの信頼を築くことを支援します。このプラットフォームは、高度な機械学習を用いて、データの季節性やトレンドを考慮し、従来の固定的なテストでは見逃しがちな異常を検出します。これにより、アラートの関連性が高く、ノイズが少ないため、チームは真の問題に集中できます。

Metaplaneの核心的な使命は、「サイレントなデータインシデント」を防ぐことです。これは、長期間気づかれずに放置され、誤った分析や不適切なビジネス判断につながる可能性のある、データ内の微細なエラーを指します。データパイプラインの100%の可視性を提供することで、Metaplaneはチームがデータフローを理解し、重要な依存関係を特定し、変更をデプロイする前にその影響を評価するのに役立ちます。

Metaplaneの使い方

Metaplaneの導入は迅速かつ簡単で、通常15分以内で完了するように設計されています。

1. データスタックの統合：Metaplaneをデータウェアハウス（Snowflake、BigQuery、Redshiftなど）、変換ツール（dbtなど）、BIプラットフォーム（Looker、Tableau、PowerBIなど）に接続します。統合プロセスはシームレスで、メタデータへの読み取り専用アクセスのみを必要とするため、基盤となるデータのセキュリティが確保されます。
2. モニターの設定：Metaplaneは、最も重要なテーブルに対してモニターを自動的に提案します。また、ボリューム、鮮度、スキーマ変更、一意性、null値、統計分布など、さまざまなデータ品質メトリクスに対して手動でモニターを設定することもできます。特定のビジネスロジックに対応するカスタムSQLモニターも利用可能です。
3. MLモデルのトレーニング：接続後、Metaplaneの機械学習モデルがデータのメタデータプロファイルに基づいてトレーニングを開始します。最短3日で、システムはインテリジェントでコンテキストを認識するアラートを送信する準備が整います。
4. アラートの受信と対応：異常が検出されると、Metaplaneは優先する通信チャネル（Slack、MS Teams、PagerDutyなど）にターゲットを絞った通知を送信します。アラートには、問題の性質や潜在的な下流への影響など、豊富なコンテキストが含まれています。
5. 調査と解決：Metaplaneのエンドツーエンドの列レベルのリネージを使用して、問題の根本原因を追跡します。リネージグラフはスタック全体の依存関係を視覚化し、トリアージと解決時間を大幅に短縮します。
6. データCI/CDによる将来の問題の防止：MetaplaneをCI/CDパイプライン（GitHub/GitLab）に統合します。プルリクエスト（dbtモデルの変更など）をマージする前に、Metaplaneは自動的に回帰テストと影響テストを実行し、どの下流のテーブルやダッシュボードが影響を受けるかを予測します。これにより、データ品質問題が本番環境に到達するのを防ぎます。

Metaplaneの主な機能

• 自動異常検出：季節性やトレンドに自動的に適応し、データ量、鮮度、スキーマ、一意性、null値などの問題を検出するML駆動のモニター。
• エンドツーエンドの列レベルリネージ：手動設定なしで、ソースからBIツールまでのデータスタックの全体像を自動生成し、データフローと依存関係を理解します。
• データCI/CD：プルリクエスト内で自動回帰テストと影響テストを実行することで、データ品質問題を防止します。dbt Core/CloudおよびGitHub/GitLabと統合します。
• データインサイトと使用状況分析：データが誰によって、どこで、どのくらいの頻度で使用されているかを把握します。これにより、クエリの最適化、データ負債の削減、重要なデータ資産の優先順位付けに役立ちます。
• 自動化された設定可能なアラート：Slack、MS Teams、PagerDutyなどのツールで、問題解決に必要なコンテキスト付きの、ターゲットを絞ったノイズのない通知を受信します。
• スキーマ変更追跡：データベース、スキーマ、テーブル、または列が追加、名前変更、または削除されたときに通知を受け取ります。
• Snowflakeネイティブアプリ：Snowflake環境内で直接Metaplaneをデプロイして実行し、データがウェアハウスを離れることなく、既存のSnowflakeクレジットで支払うことができます。

Metaplaneの使用例

Metaplaneは、データ駆動型組織内のさまざまな役割やチームにとって価値があります。

• データエンジニアリングチーム：データパイプラインを積極的に監視し、データバグの対応に費やす時間を削減し、データインフラの信頼性を確保します。
• アナリティクスエンジニアリングチーム：データCI/CDを使用して、下流のダッシュボードや分析に破壊的な変更を加えることなく、自信を持ってdbtモデルを開発・デプロイします。
• BIおよびアナリティクスチーム：レポートやダッシュボードを支えるデータが正確、新鮮、信頼できるものであることを保証し、ビジネス関係者との信頼を構築・維持します。
• データプラットフォームオーナー：データスタックの完全な可視性と制御を獲得し、未使用の資産を特定してウェアハウスのコストを最適化し、データガバナンス基準を施行します。

Metaplaneの利点

Metaplaneは、従来のデータ品質ソリューションに比べていくつかの重要な利点を提供します。

• 迅速な価値実現：数週間ではなく数分でセットアップが完了し、数日以内に実用的なアラートが生成されます。
• 費用対効果の高い価格設定：ニーズに応じてスケールする柔軟な使用量ベースのモデルで、アクティブに監視しているテーブルに対してのみ支払います。
• アラート疲労の軽減：データの正常なパターンを理解するインテリジェントなML駆動のアラートにより、誤検知を大幅に削減します。
• 包括的なオブザーバビリティ：監視、リネージ、使用状況インサイト、CI/CDを単一の統合プラットフォームにまとめます。
• エンタープライズグレードのセキュリティ：SOC 2 Type IIに準拠し、GDPR、CCPA、HIPAAなどの高いプライバシー基準を遵守し、読み取り専用のメタデータアプローチを採用しています。

料金プラン

Metaplaneは、あらゆる規模のチーム向けに設計された柔軟な料金体系を提供しています。

• 無料プラン：最大10テーブルの監視と4ユーザーをサポートする永久無料プラン。小規模チームやプラットフォームの試用に、中核的な監視機能を提供します。
• プロプラン：監視対象テーブルごとに支払う使用量ベースのプラン。無料プランのすべてに加え、列レベルのリネージ、データCI/CD、コスト＆パフォーマンス監視などの高度な機能、および12ユーザーと無制限のビューアをサポートします。
• エンタープライズプラン：特定のニーズを持つ大規模組織向けのカスタムプラン。プロプランのすべての機能に加え、カスタム統合、SSO（Okta、SAML）、PrivateLinkサポート、専任CSMによるプレミアムサポートが含まれます。

さらに、Snowflakeネイティブアプリのユーザーは、既存のSnowflakeクレジットを使用してMetaplaneの料金を支払うことができ、調達が簡素化されます。