Metaplane

이제 Datadog의 일부가 된 Metaplane은 소프트웨어와 데이터 관찰 가능성을 통합하기 위해 설계된 포괄적인 데이터 관찰 가능성 플랫폼입니다. 소스에서 BI 도구에 이르기까지 전체 데이터 스택에서 데이터 품질 문제를 사전에 식별하고 해결함으로써 최신 데이터 팀이 데이터에 대한 신뢰를 구축할 수 있도록 지원합니다. 이 플랫폼은 고급 머신러닝을 사용하여 데이터의 계절성과 추세를 고려하여 기존의 경직된 테스트가 놓칠 수 있는 이상 징후를 감지합니다. 이를 통해 알림이 관련성 있고 노이즈가 없어 팀이 실제 문제에 집중할 수 있습니다.

Metaplane의 핵심 임무는 '조용한 데이터 사고'를 방지하는 것입니다. 이는 장기간 눈에 띄지 않아 결함 있는 분석과 잘못된 비즈니스 결정으로 이어질 수 있는 미묘한 데이터 오류입니다. 데이터 파이프라인에 대한 100% 가시성을 제공함으로써 Metaplane은 팀이 데이터 흐름을 이해하고, 중요한 종속성을 식별하며, 변경 사항을 배포하기 전에 그 영향을 평가하는 데 도움을 줍니다.

Metaplane 사용 방법

Metaplane 시작은 일반적으로 15분 미만이 소요되는 빠르고 간단한 과정으로 설계되었습니다.

1. 데이터 스택 통합: Metaplane을 데이터 웨어하우스(예: Snowflake, BigQuery, Redshift), 변환 도구(예: dbt) 및 BI 플랫폼(예: Looker, Tableau, PowerBI)에 연결합니다. 통합 프로세스는 원활하며 메타데이터에 대한 읽기 전용 액세스만 필요하므로 기본 데이터의 보안이 보장됩니다.
2. 모니터 구성: Metaplane은 가장 중요한 테이블에 대한 모니터를 자동으로 제안합니다. 또한 볼륨, 최신성, 스키마 변경, 고유성, null 값 및 통계 분포를 포함한 다양한 데이터 품질 메트릭에 대한 모니터를 수동으로 구성할 수 있습니다. 특정 비즈니스 로직을 위한 사용자 지정 SQL 모니터도 사용할 수 있습니다.
3. ML 모델 훈련: 연결되면 Metaplane의 머신러닝 모델이 데이터의 메타데이터 프로필에 대한 훈련을 시작합니다. 빠르면 3일 이내에 시스템은 지능적이고 상황 인식적인 알림을 보낼 준비가 됩니다.
4. 알림 수신 및 조치: 이상이 감지되면 Metaplane은 선호하는 통신 채널(예: Slack, MS Teams, PagerDuty)로 대상 지정 알림을 보냅니다. 알림에는 문제의 성격 및 잠재적인 다운스트림 영향과 같은 풍부한 컨텍스트가 포함됩니다.
5. 조사 및 해결: Metaplane의 엔드투엔드 컬럼 수준 리니지를 사용하여 문제의 근본 원인을 추적합니다. 리니지 그래프는 전체 스택의 종속성을 시각화하여 분류 및 해결 시간을 크게 단축합니다.
6. 데이터 CI/CD로 미래 문제 예방: Metaplane을 CI/CD 파이프라인(GitHub/GitLab)에 통합합니다. 풀 리퀘스트(예: dbt 모델 변경)를 병합하기 전에 Metaplane은 자동으로 회귀 및 영향 테스트를 실행하여 어떤 다운스트림 테이블과 대시보드가 영향을 받을지 예측합니다. 이를 통해 데이터 품질 문제가 프로덕션에 도달하는 것을 방지합니다.

Metaplane의 핵심 기능

• 자동 이상 감지: 계절성과 추세에 자동으로 적응하여 데이터 볼륨, 최신성, 스키마, 고유성, null 값 등의 문제를 감지하는 ML 기반 모니터.
• 엔드투엔드 컬럼 수준 리니지: 수동 설정 없이 소스에서 BI 도구까지 데이터 스택의 전체 그림을 자동으로 생성하여 데이터 흐름과 종속성을 이해합니다.
• 데이터 CI/CD: 풀 리퀘스트 내에서 자동 회귀 및 영향 테스트를 실행하여 데이터 품질 문제를 예방합니다. dbt Core/Cloud 및 GitHub/GitLab과 통합됩니다.
• 데이터 인사이트 및 사용 분석: 데이터가 누구에 의해, 어디서, 얼마나 자주 사용되는지 파악합니다. 이는 쿼리 최적화, 데이터 부채 감소 및 중요 데이터 자산 우선순위 지정에 도움이 됩니다.
• 자동화 및 구성 가능한 알림: Slack, MS Teams, PagerDuty와 같은 도구에서 문제를 신속하게 해결하는 데 필요한 컨텍스트와 함께 대상 지정된 노이즈 없는 알림을 수신합니다.
• 스키마 변경 추적: 데이터베이스, 스키마, 테이블 또는 컬럼이 추가, 이름 변경 또는 제거될 때마다 알림을 받습니다.
• Snowflake 네이티브 앱: Snowflake 환경 내에서 직접 Metaplane을 배포하고 실행하여 데이터가 웨어하우스를 떠나지 않도록 보장하고 기존 Snowflake 크레딧으로 결제할 수 있습니다.

Metaplane의 사용 사례

Metaplane은 데이터 기반 조직 내의 다양한 역할과 팀에 유용합니다.

• 데이터 엔지니어링 팀: 데이터 파이프라인을 사전에 모니터링하고, 데이터 버그 해결에 소요되는 시간을 줄이며, 데이터 인프라의 신뢰성을 보장합니다.
• 분석 엔지니어링 팀: 데이터 CI/CD를 사용하여 다운스트림 대시보드 및 분석에 대한 파괴적인 변경을 방지하면서 dbt 모델을 자신 있게 개발하고 배포합니다.
• BI 및 분석 팀: 보고서 및 대시보드를 구동하는 데이터가 정확하고 최신이며 신뢰할 수 있도록 보장하여 비즈니스 이해 관계자와의 신뢰를 구축하고 유지합니다.
• 데이터 플랫폼 소유자: 데이터 스택에 대한 완전한 가시성과 제어를 확보하고, 사용되지 않는 자산을 식별하여 웨어하우스 비용을 최적화하며, 데이터 거버넌스 표준을 시행합니다.

Metaplane의 장점

Metaplane은 기존 데이터 품질 솔루션에 비해 몇 가지 주요 이점을 제공합니다.

• 빠른 가치 실현: 몇 주가 아닌 몇 분 만에 설정이 완료되며, 며칠 내에 실행 가능한 알림이 생성됩니다.
• 비용 효율적인 가격 책정: 필요에 따라 확장되는 유연한 사용량 기반 모델로, 적극적으로 모니터링하는 테이블에 대해서만 비용을 지불합니다.
• 알림 피로 감소: 데이터의 정상 패턴을 이해하는 지능형 ML 기반 알림으로 오탐을 크게 줄입니다.
• 전체적인 관찰 가능성: 모니터링, 리니지, 사용 인사이트 및 CI/CD를 단일 통합 플랫폼으로 결합합니다.
• 엔터프라이즈급 보안: SOC 2 Type II를 준수하고 GDPR, CCPA, HIPAA와 같은 높은 개인 정보 보호 표준을 준수하며 읽기 전용 메타데이터 접근 방식을 사용합니다.

가격 및 플랜

Metaplane은 모든 규모의 팀을 위해 설계된 유연한 가격 구조를 제공합니다.

• 무료 플랜: 최대 10개의 모니터링 테이블과 4명의 사용자를 지원하는 영구 무료 플랜입니다. 소규모 팀이나 플랫폼을 시험해 보는 데 핵심적인 모니터링 기능을 제공합니다.
• 프로 플랜: 모니터링되는 테이블당 비용을 지불하는 사용량 기반 플랜입니다. 무료 플랜의 모든 기능과 더불어 컬럼 수준 리니지, 데이터 CI/CD, 비용 및 성능 모니터링과 같은 고급 기능, 그리고 12명의 사용자와 무제한 뷰어를 지원합니다.
• 엔터프라이즈 플랜: 특정 요구 사항이 있는 대규모 조직을 위한 맞춤형 플랜입니다. 프로 플랜의 모든 기능과 더불어 사용자 지정 통합, SSO(Okta, SAML), PrivateLink 지원 및 전담 CSM이 포함된 프리미엄 지원을 포함합니다.

또한 Snowflake 네이티브 앱 사용자는 기존 Snowflake 크레딧을 사용하여 Metaplane 비용을 지불할 수 있어 조달이 간소화됩니다.