Metaplane

Metaplane, hiện là một phần của Datadog, là một nền tảng quan sát dữ liệu toàn diện được thiết kế để kết hợp khả năng quan sát phần mềm và dữ liệu. Nó trao quyền cho các nhóm dữ liệu hiện đại xây dựng niềm tin vào dữ liệu của họ bằng cách chủ động xác định và giải quyết các vấn đề về chất lượng dữ liệu trên toàn bộ ngăn xếp dữ liệu, từ nguồn đến các công cụ BI. Nền tảng này sử dụng học máy tiên tiến để phát hiện các bất thường mà các bài kiểm tra cứng nhắc, truyền thống có thể bỏ lỡ, có tính đến tính thời vụ và xu hướng trong dữ liệu của bạn. Điều này đảm bảo rằng các cảnh báo có liên quan và không gây nhiễu, cho phép các nhóm tập trung vào các vấn đề thực sự.

Nhiệm vụ cốt lõi của Metaplane là ngăn chặn các sự cố dữ liệu âm thầm — những lỗi tinh vi trong dữ liệu có thể không được chú ý trong thời gian dài, dẫn đến phân tích sai sót và quyết định kinh doanh kém. Bằng cách cung cấp khả năng hiển thị 100% vào các đường ống dữ liệu, Metaplane giúp các nhóm hiểu luồng dữ liệu, xác định các phụ thuộc quan trọng và đánh giá tác động của các thay đổi trước khi chúng được triển khai.

Cách sử dụng Metaplane

Bắt đầu với Metaplane được thiết kế để nhanh chóng và đơn giản, thường mất chưa đến 15 phút.

1. Tích hợp Ngăn xếp Dữ liệu của bạn: Kết nối Metaplane với các kho dữ liệu của bạn (như Snowflake, BigQuery, Redshift), các công cụ chuyển đổi (như dbt) và các nền tảng BI (như Looker, Tableau, PowerBI). Quá trình tích hợp diễn ra liền mạch và chỉ yêu cầu quyền truy cập chỉ đọc vào siêu dữ liệu, đảm bảo dữ liệu cơ bản của bạn vẫn an toàn.
2. Cấu hình Giám sát: Metaplane tự động đề xuất các trình giám sát cho các bảng quan trọng nhất của bạn. Bạn cũng có thể cấu hình thủ công các trình giám sát cho các chỉ số chất lượng dữ liệu khác nhau, bao gồm khối lượng, độ mới, thay đổi lược đồ, tính duy nhất, giá trị null và phân phối thống kê. Các trình giám sát SQL tùy chỉnh cũng có sẵn cho các logic kinh doanh cụ thể.
3. Huấn luyện Mô hình ML: Sau khi kết nối, các mô hình học máy của Metaplane bắt đầu huấn luyện trên hồ sơ siêu dữ liệu của bạn. Chỉ trong vòng ba ngày, hệ thống đã sẵn sàng gửi các cảnh báo thông minh, có nhận thức về ngữ cảnh.
4. Nhận và Hành động theo Cảnh báo: Khi phát hiện bất thường, Metaplane sẽ gửi một thông báo được nhắm mục tiêu đến kênh liên lạc ưa thích của bạn (ví dụ: Slack, MS Teams, PagerDuty). Cảnh báo bao gồm ngữ cảnh phong phú, chẳng hạn như bản chất của vấn đề và các tác động tiềm tàng ở hạ nguồn.
5. Điều tra và Giải quyết: Sử dụng dòng dõi cấp cột từ đầu đến cuối của Metaplane để truy tìm vấn đề về nguyên nhân gốc rễ của nó. Biểu đồ dòng dõi trực quan hóa các phụ thuộc trên toàn bộ ngăn xếp của bạn, giúp tăng tốc đáng kể thời gian phân loại và giải quyết.
6. Ngăn chặn các vấn đề trong tương lai với Data CI/CD: Tích hợp Metaplane vào quy trình CI/CD của bạn (GitHub/GitLab). Trước khi hợp nhất một yêu cầu kéo (ví dụ: đối với thay đổi mô hình dbt), Metaplane sẽ tự động chạy các bài kiểm tra hồi quy và tác động, dự báo những bảng và trang tổng quan nào ở hạ nguồn sẽ bị ảnh hưởng. Điều này ngăn chặn các vấn đề về chất lượng dữ liệu không bao giờ đến được môi trường sản xuất.

Tính năng chính của Metaplane

• Phát hiện bất thường tự động: Các trình giám sát được hỗ trợ bởi ML tự động điều chỉnh theo tính thời vụ và xu hướng để phát hiện các vấn đề về khối lượng dữ liệu, độ mới, lược đồ, tính duy nhất, giá trị null, v.v.
• Dòng dõi cấp cột từ đầu đến cuối: Nhận được một bức tranh hoàn chỉnh, được tạo tự động về ngăn xếp dữ liệu của bạn, từ nguồn đến các công cụ BI, để hiểu luồng dữ liệu và các phụ thuộc mà không cần thiết lập thủ công.
• Data CI/CD: Ngăn chặn các vấn đề về chất lượng dữ liệu bằng cách chạy các bài kiểm tra hồi quy và tác động tự động trong các yêu cầu kéo. Tích hợp với dbt Core/Cloud và GitHub/GitLab.
• Thông tin chi tiết về dữ liệu & Phân tích sử dụng: Khám phá cách dữ liệu của bạn đang được sử dụng, bởi ai, ở đâu và tần suất như thế nào. Điều này giúp tối ưu hóa các truy vấn, giảm nợ dữ liệu và ưu tiên các tài sản dữ liệu quan trọng.
• Cảnh báo tự động & có thể cấu hình: Nhận các thông báo được nhắm mục tiêu, không gây nhiễu trong các công cụ như Slack, MS Teams và PagerDuty, với ngữ cảnh cần thiết để giải quyết vấn đề nhanh chóng.
• Theo dõi thay đổi lược đồ: Nhận thông báo bất cứ khi nào cơ sở dữ liệu, lược đồ, bảng hoặc cột được thêm, đổi tên hoặc xóa.
• Ứng dụng gốc Snowflake: Triển khai và chạy Metaplane trực tiếp trong môi trường Snowflake của bạn, đảm bảo dữ liệu không bao giờ rời khỏi kho của bạn và cho phép bạn thanh toán bằng các khoản tín dụng Snowflake hiện có.

Các trường hợp sử dụng Metaplane

Metaplane có giá trị đối với các vai trò và nhóm khác nhau trong một tổ chức dựa trên dữ liệu:

• Nhóm Kỹ thuật Dữ liệu: Chủ động giám sát các đường ống dữ liệu, giảm thời gian dành cho việc khắc phục lỗi dữ liệu và đảm bảo độ tin cậy của cơ sở hạ tầng dữ liệu.
• Kỹ sư Phân tích: Tự tin phát triển và triển khai các mô hình dbt bằng Data CI/CD để ngăn chặn các thay đổi phá vỡ các trang tổng quan và phân tích ở hạ nguồn.
• Nhóm BI và Phân tích: Xây dựng và duy trì niềm tin với các bên liên quan trong kinh doanh bằng cách đảm bảo rằng dữ liệu cung cấp cho các báo cáo và trang tổng quan là chính xác, mới và đáng tin cậy.
• Chủ sở hữu Nền tảng Dữ liệu: Có được khả năng hiển thị và kiểm soát hoàn toàn đối với ngăn xếp dữ liệu, tối ưu hóa chi phí kho bằng cách xác định các tài sản không sử dụng và thực thi các tiêu chuẩn quản trị dữ liệu.

Ưu điểm của Metaplane

Metaplane cung cấp một số lợi thế chính so với các giải pháp chất lượng dữ liệu truyền thống:

• Thời gian tạo ra giá trị nhanh: Thiết lập chỉ mất vài phút, không phải vài tuần, với các cảnh báo có thể hành động được tạo ra trong vòng vài ngày.
• Giá cả hiệu quả về chi phí: Một mô hình linh hoạt, dựa trên việc sử dụng, nơi bạn chỉ trả tiền cho các bảng bạn tích cực giám sát, có thể mở rộng theo nhu cầu của bạn.
• Giảm mệt mỏi vì cảnh báo: Cảnh báo thông minh, dựa trên ML, hiểu được các mẫu bình thường của dữ liệu của bạn, giúp giảm đáng kể các cảnh báo sai.
• Khả năng quan sát toàn diện: Kết hợp giám sát, dòng dõi, thông tin chi tiết về việc sử dụng và CI/CD vào một nền tảng thống nhất duy nhất.
• Bảo mật cấp doanh nghiệp: Tuân thủ SOC 2 Loại II và tuân thủ các tiêu chuẩn bảo mật cao như GDPR, CCPA và HIPAA, với phương pháp tiếp cận siêu dữ liệu chỉ đọc.

Giá cả và gói dịch vụ

Metaplane cung cấp một cấu trúc giá linh hoạt được thiết kế cho các nhóm ở mọi quy mô.

• Gói Miễn phí: Một gói miễn phí vĩnh viễn bao gồm giám sát tối đa 10 bảng và hỗ trợ 4 người dùng. Nó cung cấp các khả năng giám sát cốt lõi cho các nhóm nhỏ hoặc để dùng thử nền tảng.
• Gói Pro: Một gói dựa trên việc sử dụng, nơi bạn trả tiền cho mỗi bảng được giám sát. Nó bao gồm mọi thứ trong gói Miễn phí, cộng với các tính năng nâng cao như dòng dõi cấp cột, Data CI/CD, giám sát chi phí & hiệu suất, và hỗ trợ 12 người dùng và người xem không giới hạn.
• Gói Enterprise: Một gói tùy chỉnh cho các tổ chức lớn có nhu cầu cụ thể. Nó bao gồm tất cả các tính năng của Pro, cộng với các tích hợp tùy chỉnh, SSO (Okta, SAML), hỗ trợ PrivateLink và hỗ trợ cao cấp với một CSM chuyên dụng.

Ngoài ra, người dùng Ứng dụng gốc Snowflake có thể thanh toán cho Metaplane bằng các khoản tín dụng Snowflake hiện có của họ, giúp đơn giản hóa việc mua sắm.