Elementary Data

Elementary Data는 수천 명의 데이터 및 분석 엔지니어로부터 신뢰받는 개발자 우선의 dbt 네이티브 데이터 관찰 가능성 플랫폼입니다. 탐지에서 해결에 이르기까지 전체 데이터 수명 주기에 걸쳐 데이터 품질을 운영화하도록 설계되었습니다. AI 에이전트를 활용하여 Elementary는 수동 작업을 자동화하여 데이터 팀이 비즈니스 가치를 창출하는 고부가가치 활동에 집중할 수 있도록 합니다. 이 플랫폼은 성공적인 AI 구현 및 데이터 제품 채택의 주요 장애물인 데이터 품질의 중요한 문제를 해결하여, 잘못된 입력이 깨진 모델이나 신뢰할 수 없는 결정으로 이어지지 않도록 보장합니다.

Elementary Data 사용 방법

Elementary Data를 시작하는 것은 특히 이미 dbt를 사용하는 팀에게 빠르고 원활하게 설계되었습니다. 프로세스는 일반적으로 다음을 포함합니다:

1. 설치: 기존 dbt 프로젝트 내에서 오픈 소스 Elementary dbt 패키지를 SDK로 설치합니다. 이는 몇 분 안에 완료될 수 있습니다.
2. 구성: 환경을 설정하고 데이터 소스를 연결합니다. Elementary는 원시 데이터가 아닌 메타데이터 및 테스트 결과에 대한 읽기 액세스만 필요로 하므로 보안 및 규정 준수(SOC-2 Type II 인증)를 보장합니다.
3. 모니터링: 구성이 완료되면 Elementary는 자동으로 데이터 파이프라인 모니터링을 시작합니다. dbt 테스트 실패를 캡처하고, 데이터 신선도 및 볼륨의 이상을 감지하며, 성능 메트릭을 수집합니다.
4. 경고 및 분류: Elementary Cloud Platform을 사용하여 경고를 관리합니다. Slack 또는 다른 채널을 통해 올바른 사람이나 팀에게 알림을 보내도록 라우팅 규칙을 사용자 정의할 수 있습니다. 플랫폼은 계보 및 소유자를 포함한 컨텍스트를 제공하여 문제를 더 빨리 분류하고 해결하는 데 도움을 줍니다.
5. 탐색 및 거버넌스: 네이티브 데이터 카탈로그를 활용하여 스키마를 탐색하고, 열 수준의 데이터 계보를 보며, 데이터 상태를 이해합니다. AI 에이전트는 테스트 커버리지 발견 및 자동 분류를 지원할 수 있습니다.

Elementary Data의 핵심 기능

• AI 에이전트 (Ella): 인시던트 분류, 테스트 커버리지 발견, 성능 최적화, 데이터 거버넌스와 같은 수동 작업을 자동화하여 효율성을 높입니다.
• 데이터 품질 테스트: 단일 통합 플랫폼에서 dbt 테스트, 네이티브 Elementary 테스트 및 사용자 정의 SQL 테스트를 관리합니다.
• 자동 이상 감지: 수동 구성 없이 데이터의 신선도, 볼륨 및 스키마 이상을 사전에 모니터링합니다.
• 엔드투엔드 데이터 계보: 열 수준의 데이터 계보를 시각화하여 데이터 종속성을 이해하고, 문제의 원인을 추적하며, 변경의 영향을 평가합니다.
• 인시던트 및 경고 관리: 단순화되고 컨텍스트가 풍부한 경고로 소음을 줄입니다. 올바른 이해 관계자에게 알림을 라우팅하고 탐지에서 해결까지 인시던트를 관리합니다.
• 데이터 상태 점수: 다양한 품질 차원에서 데이터의 품질과 신뢰성에 대한 빠르고 높은 수준의 개요를 얻습니다.
• 성능 및 비용 모니터링: 데이터 파이프라인의 병목 현상을 식별하고 해결하며, 실행 시간을 추적하고, 성능 추세를 모니터링하여 비용을 최적화합니다.
• 네이티브 데이터 카탈로그: dbt docs의 강화된 대안으로, 데이터 발견, 메타데이터 관리 및 데이터 자산 이해를 위한 중앙 집중식 장소를 제공합니다.

Elementary Data의 사용 사례

Elementary Data는 다재다능하며 다양한 데이터 기반 이니셔티브를 지원합니다. 예를 들어, Flock Safety와 같은 회사는 Elementary를 사용하여 실용적인 데이터 거버넌스 프로그램을 구축했습니다. 데이터 품질과 발견에 집중함으로써 비즈니스 파트너와 분석 엔지니어 간의 신뢰를 구축했습니다. 이는 데이터 소비 증가, 더 나은 협업 및 더 신뢰할 수 있는 의사 결정으로 이어졌습니다. 다른 사용 사례는 다음과 같습니다:

• AI 환각 방지: AI 및 머신 러닝 모델에 고품질 데이터 입력을 보장하여 잘못된 출력을 방지하고 신뢰할 수 있는 시스템을 구축합니다.
• 경고 피로 감소: Hippo와 같은 회사의 데이터 팀은 Elementary를 사용하여 소음을 걸러내고 실제 프로덕션 장애에 대해서만 경고를 받아, 끊임없는 관련 없는 알림의 '악몽'을 제거합니다.
• 이해 관계자 신뢰 향상: 이해 관계자에게 데이터 상태에 대한 명확한 일일 개요를 제공하여 의사 결정에 사용하는 데이터의 품질에 대한 확신을 줍니다.
• 데이터 신뢰 구축: Elementary의 테스트, 태깅 및 메타데이터 기능을 사용하여 데이터 자산에 대한 '황금 표준' 신뢰를 만듭니다.

Elementary Data의 장점

Elementary의 주요 장점은 dbt 생태계와의 깊고 네이티브한 통합으로, 현대 데이터 팀에게 자연스러운 선택이 됩니다. 개발자 우선 접근 방식은 기존 워크플로우에 원활하게 통합되도록 보장합니다. 자동화를 위한 AI 에이전트 사용은 수동 노력을 크게 줄이고 팀 효율성을 향상시킵니다. 또한, 테스트 및 모니터링에서 인시던트 해결 및 거버넌스에 이르기까지 전체 데이터 품질 수명 주기를 포괄적으로 다루므로 올인원 솔루션이 됩니다. 이 플랫폼은 설계상 안전하며 원시 데이터에 액세스하지 않으며, 강력한 오픈 소스 버전과 기업을 위한 확장 가능한 클라우드 플랜을 모두 제공합니다.

가격 및 플랜

Elementary는 사용자 좌석을 기반으로 한 유연한 가격 모델을 제공하며, 무료 오픈 소스 옵션과 유료 클라우드 플랜이 있습니다. Essentials 플랜의 30일 무료 평가판을 사용할 수 있습니다.

• 오픈 소스 (OSS): 수천 개의 팀이 프로덕션에서 사용하는 자체 호스팅 무료 커뮤니티 버전입니다.
• Starter 플랜: 월 $650. 최대 2명의 사용자를 포함하며, 데이터 문제 탐지 및 분류, 자동 이상 감지, 열 수준 데이터 계보 및 성능 모니터링을 포함합니다.
• Essentials 플랜: 월 $1600. Starter의 모든 기능을 포함하며 최대 8명의 사용자를 지원하고, 협업 기능, 모든 AI 에이전트, 인시던트 관리, 엔드투엔드 데이터 계보 및 전용 Slack 지원이 추가됩니다.
• Enterprise 플랜: 맞춤형 가격. Essentials의 모든 기능을 포함하며 유연한 좌석, 엔터프라이즈급 보안(RBAC, SCIM), 고급 배포 옵션, 프리미엄 지원 SLA 및 Jira, PagerDuty와 같은 도구와의 통합을 제공합니다.