Datafold

Datafold는 데이터 엔지니어링 팀의 역량을 강화하기 위해 특별히 설계된 사전 예방적 데이터 품질을 위한 통합 플랫폼입니다. 이는 최신 데이터 워크플로우의 가장 중요하고 어려운 측면인 절대적인 데이터 무결성 보장과 데이터 인프라 현대화 간소화를 해결합니다. AI, 고급 대규모 언어 모델(LLM) 및 독점적인 "데이터 비교(data diffing)" 기술의 힘을 활용하여 Datafold는 오류가 발생하기 쉽고 시간이 많이 소요되는 작업을 자동화합니다. 이를 통해 팀은 훨씬 빠른 속도로 매우 신뢰할 수 있는 데이터 제품을 구축할 수 있습니다.

이 플랫폼은 데이터 품질이 사후 대응적인 조치가 아니라 개발 라이프사이클의 사전 예방적이고 필수적인 부분이어야 한다는 원칙에 기반을 두고 있습니다. 이는 기업이 레거시 시스템의 한계를 넘어 비교할 수 없는 속도와 정확성으로 AI에 대비된 데이터 스택을 자신 있게 구축하는 데 필요한 도구를 제공합니다.

Datafold 사용 방법

Datafold는 기존 데이터 엔지니어링 워크플로우에 원활하게 통합되어 다양한 작업을 위한 구조화되고 자동화된 접근 방식을 제공합니다.

데이터 마이그레이션의 경우:

1. 계획: 상세한 컬럼 수준의 리니지를 활용하여 모든 데이터 종속성을 매핑하고 마이그레이션의 복잡성을 정확하게 평가합니다. 이를 통해 포괄적인 청사진을 만들어 프로젝트 타임라인을 예측 가능하고 투명하게 만듭니다.
2. 변환: AI 기반의 Datafold 마이그레이션 에이전트(DMA)는 모든 SQL 방언이나 GUI 기반 변환 로직을 대상 시스템의 구문으로 자동 변환합니다(예: Oracle PL/SQL에서 Snowflake SQL로 마이그레이션). 지능형 피드백 루프를 사용하여 완벽한 기능적 동등성이 달성될 때까지 코드를 반복적으로 개선합니다.
3. 검증: 이 부분에서 Datafold의 핵심 "데이터 비교" 기능이 뛰어납니다. 레거시 시스템과 새 시스템 간의 모든 레코드에 대해 값 수준 비교를 수행하여 수동 샘플링이나 지루한 스크립팅 없이 100% 데이터 정확성을 자동으로 검증합니다.
4. 배포: 성공적인 검증 시, Datafold는 포괄적인 보고서와 감사 가능한 데이터 비교 증거를 생성합니다. 이는 데이터 동등성에 대한 구체적인 증거를 제공하여 이해관계자의 승인을 가속화하고 레거시 시스템을 자신 있게 폐기할 수 있도록 합니다.

CI/CD의 데이터 품질 테스트의 경우:

1. 통합: Datafold를 GitHub 또는 GitLab과 같은 버전 관리 시스템에 연결합니다.
2. 자동화된 테스트: 개발자가 데이터 변환 코드(예: dbt 모델) 변경 사항이 포함된 풀 리퀘스트를 열면 Datafold가 자동으로 트리거되어 개발 환경과 프로덕션 환경 간에 데이터 비교를 실행합니다.
3. 검토 및 배포: 결과는 풀 리퀘스트 내에 명확하고 간결한 댓글로 게시됩니다. 이를 통해 검토자는 코드 변경이 데이터에 미치는 정확한 영향을 값 수준에서 확인하여 데이터 품질 문제가 프로덕션에 도달하는 것을 방지할 수 있습니다.

Datafold의 핵심 기능

• AI 기반 데이터 마이그레이션(Datafold 마이그레이션 에이전트 - DMA): 이기종 방언 간의 SQL 코드 변환에서부터 완전한 엔드투엔드 검증에 이르기까지 전체 마이그레이션 라이프사이클을 자동화합니다. 데이터 유형 처리 차이, 비결정적 함수, 문자 인코딩과 같은 복잡한 엣지 케이스를 지능적으로 처리하여 마이그레이션 시간을 최대 6배 단축합니다.
• 데이터 비교(Data Diffing): 수십억 개의 행이 있는 데이터 세트라도 효율적이고 값 수준의 비교를 수행하는 강력한 검증 엔진입니다. 추가, 삭제 또는 수정을 정확하게 식별하여 100% 데이터 동등성을 보장합니다.
• 사전 예방적 CI/CD 테스트: 개발 워크플로우(shift-left testing)에 직접 통합되어 배포 전에 데이터 변환 코드를 테스트합니다. 변경 사항이 다운스트림 테이블, BI 대시보드 및 리버스 ETL 파이프라인에 미치는 영향을 시각화하는 영향 분석을 포함합니다.
• 데이터 모니터링 및 관찰 가능성: 프로덕션 환경에서 데이터 상태를 모니터링하기 위해 ML 기반 이상 감지 기능을 제공합니다. 사용자는 코드(YAML) 또는 UI를 통해 메트릭, 스키마 변경 및 예약된 교차 데이터베이스 비교를 위한 모니터를 정의하고 Slack, PagerDuty 및 이메일을 통해 실시간 알림을 받을 수 있습니다.
• 컬럼 수준 리니지: 데이터 웨어하우스를 넘어 BI 도구(Tableau, Looker, Power BI) 및 기타 애플리케이션까지 확장되는 포괄적인 데이터 종속성 맵을 제공합니다. 이는 영향 분석, 근본 원인 분석 및 규정 준수에 중요합니다.
• 데이터 복제 테스트: 진행 중인 복제 파이프라인에서 소스 시스템과 대상 시스템 간의 데이터를 지속적으로 검증하여 미션 크리티컬 데이터가 항상 동기화되고 정확하게 유지되도록 보장합니다.

Datafold의 사용 사례

• 데이터 스택 현대화: 레거시 시스템(예: Oracle, Teradata, SQL Server)에서 최신 클라우드 데이터 플랫폼(예: Snowflake, BigQuery, Databricks)으로의 마이그레이션을 대폭 가속화합니다. 예를 들어, Faire는 Datafold를 사용하여 5,000개 이상의 테이블을 Redshift에서 Snowflake로 6개월 앞당겨 마이그레이션했습니다.
• dbt 개발 및 테스트: 모든 풀 리퀘스트를 자동으로 테스트하여 dbt 워크플로우를 강화하고, dbt 모델 변경이 데이터 품질 저하를 일으키지 않도록 보장합니다.
• BI 대시보드 정확성 보장: 컬럼 수준 리니지를 사용하여 소스에서 BI 대시보드까지 데이터를 추적하여 비즈니스 보고서가 신뢰할 수 있고 정확한 데이터 기반 위에 구축되도록 합니다.
• 복제 파이프라인 검증: Fivetran이나 Airbyte와 같은 데이터 수집 도구를 사용하는 조직의 경우, Datafold는 정기적인 데이터 비교를 예약하여 대상 웨어하우스의 데이터가 소스와 완벽하게 일치하는지 인증할 수 있습니다.

Datafold의 장점

• 전례 없는 속도: 프로세스의 가장 노동 집약적인 부분을 자동화하여 마이그레이션 타임라인을 수년에서 수주로 단축합니다.
• 보장된 정확성: 단순한 행 수 계산을 넘어 철저한 값 수준 검증으로 데이터 손실 또는 손상 위험을 제거합니다.
• 개발자 생산성 향상: CI/CD 파이프라인에서 데이터 버그를 조기에 발견하여 엔지니어가 더 빠르고 자신 있게 코드를 배포할 수 있도록 합니다.
• 사후 대응이 아닌 사전 예방: 데이터 품질에 대한 "shift-left" 철학을 구현하여 문제가 프로덕션 시스템과 비즈니스 운영에 영향을 미치기 전에 예방합니다.
• 신뢰 및 협업 강화: 감사 가능하고 부인할 수 없는 데이터 품질 증거를 제공하여 비즈니스 이해관계자와의 신뢰를 구축하고 프로젝트 승인을 간소화합니다.
• 안전하고 유연한 배포: 여러 배포 모델(SaaS, 단일 테넌트 VPC, 자체 호스팅)을 제공하며 SOC2 Type II, GDPR 및 HIPAA와 같은 주요 표준을 준수합니다.

가격 및 플랜

Datafold는 각 팀의 고유한 요구 사항에 맞춰 맞춤형 가격을 제공합니다. 가격 모델은 주로 사용자 수와 모니터링 및 테스트되는 테이블의 양을 기반으로 합니다. 플랫폼은 일반적으로 포괄적인 솔루션으로 판매되지만, 일회성 마이그레이션 변환 및 검증 또는 독립형 컬럼 수준 리니지와 같은 특정 기능은 별도로 구매할 수 있습니다. 정확한 가격 견적을 받으려면 잠재 고객은 공식 웹사이트에서 데모를 요청하여 Datafold 영업팀에 문의해야 합니다.