Datafold

Datafoldは、プロアクティブなデータ品質を実現するための統合プラットフォームであり、特にデータエンジニアリングチームの能力を強化するために設計されています。現代のデータワークフローにおける最も重要かつ困難な課題、すなわち絶対的なデータ完全性の確保とデータインフラの近代化の合理化に対応します。AI、高度な大規模言語モデル（LLM）、そして独自の「データ差分比較（data diffing）」技術の力を活用することで、Datafoldは最もエラーが発生しやすく時間のかかるタスクを自動化します。これにより、チームははるかに高速で信頼性の高いデータ製品を構築できます。

このプラットフォームは、データ品質は事後対応的なものではなく、開発ライフサイクルにおけるプロアクティブで不可欠な部分であるべきだという原則に基づいています。企業がレガシーシステムの制約を乗り越え、比類のない速度と精度でAI対応のデータスタックを自信を持って構築するために必要なツールを提供します。

Datafoldの使い方

Datafoldは既存のデータエンジニアリングワークフローにシームレスに統合され、さまざまなタスクに対して構造化された自動化アプローチを提供します。

データ移行の場合：

1. 計画：詳細な列レベルのリネージを活用して、すべてのデータ依存関係をマッピングし、移行の複雑さを正確に評価します。これにより、包括的な青写真が作成され、プロジェクトのタイムラインが予測可能かつ透明になります。
2. 変換：AI駆動のDatafold移行エージェント（DMA）は、あらゆるSQL方言やGUIベースの変換ロジックをターゲットシステムの構文に自動的に変換します（例：Oracle PL/SQLからSnowflake SQLへの移行）。インテリジェントなフィードバックループを使用して、完全な機能的パリティが達成されるまでコードを繰り返し改良します。
3. 検証：ここでDatafoldの中核的な「データ差分比較」機能が真価を発揮します。レガシーシステムと新システムの間で、すべてのレコードについて値レベルの比較を実行し、手動サンプリングや面倒なスクリプト作成なしで100%のデータ精度を自動的に検証します。
4. シップ：検証が成功すると、Datafoldは包括的なレポートと監査可能なデータ差分証拠を生成します。これにより、データパリティの具体的な証拠が提供され、ステークホルダーの承認を加速し、レガシーシステムを自信を持って廃止できます。

CI/CDでのデータ品質テストの場合：

1. 統合：DatafoldをGitHubやGitLabなどのバージョン管理システムに接続します。
2. 自動テスト：開発者がデータ変換コード（例：dbtモデル）の変更を含むプルリクエストを開くと、Datafoldが自動的にトリガーされ、開発環境と本番環境の間でデータ差分比較を実行します。
3. レビューとデプロイ：結果はプルリクエスト内に明確で簡潔なコメントとして投稿されます。これにより、レビュー担当者はコード変更がデータに与える正確な影響を値レベルで確認でき、データ品質問題が本番環境に到達するのを防ぎます。

Datafoldの主な機能

• AI搭載データ移行（Datafold移行エージェント - DMA）：異なる方言間のSQLコード変換から完全なエンドツーエンドの検証まで、移行ライフサイクル全体を自動化します。データ型処理の違い、非決定性関数、文字エンコーディングなどの複雑なエッジケースをインテリジェントに処理し、移行を最大6倍高速化します。
• データ差分比較（Data Diffing）：数十億行のデータセットであっても、効率的な値レベルの比較を実行する強力な検証エンジンです。追加、削除、変更を正確に特定し、100%のデータパリティを保証します。
• プロアクティブなCI/CDテスト：開発ワークフロー（シフトレフトテスト）に直接統合し、デプロイ前にデータ変換コードをテストします。変更が下流のテーブル、BIダッシュボード、リバースETLパイプラインに与える影響を視覚化する影響分析が含まれます。
• データモニタリングと可観測性：本番環境でのデータヘルスを監視するために、ML搭載の異常検出を提供します。ユーザーはコード（YAML）またはUIを介して、メトリクス、スキーマ変更、およびスケジュールされたクロスデータベース差分比較のモニターを定義し、Slack、PagerDuty、電子メールを介してリアルタイムのアラートを受け取ることができます。
• 列レベルのリネージ：データウェアハウスを超えてBIツール（Tableau、Looker、Power BI）や他のアプリケーションにまで及ぶ、包括的なデータ依存関係マップを提供します。これは、影響分析、根本原因分析、コンプライアンスに不可欠です。
• データレプリケーションテスト：進行中のレプリケーションパイプラインでソースシステムとターゲットシステム間のデータを継続的に検証し、ミッションクリティカルなデータが常に同期され、正確であることを保証します。

Datafoldの使用例

• データスタックの近代化：レガシーシステム（例：Oracle、Teradata、SQL Server）から最新のクラウドデータプラットフォーム（例：Snowflake、BigQuery、Databricks）への移行を大幅に加速します。例えば、Faire社はDatafoldを使用して5,000以上のテーブルをRedshiftからSnowflakeに予定より6ヶ月早く移行しました。
• dbt開発とテスト：すべてのプルリクエストを自動的にテストすることでdbtワークフローを強化し、dbtモデルの変更がデータ品質の低下を引き起こさないことを保証します。
• BIダッシュボードの正確性確保：列レベルのリネージを使用して、ソースからBIダッシュボードまでのデータを追跡し、ビジネスレポートが信頼性の高い正確なデータ基盤の上に構築されていることを保証します。
• レプリケーションパイプラインの検証：FivetranやAirbyteなどのデータ取り込みツールを使用している組織の場合、Datafoldは定期的なデータ差分比較をスケジュールして、ターゲットウェアハウスのデータがソースと完全に一致することを証明できます。

Datafoldの利点

• 前例のない速度：プロセスの最も労働集約的な部分を自動化することで、移行のタイムラインを数年から数週間に短縮します。
• 保証された精度：単純な行数カウントを超えて、網羅的な値レベルの検証を行い、データ損失や破損のリスクを排除します。
• 開発者ベロシティの向上：CI/CDパイプラインの早い段階でデータバグをキャッチし、エンジニアがより速く、より自信を持ってコードをシップできるようにします。
• リアクティブではなくプロアクティブ：データ品質に対して「シフトレフト」の哲学を実装し、問題が本番システムやビジネスオペレーションに影響を与える前に防止します。
• 信頼と協力の強化：監査可能で否定できないデータ品質の証拠を提供し、ビジネスステークホルダーとの信頼を築き、プロジェクトの承認を合理化します。
• 安全で柔軟なデプロイ：複数のデプロイモデル（SaaS、シングルテナントVPC、セルフホスト）を提供し、SOC2 Type II、GDPR、HIPAAなどの主要な標準に準拠しています。

料金プラン

Datafoldは、各チームの固有の要件に合わせたカスタム価格設定を提供します。価格モデルは主に、ユーザー数と監視およびテストされるテーブルの量に基づいています。プラットフォームは通常、包括的なソリューションとして販売されますが、1回限りの移行変換と検証、またはスタンドアロンの列レベルのリネージなどの特定の機能は別途購入できます。正確な価格見積もりを取得するには、見込み顧客は公式ウェブサイトでデモをリクエストして、Datafoldの営業チームに連絡する必要があります。