Orchestra

Orchestraは、企業や急成長中のスケールアップ企業向けの最新のデータスタックのバックボーンとして機能するように設計された、包括的なAIネイティブのデータパイプラインソリューションです。データとオーケストレーションのための統合管理プレーンを提供し、リーンなデータチームが前例のないスピードと効率でガバナンスの効いたデータパイプラインを構築、管理、監視できるようにします。Orchestraは、基盤となるインフラストラクチャの複雑さを抽象化することで、チームが価値の提供とAIアプリケーション向けのデータ準備に集中できるようにし、全体的な信頼性と信用を確保します。

このプラットフォームは、宣言的オーケストレーションの原則に基づいて構築されています。これは、ユーザーがデータワークフローの「何を」を定義すれば、Orchestraが「どのように」を処理することを意味します。このアプローチにより、学習曲線が大幅に低下し、経験豊富なデータエンジニアだけでなく、分析エンジニアやデータアナリストを含むより広範なユーザーがアクセスできるようになります。データインフラの保守とデバッグに通常費やされる時間を最大80％節約することを目的としています。

Orchestraの使い方

Orchestraの使用は、迅速な実装と使いやすさを目指して設計された、合理化されたプロセスです。

1. スタックの接続：既存のデータツールを統合することから始めます。Orchestraは、Snowflake、dbt Core、Fivetran、Airbyte、BigQuery、Databricks、Power BI、AWS Lambdaなどの一般的なサービス向けの広範なマネージド統合ライブラリを提供します。これにより、独自のスタックを持ち込み、妥協することなく構築できます。
2. データパイプラインの構築：直感的な宣言型GUIを活用してデータパイプラインを構築します。タスクの定義、依存関係の設定、複雑なワークフローの視覚的な作成が可能です。上級ユーザー向けに、OrchestraはGitベースのパイプラインをサポートしており、GitHubやAzure DevOpsなどのプラットフォームを使用したバージョン管理とCI/CDの実践が可能です。
3. オーケストレーションと監視：ジョブをスケジュールして実行します。統合管理プレーンは、すべてのエンドツーエンドパイプラインのステータスを表示するための単一の画面を提供します。実行中のもの、失敗したもの、完了したものをすべて1か所で確認できます。
4. 観測とアラート：フルスタックのデータ可観測性機能を活用します。Orchestraはメタデータを自動的に集約し、エンドツーエンドのデータリネージを提供して、データの流れを明確に把握できるようにします。問題が発生した瞬間に、ダウンストリームの消費者に影響が及ぶ前に、特定にチームメンバーにSlackなどのチャネルを通じて通知するプロアクティブなカスタムアラートを設定します。
5. デバッグと回復：障害が発生した場合、Orchestraは回復を簡単にします。視覚的なリネージは、障害点を正確に特定するのに役立ちます。その後、「障害点からの再実行」や自動リトライなどの機能を使用して問題を迅速に解決し、ダウンタイムと手動介入を最小限に抑えることができます。

Orchestraの主な機能

• 統合管理プレーン：すべてのデータパイプラインとオーケストレーションタスクを表示、管理、監視するための中央集権型プラットフォーム。
• 宣言的オーケストレーション：データワークフローを構築・管理するための直感的でローコードなグラフィカルインターフェースで、非エンジニアでも利用可能。
• フルスタックのデータ可観測性：完全なエンドツーエンドのデータリネージ、自動化されたメタデータ収集、データ品質とパイプラインの健全性のリアルタイム監視。
• プロアクティブなアラート：ビジネスオペレーションに影響を与える前に、適切なチームメンバーに障害やデータ品質の問題を通知する、カスタマイズ可能なターゲットアラート。
• 広範な統合：データウェアハウス、ELTツール、BIプラットフォーム、クラウドサービスなど、最新のデータスタックにある100以上のツールとのシームレスなマネージド接続。
• 自動化された回復とデバッグ：自動リトライや障害点からパイプラインを再実行する機能などにより、トラブルシューティングに費やす時間を大幅に削減。
• サーバーレスアーキテクチャ：複雑なインフラを維持する必要をなくし、予測可能でスケーラブルな価格設定を提供する、完全マネージドのサーバーレスバックエンド。
• エンタープライズグレードのセキュリティ：SOC2 Type 2およびISO 27001に準拠し、データセキュリティを確保するためにシングルサインオン（SSO）やロールベースのアクセス制御（RBAC）などの機能を提供。

Orchestraの使用例

Orchestraは多用途であり、多くのデータ関連の課題に適用できます。

• 最新のデータスタックの自動化：複雑なELTパイプラインをオーケストレーションします。たとえば、Fivetranの同期をトリガーし、その完了時にdbt Coreの変換ジョブを実行し、その後Power BIやTableauのダッシュボードを更新します。
• AIと機械学習パイプライン：データがクリーンで信頼性が高く、AIモデルに対応できるようにします。Orchestraは、AWS Sagemakerなどのプラットフォームでモデルのトレーニングとデプロイのジョブをトリガーおよび監視できます。
• コスト最適化：dbt CloudやセルフホストのAirflowなどの高価なコンピューティングベースのオーケストレーションツールから、Orchestraの費用対効果の高いサーバーレスモデルに移行し、TCOを大幅に削減します。
• シチズンデータプロフェッショナルの支援：分析エンジニアやデータアナリストが独自のデータパイプラインを構築・管理できるようにし、データエンジニアリングのリソースをより複雑な課題に集中させます。
• クラウド間およびハイブリッド展開：SSHトンネリングなどの機能を使用して、複数のクラウドプロバイダー（AWS、Azure、GCP）やオンプレミスシステムにまたがるデータワークフローを管理します。

Orchestraの利点

Orchestraを選択するチームは、さまざまな利点を得ることができます。

• スピードと俊敏性：従来のフレームワークよりも10倍速くデータパイプラインを実装できます。セットアップは数か月ではなく数日で完了します。
• メンテナンスオーバーヘッドの削減：自動化されたデバッグ、リネージ、アラートにより、メンテナンス時間を最大80％節約できます。
• 総所有コスト（TCO）の削減：予測可能な固定価格モデルにより、コンピューティングベースの請求に関連するコストの暴走を防ぎます。
• 可視性と信頼性の向上：統合されたビューとプロアクティブな品質チェックにより、データに対するステークホルダーの信頼を構築します。
• チームコラボレーションの改善：すべてのデータオペレーションに関する単一の信頼できる情報源を提供し、技術チームと非技術チームのメンバー間の結束を高めます。

料金プラン

Orchestraは、透明でスケーラブルな料金プランを提供しています。

• Leanプラン：月額$0。個人や小規模なスタートアップチームに最適です。ユーザー1名、環境1つ、パイプライン3つ、1日30分のコンピューティング分が含まれます。
• Scale Upプラン：月額$600 + コンピューティング分あたり$0.033。成長中のデータチーム向けに設計されています。ユーザー5名、環境2つ、パイプライン10、1日400分のコンピューティング分、およびより高度な機能が含まれます。
• Enterpriseプラン：カスタム価格。ユーザー、環境、パイプライン、コンピューティングに制限がなく、プレミアムサポートとセキュリティ機能が含まれる大企業向けのオーダーメイドソリューションです。