Orchestra

Orchestra는 기업 및 빠르게 성장하는 스케일업을 위한 최신 데이터 스택의 중추 역할을 하도록 설계된 포괄적인 AI 네이티브 데이터 파이프라이닝 솔루션입니다. 데이터 및 오케스트레이션을 위한 통합 제어 플레인을 제공하여 소규모 데이터 팀이 전례 없는 속도와 효율성으로 거버넌스가 적용된 데이터 파이프라인을 구축, 관리 및 모니터링할 수 있도록 지원합니다. Orchestra는 기본 인프라의 복잡성을 추상화함으로써 팀이 가치 제공 및 AI 애플리케이션을 위한 데이터 준비에 집중할 수 있도록 하여 전반적인 신뢰성과 안정성을 보장합니다.

이 플랫폼은 선언적 오케스트레이션 원칙에 따라 구축되었습니다. 즉, 사용자는 데이터 워크플로우의 '무엇'을 정의하고 Orchestra가 '어떻게'를 처리합니다. 이 접근 방식은 학습 곡선을 크게 낮추어 숙련된 데이터 엔지니어뿐만 아니라 분석 엔지니어 및 데이터 분석가를 포함한 더 넓은 범위의 사용자가 접근할 수 있도록 합니다. 데이터 인프라 유지 관리 및 디버깅에 일반적으로 소요되는 시간을 최대 80%까지 절약하는 것을 목표로 합니다.

Orchestra 사용 방법

Orchestra 사용은 신속한 구현과 사용 편의성을 위해 설계된 간소화된 프로세스입니다.

1. 스택 연결: 기존 데이터 도구를 통합하는 것으로 시작합니다. Orchestra는 Snowflake, dbt Core, Fivetran, Airbyte, BigQuery, Databricks, Power BI 및 AWS Lambda와 같은 인기 있는 서비스를 위한 방대한 관리형 통합 라이브러리를 제공합니다. 이를 통해 자체 스택을 가져와 타협 없이 구축할 수 있습니다.
2. 데이터 파이프라인 구축: 직관적인 선언적 GUI를 활용하여 데이터 파이프라인을 구성합니다. 작업을 정의하고, 종속성을 설정하고, 복잡한 워크플로우를 시각적으로 생성할 수 있습니다. 고급 사용자를 위해 Orchestra는 Git 기반 파이프라인을 지원하여 GitHub 및 Azure DevOps와 같은 플랫폼을 사용한 버전 관리 및 CI/CD 관행을 허용합니다.
3. 오케스트레이션 및 모니터링: 작업을 예약하고 실행합니다. 통합 제어 플레인은 모든 엔드투엔드 파이프라인의 상태를 볼 수 있는 단일 창을 제공합니다. 실행 중인 것, 실패한 것, 완료된 것을 모두 한 곳에서 볼 수 있습니다.
4. 관찰 및 알림: 풀스택 데이터 관측 가능성 기능을 활용합니다. Orchestra는 메타데이터를 자동으로 집계하고 엔드투엔드 데이터 계보를 제공하여 데이터의 여정을 명확하게 파악할 수 있습니다. 문제가 발생하면 다운스트림 소비자에게 영향을 미치기 전에 특정 팀원에게 Slack 또는 기타 채널을 통해 알리는 사전 예방적 맞춤형 알림을 설정합니다.
5. 디버깅 및 복구: 장애가 발생하면 Orchestra는 복구를 간단하게 만듭니다. 시각적 계보는 장애 지점을 정확히 찾아내는 데 도움이 됩니다. 그런 다음 '장애 지점부터 다시 실행' 및 자동 재시도와 같은 기능을 사용하여 문제를 신속하게 해결하고 다운타임과 수동 개입을 최소화할 수 있습니다.

Orchestra의 핵심 기능

• 통합 제어 플레인: 모든 데이터 파이프라인 및 오케스트레이션 작업을 보고, 관리하고, 모니터링하는 중앙 집중식 플랫폼입니다.
• 선언적 오케스트레이션: 데이터 워크플로우를 구축하고 관리하기 위한 직관적인 로우코드 그래픽 인터페이스로, 비엔지니어도 접근할 수 있습니다.
• 풀스택 데이터 관측 가능성: 완전한 엔드투엔드 데이터 계보, 자동화된 메타데이터 수집, 데이터 품질 및 파이프라인 상태의 실시간 모니터링.
• 사전 예방적 알림: 비즈니스 운영에 영향을 미치기 전에 올바른 팀원에게 장애 또는 데이터 품질 문제에 대해 알리는 맞춤형 타겟 알림.
• 광범위한 통합: 데이터 웨어하우스, ELT 도구, BI 플랫폼 및 클라우드 서비스를 포함한 최신 데이터 스택의 100개 이상의 도구와 원활하고 관리되는 연결.
• 자동화된 복구 및 디버깅: 자동 재시도 및 장애 지점부터 파이프라인을 다시 실행하는 기능과 같은 기능은 문제 해결에 소요되는 시간을 대폭 줄입니다.
• 서버리스 아키텍처: 복잡한 인프라를 유지할 필요가 없는 완전 관리형 서버리스 백엔드로, 예측 가능하고 확장 가능한 가격을 제공합니다.
• 엔터프라이즈급 보안: SOC2 Type 2 및 ISO 27001을 준수하며, 데이터 보안을 보장하기 위해 SSO(Single Sign-On) 및 역할 기반 액세스 제어(RBAC)와 같은 기능을 제공합니다.

Orchestra의 사용 사례

Orchestra는 다재다능하며 수많은 데이터 관련 과제에 적용될 수 있습니다.

• 최신 데이터 스택 자동화: 복잡한 ELT 파이프라인을 오케스트레이션합니다. 예를 들어, Fivetran 동기화를 트리거하고, 완료 시 dbt Core 변환 작업을 실행한 다음, Power BI 또는 Tableau 대시보드를 새로 고칩니다.
• AI 및 머신 러닝 파이프라인: 데이터가 깨끗하고 신뢰할 수 있으며 AI 모델에 준비되었는지 확인합니다. Orchestra는 AWS Sagemaker와 같은 플랫폼에서 모델 훈련 및 배포 작업을 트리거하고 모니터링할 수 있습니다.
• 비용 최적화: dbt Cloud 또는 자체 호스팅 Airflow와 같은 비싼 컴퓨팅 기반 오케스트레이션 도구에서 Orchestra의 비용 효율적인 서버리스 모델로 마이그레이션하여 TCO를 크게 낮춥니다.
• 시민 데이터 전문가 역량 강화: 분석 엔지니어와 데이터 분석가가 자체 데이터 파이프라인을 구축하고 관리할 수 있도록 하여 데이터 엔지니어링 리소스를 더 복잡한 과제에 집중할 수 있도록 합니다.
• 클라우드 간 및 하이브리드 배포: SSH 터널링과 같은 기능을 사용하여 여러 클라우드 제공업체(AWS, Azure, GCP) 또는 온프레미스 시스템에 걸친 데이터 워크플로우를 관리합니다.

Orchestra의 장점

Orchestra를 선택하는 팀은 다양한 이점을 누릴 수 있습니다.

• 속도와 민첩성: 레거시 프레임워크보다 10배 빠르게 데이터 파이프라인을 구현합니다. 설정은 몇 달이 아닌 며칠이 걸립니다.
• 유지 관리 오버헤드 감소: 자동화된 디버깅, 계보 및 알림 덕분에 유지 관리 시간을 최대 80% 절약할 수 있습니다.
• 낮은 총 소유 비용(TCO): 예측 가능한 고정 가격 모델은 컴퓨팅 기반 청구와 관련된 통제 불능의 비용을 방지합니다.
• 향상된 가시성 및 신뢰: 통합된 보기와 사전 예방적 품질 검사는 데이터에 대한 이해 관계자의 신뢰를 구축합니다.
• 개선된 팀 협업: 모든 데이터 운영에 대한 단일 정보 소스를 제공하여 기술 및 비기술 팀원 간의 결속력을 향상시킵니다.

가격 및 플랜

Orchestra는 투명하고 확장 가능한 가격 플랜을 제공합니다.

• Lean 플랜: 월 $0. 개인 및 시작하는 소규모 팀에 이상적입니다. 사용자 1명, 환경 1개, 파이프라인 3개, 일일 컴퓨팅 시간 30분이 포함됩니다.
• Scale Up 플랜: 월 $600 + 컴퓨팅 분당 $0.033. 성장하는 데이터 팀을 위해 설계되었습니다. 사용자 5명, 환경 2개, 파이프라인 10개, 일일 컴퓨팅 시간 400분 및 고급 기능이 포함됩니다.
• Enterprise 플랜: 맞춤형 가격. 사용자, 환경, 파이프라인 또는 컴퓨팅에 제한이 없는 대규모 조직을 위한 맞춤형 솔루션으로, 프리미엄 지원 및 보안 기능이 포함됩니다.