Starburst

Starburst는 분석 및 인공 지능을 위해 분산된 데이터의 가치를 실현하도록 설계된 정교한 데이터 레이크하우스 플랫폼입니다. 강력한 오픈 소스 Trino(이전 PrestoSQL) 쿼리 엔진을 기반으로 구축된 Starburst는 데이터의 위치(클라우드 데이터 레이크, 온프레미스 데이터 웨어하우스 또는 하이브리드 멀티 클라우드 환경)에 관계없이 데이터에 대한 단일 통합 액세스 지점을 제공합니다. Starburst의 핵심 원칙은 데이터를 쿼리로 가져오는 것이 아니라 쿼리를 데이터로 가져오는 것입니다. 이를 통해 비용이 많이 들고 복잡하며 느린 데이터 이동 및 ETL 프로세스가 필요 없어져 조직은 거의 실시간으로 데이터를 제자리에서 분석할 수 있습니다.

이 플랫폼은 고성능 및 대규모 확장성을 위해 설계되었으며, 수천 명의 동시 사용자와 함께 페타바이트 규모의 데이터 세트에서 복잡한 SQL 쿼리를 실행할 수 있습니다. 데이터 레이크하우스 및 데이터 메시와 같은 최신 데이터 아키텍처에서 쿼리 및 액세스 계층 역할을 하여 데이터 팀이 더 빠르고 정확한 AI 모델을 구축하고 더 빠른 비즈니스 인텔리전스 통찰력을 제공할 수 있도록 지원합니다.

Starburst 사용 방법

Starburst를 시작하는 과정은 유연하게 설계되었으며 조직의 인프라 전략과 일치합니다. 이 과정은 일반적으로 다음 단계를 포함합니다.

1. 배포 모델 선택: 두 가지 주요 제품 중에서 선택하십시오. Starburst Galaxy는 인프라 관리 없이 클라우드에서 빠르게 시작하려는 팀에 이상적인 완전 관리형 SaaS 플랫폼입니다. Starburst Enterprise는 자체 온프레미스 데이터 센터 또는 프라이빗 클라우드에 배포하기 위한 자체 관리형 소프트웨어 패키지로, 최대의 제어 및 사용자 정의를 제공합니다.
2. 데이터 소스 연결: Starburst의 50개 이상의 커넥터로 구성된 광범위한 라이브러리를 사용하여 다양한 데이터 소스에 연결합니다. 여기에는 데이터 레이크(Amazon S3, Google Cloud Storage, Azure Data Lake Storage), 데이터 웨어하우스(Snowflake, Redshift), 관계형 데이터베이스(PostgreSQL, MySQL), NoSQL 데이터베이스(MongoDB, Cassandra) 등이 포함됩니다.
3. 데이터 검색 및 거버넌스: 플랫폼의 데이터 검색 도구를 활용하여 연결된 모든 소스에서 사용 가능한 데이터 세트를 검색하고 이해합니다. 역할 기반 액세스 제어(RBAC) 및 속성 기반 액세스 제어(ABAC)를 위한 내장 기능을 사용하여 강력한 보안 및 거버넌스 정책을 구현하여 데이터가 안전하고 규정을 준수하여 액세스되도록 합니다.
4. 쿼리 및 분석: 데이터 과학자, 분석가 및 AI 애플리케이션은 이제 표준 ANSI SQL을 사용하여 연결된 데이터 소스의 모든 조합에 대해 쿼리를 실행할 수 있습니다. 쿼리는 분산된 Trino 엔진에 의해 실행되어 임시 분석, BI 대시보드 및 기계 학습을 위한 데이터 준비에 대한 빠른 결과를 제공합니다.

Starburst의 핵심 기능

• 고성능 쿼리 엔진: Trino로 구동되며, 대규모 데이터 세트에서 초고속 SQL 쿼리를 위한 대규모 병렬 처리(MPP)를 제공합니다.
• 데이터 연합: 단일 쿼리로 데이터 이동 없이 여러 이종 소스(예: 데이터 레이크와 관계형 데이터베이스)의 데이터를 조인할 수 있습니다.
• 광범위한 연결성: 50개 이상의 커넥터로 구성된 방대한 라이브러리를 통해 데이터가 있는 곳 어디에서나 액세스할 수 있으며, Apache Iceberg, Delta Lake, Apache Hudi와 같은 개방형 테이블 형식을 기본적으로 지원합니다.
• Warp Speed: 구체화된 뷰를 자동으로 생성하고 관리하여 쿼리를 극적으로 가속화(최대 7배)하고 컴퓨팅 비용을 절감하는 독점적인 스마트 인덱싱 및 캐싱 기술입니다.
• 엔터프라이즈급 보안: 엄격한 규정 준수 요구 사항을 충족하기 위해 세분화된 액세스 제어, 열 수준 보안, 데이터 마스킹 및 포괄적인 감사를 제공합니다.
• 유연한 배포: 완전 관리형 클라우드 서비스(Starburst Galaxy) 또는 온프레미스 및 하이브리드 환경을 위한 자체 관리형 플랫폼(Starburst Enterprise)으로 제공됩니다.
• 데이터 검색 및 카탈로그: 사용자가 분석에 필요한 데이터를 쉽게 찾고, 이해하고, 신뢰할 수 있도록 돕는 통합 도구입니다.

Starburst의 사용 사례

Starburst는 다재다능하며 여러 중요한 데이터 과제를 해결합니다.

• AI 및 기계 학습: AI 모델에 모든 엔터프라이즈 데이터에 대한 빠르고 통합된 액세스를 제공하여 데이터 준비 및 기능 엔지니어링에 소요되는 시간을 크게 줄입니다.
• 데이터 레이크하우스 분석: 조직이 저렴한 클라우드 객체 스토리지에 고성능 데이터 레이크하우스를 구축하고 쿼리하여 훨씬 저렴한 비용으로 데이터 웨어하우스와 같은 성능을 달성할 수 있도록 합니다.
• BI 및 대화형 분석: 비즈니스 사용자를 위한 대화형 대시보드 및 임시 쿼리를 지원하여 몇 시간이나 며칠이 아닌 몇 초 또는 몇 분 만에 통찰력을 제공합니다.
• 데이터 메시 구현: 데이터 메시 아키텍처에서 보편적인 쿼리 및 데이터 액세스 평면 역할을 하여 도메인 팀이 조직 전체의 데이터 제품을 쉽게 검색하고 사용할 수 있도록 합니다.
• 클라우드 간 및 하이브리드 분석: 비용이 많이 드는 데이터 전송 없이 여러 클라우드 제공업체(AWS, Azure, GCP)와 온프레미스 시스템에 분산된 데이터를 쿼리하고 분석할 수 있습니다.

Starburst의 장점

Starburst를 채택하는 주요 이점은 다음과 같습니다.

• 속도: 쿼리 시간을 대폭 단축하여 더 빠른 의사 결정과 혁신을 가능하게 합니다.
• 비용 효율성: 비싼 데이터 복제를 없애고 값비싼 기존 데이터 웨어하우스 및 복잡한 ETL 파이프라인에 대한 의존도를 줄입니다.
• 단순성: 모든 데이터에 대해 단일 액세스 지점과 단일 SQL 방언을 제공하여 데이터 스택을 단순화하고 데이터 액세스를 민주화합니다.
• 유연성: 기존 데이터 및 인프라와 함께 작동하여 공급업체 종속을 피하고 미래 지향적인 개방형 아키텍처를 지원합니다.
• 향상된 거버넌스: 데이터 보안 및 액세스 제어를 중앙 집중화하여 규정 준수 관리를 용이하게 하고 위험을 줄입니다.

가격 및 플랜

Starburst는 다양한 요구에 맞는 유연한 가격 구조를 제공합니다.

• Starburst Galaxy: 프리미엄 및 소비 기반 모델로 운영됩니다. 새로운 사용자가 플랫폼의 기능을 탐색할 수 있도록 최대 500달러의 사용 크레딧이 포함된 무료 평가판을 제공합니다. 평가판 이후에는 사용량에 따라 가격이 책정되어 비용 효율적인 확장성을 제공합니다.
• Starburst Enterprise: 이 자체 관리형 옵션은 맞춤형 엔터프라이즈 라이선스를 통해 가격이 책정됩니다. 관심 있는 당사자는 Starburst 영업팀에 연락하여 맞춤형 견적을 받고 평가판 라이선스 키를 요청하는 것이 좋습니다.