Starburst

O Starburst é uma sofisticada plataforma de data lakehouse projetada para desbloquear o valor de dados distribuídos para análise e inteligência artificial. Construído sobre o poderoso motor de consulta de código aberto Trino (anteriormente PrestoSQL), o Starburst fornece um ponto de acesso único e unificado aos dados, independentemente de sua localização — seja em data lakes na nuvem, data warehouses on-premises ou ambientes híbridos multi-nuvem. O princípio central do Starburst é levar a consulta aos dados, e não o contrário. Isso elimina a necessidade de processos de movimentação de dados e ETL caros, complexos e lentos, permitindo que as organizações analisem seus dados no local, em tempo quase real.

A plataforma foi projetada para alto desempenho e escalabilidade massiva, capaz de executar consultas SQL complexas em conjuntos de dados de petabytes com milhares de usuários simultâneos. Ela serve como a camada de consulta e acesso em arquiteturas de dados modernas, como o data lakehouse e a malha de dados (data mesh), capacitando as equipes de dados a construir modelos de IA mais rápidos e precisos e a fornecer insights de business intelligence mais rapidamente.

Como usar o Starburst

Começar a usar o Starburst é projetado para ser flexível e se alinhar com a estratégia de infraestrutura da sua organização. O processo geralmente envolve estes passos:

1. Escolha seu Modelo de Implantação: Selecione entre duas ofertas principais. O Starburst Galaxy é uma plataforma SaaS totalmente gerenciada, ideal para equipes que desejam começar rapidamente na nuvem sem gerenciar a infraestrutura. O Starburst Enterprise é um pacote de software autogerenciado para implantação em seus próprios data centers on-premises ou nuvem privada, oferecendo controle e personalização máximos.
2. Conecte suas Fontes de Dados: Use a extensa biblioteca do Starburst com mais de 50 conectores para se conectar às suas várias fontes de dados. Isso inclui data lakes (Amazon S3, Google Cloud Storage, Azure Data Lake Storage), data warehouses (Snowflake, Redshift), bancos de dados relacionais (PostgreSQL, MySQL), bancos de dados NoSQL (MongoDB, Cassandra) e muito mais.
3. Descubra e Governe os Dados: Utilize as ferramentas de descoberta de dados da plataforma para pesquisar e entender os conjuntos de dados disponíveis em todas as fontes conectadas. Implemente políticas robustas de segurança e governança usando recursos integrados para controle de acesso baseado em função (RBAC) e controle de acesso baseado em atributo (ABAC) para garantir que os dados sejam acessados de forma segura e em conformidade.
4. Consulte e Analise: Cientistas de dados, analistas e aplicativos de IA agora podem usar SQL ANSI padrão para executar consultas em qualquer combinação de fontes de dados conectadas. As consultas são executadas pelo motor distribuído Trino, fornecendo resultados rápidos para análises ad-hoc, painéis de BI e preparação de dados para aprendizado de máquina.

Recursos principais do Starburst

• Motor de Consulta de Alto Desempenho: Alimentado pelo Trino, oferece processamento massivamente paralelo (MPP) para consultas SQL ultrarrápidas em grandes conjuntos de dados.
• Federação de Dados: Uma única consulta pode unir dados de múltiplas fontes distintas (por exemplo, um data lake e um banco de dados relacional) sem movimentação de dados.
• Conectividade Extensa: Uma vasta biblioteca de mais de 50 conectores para acessar dados onde quer que eles estejam, com suporte nativo para formatos de tabela abertos como Apache Iceberg, Delta Lake e Apache Hudi.
• Warp Speed: Uma tecnologia proprietária de indexação inteligente e cache que acelera drasticamente as consultas (até 7x) e reduz os custos de computação, criando e gerenciando visualizações materializadas automaticamente.
• Segurança de Nível Empresarial: Apresenta controle de acesso refinado, segurança em nível de coluna, mascaramento de dados e auditoria abrangente para atender a requisitos de conformidade rigorosos.
• Implantação Flexível: Disponível como um serviço de nuvem totalmente gerenciado (Starburst Galaxy) ou uma plataforma autogerenciada para ambientes on-prem e híbridos (Starburst Enterprise).
• Descoberta e Catalogação de Dados: Ferramentas integradas para ajudar os usuários a encontrar, entender e confiar facilmente nos dados de que precisam para suas análises.

Casos de uso para o Starburst

O Starburst é versátil e aborda vários desafios críticos de dados:

• IA e Aprendizado de Máquina: Fornece aos modelos de IA acesso rápido e unificado a todos os dados da empresa, reduzindo significativamente o tempo gasto na preparação de dados e engenharia de recursos.
• Análise de Data Lakehouse: Permite que as organizações construam e consultem um data lakehouse de alto desempenho em armazenamento de objetos em nuvem acessível, alcançando desempenho semelhante ao de um data warehouse por uma fração do custo.
• BI e Análise Interativa: Alimenta painéis interativos e consultas ad-hoc para usuários de negócios, entregando insights em segundos ou minutos, não em horas ou dias.
• Implementação de Malha de Dados (Data Mesh): Serve como o plano universal de consulta e acesso a dados em uma arquitetura de malha de dados, permitindo que as equipes de domínio descubram e consumam facilmente produtos de dados de toda a organização.
• Análise Multi-Nuvem e Híbrida: Permite consultar e analisar dados que estão espalhados por diferentes provedores de nuvem (AWS, Azure, GCP) e sistemas on-premises sem transferências de dados dispendiosas.

Vantagens do Starburst

As principais vantagens de adotar o Starburst incluem:

• Velocidade: Reduz drasticamente os tempos de consulta, permitindo uma tomada de decisão e inovação mais rápidas.
• Custo-Benefício: Elimina a duplicação cara de dados e reduz a dependência de data warehouses tradicionais caros e pipelines de ETL complexos.
• Simplicidade: Fornece um único ponto de acesso e um único dialeto SQL para todos os dados, simplificando a pilha de dados e democratizando o acesso aos dados.
• Flexibilidade: Funciona com seus dados e infraestrutura existentes, evitando o aprisionamento a fornecedores e apoiando uma arquitetura aberta e à prova de futuro.
• Governança Aprimorada: Centraliza a segurança de dados e o controle de acesso, facilitando o gerenciamento da conformidade e a redução de riscos.

Preços e planos

O Starburst oferece uma estrutura de preços flexível, adaptada a diferentes necessidades:

• Starburst Galaxy: Opera em um modelo freemium e baseado no consumo. Inclui um teste gratuito com até $500 em créditos de uso para permitir que novos usuários explorem as capacidades da plataforma. Após o teste, o preço é baseado no uso, proporcionando escalabilidade com bom custo-benefício.
• Starburst Enterprise: Esta opção autogerenciada tem preços através de licenças empresariais personalizadas. As partes interessadas são incentivadas a entrar em contato com a equipe de vendas do Starburst para um orçamento personalizado e para solicitar uma chave de licença de teste.