E-MapReduce:StarRocks

O que é o StarRocks

• O StarRocks é um banco de dados Massively Parallel Processing (MPP) de última geração, projetado para análises unificadas e rápidas em diversos cenários.

• Compatível com MySQL, o StarRocks permite conexão via clientes MySQL e ferramentas de BI para análise de dados.

• A arquitetura distribuída do StarRocks oferece os seguintes benefícios:

  • Particiona horizontalmente as tabelas de dados e as armazena como múltiplas réplicas.

  • Dimensiona o cluster para suportar até 10 PB de dados.

  • Utiliza computação paralela MPP para acelerar consultas.

  • Suporta múltiplas réplicas para garantir tolerância a falhas.

Principais recursos

O StarRocks combina MPP e design de sistemas distribuídos. Seus principais recursos incluem:

Arquitetura simplificada

• Executa consultas SQL por meio do framework MPP e aproveita todos os nós em paralelo para análises interativas.

• Não possui dependências externas, o que simplifica a implantação e a manutenção, além de aumentar a confiabilidade dos clusters.

Motor totalmente vetorizado

A camada de computação é totalmente vetorizada. Ela utiliza layout de memória colunar e instruções SIMD para maximizar o paralelismo da CPU, permitindo análises multidimensionais em menos de um segundo.

Otimização inteligente de consultas

O StarRocks usa um otimizador baseado em custo (CBO) que estima os custos de execução e gera planos de consulta ideais sem intervenção manual, aumentando a eficiência em cargas de trabalho ad hoc e ETL.

Consulta federada

Oferece suporte a consultas federadas em tabelas externas. Consulte dados do Hive, MySQL, Elasticsearch, Iceberg e Hudi diretamente, sem necessidade de importação.

Atualizações eficientes

O StarRocks suporta modelos de dados de detalhe, agregação, chave primária e atualização. O modelo de chave primária permite operações de Upsert e Delete. O armazenamento e os índices otimizados viabilizam consultas eficientes durante atualizações simultâneas, sendo ideal para data warehouses em tempo real.

Visualizações materializadas inteligentes

• Crie visualizações materializadas para pré-calcular tabelas de agregação e acelerar consultas.

• As visualizações materializadas agregam dados automaticamente durante a importação e mantêm a consistência com a tabela de origem.

• O StarRocks seleciona automaticamente a melhor visualização materializada para cada consulta.

SQL padrão

• Suporta SQL padrão, incluindo agregação, JOINs, ordenação, window functions e funções definidas pelo usuário.

• É totalmente compatível com todas as 22 consultas TPC-H e as 99 consultas TPC-DS.

• Por ser compatível com MySQL, permite o uso de ferramentas cliente e softwares de BI existentes para análises com arrastar e soltar.

Processamento unificado de stream e batch

• Importa dados tanto em tempo real quanto em lote.

• Fontes suportadas: Kafka, HDFS e arquivos locais.

• Formatos suportados: ORC, Parquet e CSV.

• Consome dados do Kafka em tempo real com semântica exactly-once.

• Importa em lote a partir de arquivos locais e HDFS.

Alta disponibilidade e dimensionamento fácil

• Armazena metadados e dados em múltiplas réplicas com serviços em hot standby para evitar pontos únicos de falha.

• Recupera-se automaticamente de falhas. Problemas em nós não afetam a estabilidade geral do serviço.

• Dimensiona armazenamento e computação de forma quase linear. Um único cluster suporta centenas de nós e até 10 PB de dados.

• Expande ou reduz a escala sem interrupção do serviço. As consultas continuam em execução durante o dimensionamento.

• Altera o schema online. Adicione ou remova colunas e crie visualizações materializadas enquanto importações e consultas continuam ativas.

Casos de uso