E-MapReduce:Visão geral do StarRocks

O que é o StarRocks

• O StarRocks é um banco de dados Massively Parallel Processing (MPP) de última geração, projetado para análises unificadas e rápidas em diversos cenários.

• O StarRocks é compatível com MySQL. Use clientes MySQL e ferramentas de BI para analisar dados.

• O StarRocks utiliza uma arquitetura distribuída:

  • Particiona horizontalmente as tabelas de dados e as armazena como múltiplas réplicas.

  • O cluster escala para processar até 10 PB de dados.

  • Utiliza computação paralela MPP para acelerar consultas.

  • Oferece suporte a múltiplas réplicas para garantir tolerância a falhas.

Principais recursos

O StarRocks combina MPP e design de sistemas distribuídos. Os principais recursos incluem:

Arquitetura simplificada

• O StarRocks executa consultas SQL por meio de seu framework MPP e aproveita todos os nós em paralelo para análises interativas.

• Os clusters do StarRocks não possuem dependências externas, o que simplifica a implantação e a manutenção, além de aumentar a confiabilidade.

Engine totalmente vetorizada

A camada de computação é totalmente vetorizada. Ela utiliza layout de memória colunar e instruções SIMD para maximizar o paralelismo da CPU e permitir análises multidimensionais em menos de um segundo.

Otimização inteligente de consultas

O StarRocks usa um otimizador baseado em custo (CBO) que estima os custos de execução e gera planos de consulta ideais sem intervenção manual, melhorando a eficiência para cargas de trabalho ad hoc e ETL.

Consulta federada

O StarRocks oferece suporte a consultas federadas em tabelas externas. Consulte dados do Hive, MySQL, Elasticsearch, Iceberg e Hudi diretamente, sem precisar importá-los.

Atualizações eficientes

O StarRocks suporta modelos de dados de detalhe, agregação, chave primária e atualização. O modelo de chave primária permite operações de Upsert e Delete. O armazenamento e os índices otimizados viabilizam consultas eficientes durante atualizações simultâneas, sendo ideal para data warehouses em tempo real.

Visualizações materializadas inteligentes

• Crie visualizações materializadas para pré-calcular tabelas de agregação e acelerar consultas.

• As visualizações materializadas agregam dados automaticamente durante a importação e mantêm a consistência com a tabela de origem.

• O StarRocks seleciona automaticamente a melhor visualização materializada para cada consulta.

SQL padrão

• O StarRocks suporta SQL padrão, incluindo agregações, JOINs, ordenação, window functions e funções definidas pelo usuário.

• Há suporte completo para todas as 22 consultas TPC-H e todas as 99 consultas TPC-DS.

• Devido à compatibilidade com MySQL, utilize ferramentas cliente e softwares de BI existentes para análises com arrastar e soltar.

Processamento unificado de stream e batch

• O StarRocks suporta importação de dados tanto em tempo real quanto em lote.

• Fontes suportadas: Kafka, HDFS e arquivos locais.

• Formatos suportados: ORC, Parquet e CSV.

• O StarRocks consome dados do Kafka em tempo real com semântica exactly-once.

• A importação em lote é suportada a partir de arquivos locais e HDFS.

Alta disponibilidade e dimensionamento facilitado

• O StarRocks armazena metadados e dados como múltiplas réplicas, com serviços em hot standby para evitar pontos únicos de falha.

• O cluster possui autocura automática. Falhas em nós não afetam a estabilidade geral do service.

• Armazenamento e computação escalam de forma quase linear. Um único cluster suporta centenas de nós e até 10 PB de dados.

• Escale verticalmente ou horizontalmente sem interrupção do service. As consultas continuam em execução durante o dimensionamento.

• O StarRocks suporta alterações de schema online. Adicione ou remova colunas e crie visualizações materializadas enquanto importações e consultas continuam.

Casos de uso