E-MapReduce:Descripción general de StarRocks

Qué es StarRocks

• StarRocks es una base de datos de procesamiento masivamente paralelo (MPP) de nueva generación, diseñada para ofrecer análisis unificados y rápidos en diversos escenarios.

• StarRocks es compatible con MySQL. Conéctese mediante clientes MySQL y herramientas de BI para analizar datos.

• StarRocks utiliza una arquitectura distribuida:

  • Particiona horizontalmente las tablas de datos y las almacena como varias réplicas.

  • El clúster escala para gestionar hasta 10 PB de datos.

  • Emplea cómputo paralelo MPP para acelerar las consultas.

  • Admite varias réplicas para garantizar la tolerancia a fallos.

Funciones principales

StarRocks combina el diseño de sistemas distribuidos con MPP. Sus funciones principales incluyen:

Arquitectura simplificada

• StarRocks ejecuta consultas SQL mediante su framework MPP y aprovecha todos los nodos en paralelo para efectuar análisis interactivos.

• Los clústeres de StarRocks no tienen dependencias externas, lo que simplifica el despliegue y el mantenimiento, además de mejorar la fiabilidad.

Motor completamente vectorizado

La capa de cómputo está totalmente vectorizada. Utiliza un diseño de memoria columnar e instrucciones SIMD para maximizar el paralelismo de la CPU, lo que permite efectuar análisis multidimensionales en menos de un segundo.

Optimización inteligente de consultas

StarRocks emplea un optimizador basado en costos (CBO) que estima los costos de ejecución y genera planes de consulta óptimos sin intervención manual, mejorando la eficiencia en cargas de trabajo ad hoc y ETL.

Consulta federada

StarRocks admite consultas federadas en tablas externas. Consulte directamente datos de Hive, MySQL, Elasticsearch, Iceberg y Hudi sin necesidad de importarlos.

Actualizaciones eficientes

StarRocks admite modelos de datos de detalle, agregación, clave primaria y actualización. El modelo de clave primaria admite operaciones Upsert y Delete. El almacenamiento y los índices optimizados permiten ejecutar consultas eficientes durante actualizaciones concurrentes, lo cual es ideal para almacenes de datos en tiempo real.

Vistas materializadas inteligentes

• Cree vistas materializadas para precalcular tablas de agregación y acelerar las consultas.

• Las vistas materializadas agregan datos automáticamente durante la importación y se mantienen consistentes con la tabla de origen.

• StarRocks selecciona automáticamente la mejor vista materializada para cada consulta.

SQL estándar

• StarRocks admite SQL estándar, incluidas agregaciones, JOINs, ordenamiento, funciones de ventana y funciones definidas por el usuario.

• StarRocks es totalmente compatible con las 22 consultas TPC-H y las 99 consultas TPC-DS.

• StarRocks es compatible con MySQL. Utilice sus herramientas cliente y software de BI existentes para efectuar análisis mediante arrastrar y soltar.

Procesamiento unificado de streaming y lotes

• StarRocks admite la importación de datos tanto en tiempo real como por lotes.

• Orígenes compatibles: Kafka, HDFS y archivos locales.

• Formatos compatibles: ORC, Parquet y CSV.

• StarRocks consume datos de Kafka en tiempo real con semántica exactly-once.

• Se admite la importación por lotes desde archivos locales y HDFS.

Alta disponibilidad y escalado sencillo

• StarRocks almacena metadatos y datos como varias réplicas con servicios en espera activa para evitar puntos únicos de fallo.

• El clúster se autorrepara automáticamente. Los fallos en los nodos no afectan la estabilidad general del servicio.

• El almacenamiento y el cómputo escalan de forma casi lineal. Un solo clúster admite cientos de nodos y hasta 10 PB de datos.

• Escale vertical u horizontalmente sin interrumpir el servicio. Las consultas continúan ejecutándose durante el escalado.

• StarRocks admite cambios de esquema en línea. Agregue o elimine columnas y cree vistas materializadas mientras continúan las importaciones y consultas.

Casos de uso