Analizar grandes conjuntos de datos JSON en sistemas compatibles con MySQL históricamente ha implicado una concesión: aceptar un análisis sintáctico lento en tiempo real dentro de las bases de datos tradicionales, o ejecutar canalizaciones de extracción, transformación y carga (ETL) hacia un almacén de datos y asumir el costo de la rigidez del esquema. In-Memory Column Index (IMCI) de PolarDB elimina esta concesión. Usted almacena los datos JSON tal cual y los consulta con rendimiento orientado a columnas, mientras agrega estructura de forma incremental conforme se estabilizan los patrones de consulta.
Este tema aborda las capacidades de IMCI que permiten analizar datos JSON: almacenamiento de JSON orientado a columnas, columnas virtuales, DDL instantáneo y el límite ampliado de columnas. También incluye pruebas de rendimiento y dos casos de estudio sobre migración de clientes.
Cómo funciona
IMCI almacena las columnas JSON en un formato JSON binario y utiliza RapidJSON para analizarlas sintácticamente. Durante las consultas, solo se leen las rutas JSON a las que se accede. Esta estrategia reduce las operaciones de E/S en comparación con el análisis de filas JSON completas, ya que combina compresión, single instruction multiple data (SIMD), vectorización y paralelismo.
IMCI es totalmente compatible con la sintaxis de MySQL. Las columnas JSON se consultan mediante expresiones de ruta JSON estándar de MySQL, por lo que no se requieren cambios de esquema para comenzar.
La ruta progresiva:
|
Fase |
Enfoque |
Cuándo usarlo |
|
Inicio |
Consulte las columnas JSON directamente con funciones JSON |
Los datos son nuevos, el esquema aún evoluciona o el campo se consulta con poca frecuencia |
|
Optimización |
Cree columnas virtuales en campos JSON de alta frecuencia |
Los patrones de consulta se estabilizaron y ciertos campos se consultan con frecuencia |
|
Gestión |
Agregue o elimine columnas virtuales con DDL instantáneo |
Cambian los requisitos del negocio sin necesidad de volver a publicar canalizaciones ETL |
El optimizador de consultas de IMCI comprueba si existen columnas virtuales coincidentes a partir de las funciones y columnas JSON. Selecciona de manera preferente las columnas virtuales coincidentes para mejorar el rendimiento de las consultas. Por lo tanto, agregar columnas virtuales más adelante no exige reescribir las consultas de la aplicación.
Elija su enfoque
No todos los campos JSON necesitan una columna virtual. La decisión depende de la frecuencia con la que se consulte cada campo:
|
Escenario |
Enfoque recomendado |
|
El esquema aún está evolucionando |
Consulte directamente con funciones JSON orientadas a columnas. No se requiere DDL. |
|
Campos específicos consultados de forma ad hoc o poco frecuente |
Consulte con funciones JSON. IMCI gestiona ambas rutas de manera eficiente. |
|
Campos específicos consultados con frecuencia en producción |
Cree columnas virtuales en esos campos. |
|
Un campo JSON implica una expresión calculada compleja |
Cree una columna virtual que precalcule el valor. |
Cuándo evitar las columnas virtuales: si un atributo JSON cambia con frecuencia o siempre se recupera como un documento completo, la sobrecarga de mantener una columna virtual aporta poca ventaja.
Características principales
Almacenamiento orientado a columnas para JSON
IMCI almacena los datos JSON por columna y no por fila. Durante las consultas, solo se examinan las rutas JSON relevantes. Esto elimina la sobrecarga de analizar filas completas, un factor que limita el rendimiento en las bases de datos tradicionales orientadas a filas.
Cuándo usarlo: en cualquier columna JSON que se analice, filtre o agregue. No se necesita configuración adicional; habilite IMCI en la tabla con comment='columnar=1'.
Columnas virtuales
Una columna virtual extrae un campo JSON específico como una columna con nombre y tipo de dato que IMCI conserva en el almacenamiento de columnas. Las consultas sobre columnas virtuales omiten por completo el análisis sintáctico de JSON y utilizan el mecanismo pruner de IMCI para filtrar de manera eficiente.
IMCI admite dos tipos de columnas generadas:
Columnas generadas virtuales (recomendadas): los valores se conservan únicamente en el almacenamiento de columnas. Las lecturas por fila calculan el valor al vuelo. Este método ahorra espacio en disco y mejora el rendimiento orientado a columnas.
Columnas generadas almacenadas: los valores se conservan en ambos almacenamientos, pero consumen más espacio en disco.
Utilice columnas generadas virtuales, a menos que el acceso por fila al valor derivado sea indispensable.
Sintaxis:
col_name data_type [GENERATED ALWAYS] AS (expr)
[VIRTUAL | STORED] [NOT NULL | NULL]
[UNIQUE [KEY]] [[PRIMARY] KEY]
[COMMENT 'string']
DDL instantáneo
Agregar o quitar columnas virtuales surte efecto de inmediato sin bloquear lecturas ni escrituras. Esto permite ejecutar cambios de esquema en producción de forma segura conforme evolucionan los patrones de consulta. Además, elimina la necesidad de volver a publicar canalizaciones ETL cuando cambian los atributos JSON.
-- Add a virtual column
ALTER TABLE produce ADD COLUMN delivery_volume DOUBLE
AS (attributes->"$.delivery.width" * attributes->"$.delivery.height" * attributes->"$.delivery.weight");
-- Remove a virtual column
ALTER TABLE produce DROP COLUMN delivery_volume;
Límite ampliado de columnas
InnoDB admite hasta 1,017 columnas por tabla. IMCI amplía este límite a 4,089 columnas para tablas orientadas a columnas, lo que da cabida a tablas anchas construidas a partir de muchos atributos JSON.
Pruebas de rendimiento
A continuación se presentan pruebas de referencia con datos de prueba. El rendimiento real varía según el conjunto de datos, el patrón de consulta y la configuración de hardware.
Almacenamiento de JSON orientado a columnas
Tabla: produce con decenas de millones de filas. La consulta filtra tres rutas JSON anidadas.
SELECT count(*)
FROM produce
WHERE attributes->"$.delivery.width" > 10
AND attributes->"$.delivery.height" > 10
AND attributes->"$.delivery.weight" > 10;
|
Modelo de almacenamiento |
Duración |
|
Almacenamiento orientado a filas |
9.29 segundos |
|
Almacenamiento orientado a columnas con IMCI (32 núcleos) |
0.14 segundos |
Columnas virtuales
Se utiliza la misma tabla produce con una columna virtual delivery_volume que precalcula el producto de tres campos JSON.
Consulta de los campos JSON sin procesar:
|
Modelo de almacenamiento |
Duración |
|
Almacenamiento orientado a filas |
13.43 segundos |
|
Almacenamiento orientado a columnas con IMCI (1 núcleo) |
5.72 segundos |
|
Almacenamiento orientado a columnas con IMCI (32 núcleos) |
0.24 segundos |
Consulta directa de la columna virtual:
SELECT count(*) FROM produce WHERE delivery_volume > 1000;
|
Modelo de almacenamiento |
Duración |
|
Almacenamiento orientado a filas |
14.30 segundos |
|
Almacenamiento orientado a columnas con IMCI (1 núcleo) |
0.03 segundos |
|
Almacenamiento orientado a columnas con IMCI (32 núcleos) |
0.01 segundos |
Consultar la columna virtual directamente es mucho más rápido que consultar el campo JSON sin procesar. Esto ocurre porque IMCI omite el análisis sintáctico de JSON y aplica su mecanismo pruner sobre valores tipados precalculados.
Ejemplo de análisis de datos en tiempo real
Este ejemplo muestra el funcionamiento de IMCI con datos de eventos de GitHub de julio de 2023, obtenidos de GH Archive. El esquema sigue los tipos de eventos de GitHub, y las consultas analíticas están adaptadas de Everything You Always Wanted To Know About GitHub.
Paso 1: Configure la tabla
CREATE TABLE github_events (
id bigint,
type varchar(16),
public bit,
payload json,
repo json,
actor json,
org json,
created_at datetime
);
Descargue y cargue los archivos de eventos por hora correspondientes a julio de 2023. Después, analícelos sintácticamente e insértelos en github_events.
Paso 2: Identifique los campos de alta frecuencia y cree columnas virtuales
Las dos consultas analíticas siguientes acceden a actor.login, repo.name y payload.pull_request.base.repo.language. Estos campos son buenos candidatos para columnas virtuales. Habilite IMCI y agregue las tres columnas virtuales en una sola instrucción:
ALTER TABLE github_events
ADD COLUMN actor_login varchar(256)
GENERATED ALWAYS AS (json_unquote(json_extract(`actor`, '$.login'))) VIRTUAL,
ADD COLUMN repo_name varchar(256)
GENERATED ALWAYS AS (json_unquote(json_extract(`repo`, '$.name'))) VIRTUAL,
ADD COLUMN repo_language varchar(32)
GENERATED ALWAYS AS (json_unquote(json_extract(`payload`, '$.pull_request.base.repo.language'))) VIRTUAL,
COMMENT 'columnar=1';
Paso 3: Ejecute las consultas analíticas
Consulta 1: Principales lenguajes de programación (del 25 al 31 de julio de 2023)
SELECT
repo_language AS language,
count(*) AS total
FROM github_events
WHERE created_at >= '2023-07-25 00:00:00'
AND created_at <= '2023-07-31 23:59:59'
AND repo_language IS NOT NULL
GROUP BY repo_language
ORDER BY total DESC
LIMIT 10;
Consulta 2: Recomendaciones de repositorios de Linux (31 de julio de 2023)
SELECT repo_name, count(*) AS stars
FROM github_events
WHERE type = 'WatchEvent'
AND actor_login IN (
SELECT actor_login
FROM github_events
WHERE type = 'WatchEvent'
AND repo_name IN ('torvalds/linux')
AND created_at >= '2023-07-31 00:00:00'
AND created_at <= '2023-07-31 23:59:59'
)
AND repo_name NOT IN ('torvalds/linux')
AND created_at >= '2023-07-31 00:00:00'
AND created_at <= '2023-07-31 23:59:59'
GROUP BY repo_name
ORDER BY stars DESC
LIMIT 10;
Resultados (caché: 500 GB orientado a filas, 128 GB orientado a columnas):
|
Modelo de almacenamiento |
Consulta 1 |
Consulta 2 |
|
Almacenamiento orientado a filas |
45.01 segundos |
8.57 segundos |
|
Almacenamiento orientado a columnas con IMCI (1 núcleo) |
0.79 segundos |
0.54 segundos |
|
Almacenamiento orientado a columnas con IMCI (32 núcleos) |
0.04 segundos |
0.07 segundos |
Cómputo de streaming extendido
El cómputo de streaming extendido es la canalización automatizada de IMCI para procesar flujos continuos de datos JSON sin trabajos ETL.
Defina la lógica de transformación como expresiones de columnas virtuales al crear o modificar una tabla. IMCI calcula y conserva los valores derivados en tiempo real conforme llegan nuevas filas. Las consultas leen directamente del almacenamiento de columnas y omiten el análisis sintáctico de JSON.
Cuando cambien los requisitos del negocio:
Para dar seguimiento a un nuevo campo JSON: ejecute
ALTER TABLE ... ADD COLUMNcon DDL instantáneo. La nueva columna virtual se calculará y almacenará a partir de ese momento.Para eliminar un campo: ejecute
ALTER TABLE ... DROP COLUMN. Ambas operaciones finalizan sin bloquear lecturas ni escrituras.Si un campo se consulta con poca frecuencia: omita la creación de una columna virtual y consulte directamente con funciones JSON. IMCI gestiona ambas rutas de manera eficiente.
Esta funcionalidad sustituye el ciclo de republicación de ETL obligatorio en las arquitecturas tradicionales de almacenes de datos.
Casos de uso de clientes
Plataforma de streaming
Una de las plataformas de video en línea más populares de China ofrece películas, series de televisión, programas de variedades y streaming en vivo. Esta empresa gestiona los datos transaccionales de sus suscriptores para respaldar la compensación comercial, el monitoreo del estado de los pedidos y el procesamiento de ventajas para suscriptores.
Arquitectura original: clúster de MySQL con fragmentación (un nodo primario y varios nodos de solo lectura). A medida que crecieron los datos de los suscriptores, el equipo agregó particiones y nodos de solo lectura para manejar consultas de alta concurrencia sobre columnas JSON en tablas grandes. Esto incrementó la complejidad de las operaciones y mantenimiento (O&M) sin resolver el cuello de botella de rendimiento subyacente.
Nueva arquitectura: solución integral de procesamiento híbrido transaccional y analítico (HTAP) de PolarDB. El cómputo de streaming extendido procesa los datos JSON en tiempo real, el almacenamiento orientado a columnas acelera las consultas analíticas y un solo clúster de PolarDB reemplaza los fragmentos dispersos de MySQL.
Plataforma financiera de comercio electrónico
Una empresa de tecnología financiera fundada en 2016, con sede en Singapur, ofrece servicios financieros para consumidores —pagos a plazos, préstamos de crédito, tarjetas de crédito virtuales y comercio electrónico— a millones de usuarios en Indonesia, Filipinas, Malasia, Tailandia y Vietnam.
Arquitectura original: MySQL para el procesamiento transaccional, ClickHouse para análisis, Apache Flink para convertir flujos JSON a formatos estructurados y Data Transmission Service (DTS) para sincronizar datos. Esta pila provocaba pérdida de datos, retrasos en los análisis y un rendimiento de consulta insatisfactorio. Agregar o quitar atributos JSON exigía modificar tanto la lógica de Flink como los esquemas de tablas de ClickHouse. Este proceso resultaba lento porque ClickHouse no admite DDL instantáneo.
Nueva arquitectura: solución HTAP nativa de la nube de PolarDB. El cómputo de streaming extendido de IMCI reemplaza a Apache Flink en la transformación de JSON. El DDL instantáneo gestiona los cambios de esquema sin tiempo de inactividad. El límite ampliado de 4,089 columnas admite las tablas anchas necesarias para las cargas de trabajo analíticas. Toda la pila multisistema —MySQL, DTS, Flink y ClickHouse— se consolida en un único clúster de PolarDB.