Realtime Compute for Apache Flink:APPROX_COUNT_DISTINCT

Cuándo utilizarla

Utilice APPROX_COUNT_DISTINCT en lugar de COUNT DISTINCT cuando se cumplan las dos condiciones a continuación:

• La columna tiene una gran cantidad de claves distintas (por ejemplo, ID de usuario, tokens de sesión, URL). La función no ofrece ninguna ventaja de rendimiento significativa para columnas de baja cardinalidad.

• El flujo de entrada no contiene mensajes de retractación.

Si no se cumple alguna de estas condiciones, utilice COUNT DISTINCT en su lugar.

Cómo funciona

COUNT DISTINCT debe almacenar cada clave distinta en los datos de estado para producir un resultado exacto. En columnas de alta cardinalidad, esto provoca una sobrecarga significativa de lectura y escritura que se convierte en un cuello de botella de rendimiento.

APPROX_COUNT_DISTINCT estima el recuento de valores distintos sin necesidad de almacenar cada clave. Esto elimina el cuello de botella de estado y habilita las optimizaciones miniBatch y local-global en el nodo de agregación.

El parámetro accuracy controla la precisión del cálculo. Un valor mayor indica una precisión más alta, pero también incrementa la sobrecarga de estado y reduce la ventaja de rendimiento frente a COUNT DISTINCT.

Sintaxis

APPROX_COUNT_DISTINCT(col [, accuracy])

Parámetros

Ejemplo

A continuación se comparan los resultados obtenidos con la precisión predeterminada (0.99) y con una precisión menor (0.9).

Tabla de entrada T1

Consulta

SELECT
  a,
  APPROX_COUNT_DISTINCT(b) AS b,
  APPROX_COUNT_DISTINCT(b, 0.9) AS c
FROM T1
GROUP BY a;

Resultados

La columna b utiliza la precisión predeterminada de 0.99; la columna c utiliza 0.9.