Realtime Compute for Apache Flink:APPROX_COUNT_DISTINCT

Quando usar

Use APPROX_COUNT_DISTINCT em vez de COUNT DISTINCT quando as duas condições abaixo forem verdadeiras:

• A coluna tem um grande número de chaves distintas (por exemplo, IDs de usuário, tokens de sessão, URLs). A função não oferece benefícios significativos de desempenho para colunas de baixa cardinalidade.

• O fluxo de entrada não contém mensagens de retração.

Se alguma dessas condições não for atendida, use COUNT DISTINCT.

Como funciona

Para gerar um resultado exato, COUNT DISTINCT precisa armazenar cada chave distinta nos dados de estado. Em colunas de alta cardinalidade, isso gera sobrecarga significativa de leitura e escrita e se torna um gargalo de desempenho.

Já APPROX_COUNT_DISTINCT estima a contagem de valores distintos sem armazenar todas as chaves. Essa abordagem elimina o gargalo de estado e permite as otimizações miniBatch e local-global no nó de agregação.

O parâmetro accuracy controla a precisão do cálculo. Um valor maior indica maior precisão, mas também aumenta a sobrecarga de estado e reduz a vantagem de desempenho em relação a COUNT DISTINCT.

Sintaxe

APPROX_COUNT_DISTINCT(col [, accuracy])

Parâmetros

Exemplo

O exemplo a seguir compara os resultados obtidos com a precisão padrão (0.99) e com uma precisão menor (0.9).

Tabela de entrada T1

Consulta

SELECT
  a,
  APPROX_COUNT_DISTINCT(b) AS b,
  APPROX_COUNT_DISTINCT(b, 0.9) AS c
FROM T1
GROUP BY a;

Resultados

A coluna b usa a precisão padrão de 0.99; a coluna c usa 0.9.