Realtime Compute for Apache Flink:APPROX_COUNT_DISTINCT

使用するタイミング

以下の 2 つの条件がともに満たされる場合に限り、APPROX_COUNT_DISTINCT を COUNT DISTINCT の代わりに使用してください。

• 対象列の重複のないキー数（例：ユーザー ID、セッショントークン、URL）が非常に多い場合。低カーディナリティの列では、本関数によるパフォーマンス向上効果は得られません。

• 入力ストリームにリトラクトメッセージが含まれていない場合。

いずれかの条件が満たされない場合は、代わりに COUNT DISTINCT を使用してください。

仕組み

COUNT DISTINCT は、正確な結果を得るために、すべての重複のないキーを状態データに保存する必要があります。高カーディナリティの列では、この処理により読み取り／書き込みのオーバーヘッドが著しく増大し、パフォーマンスボトルネックとなります。

APPROX_COUNT_DISTINCT は、すべてのキーを保存せずに重複のない値の個数を推定します。これにより状態に関するボトルネックが解消され、集約ノード上でミニバッチおよびローカル・グローバル最適化が有効になります。

accuracy パラメーターは、計算精度を制御します。値が大きいほど精度が高くなりますが、その分状態のオーバーヘッドも増加し、COUNT DISTINCT に対するパフォーマンス優位性が弱まります。

構文

APPROX_COUNT_DISTINCT(col [, accuracy])

パラメーター

例

以下の例では、デフォルト精度（0.99）と低い精度（0.9）で得られる結果を比較しています。

入力テーブル T1

クエリ

SELECT
  a,
  APPROX_COUNT_DISTINCT(b) AS b,
  APPROX_COUNT_DISTINCT(b, 0.9) AS c
FROM T1
GROUP BY a;

実行結果

列 b はデフォルト精度 0.99 を使用し、列 c は精度 0.9 を使用しています。