Hologres:Flink による Hologres binlog データの消費

Hologres の binlog データを消費する前に、次の点にご注意ください。

• binlog データは Hologres V0.9 以降でのみ消費できます。エンジンホワイトリストは Hologres V1.3.21 以降でのみ設定できます。Hologres V1.3.21 より前のバージョンを実行しているインスタンスでホワイトリストを有効にすると、binlog の消費は失敗します。インスタンスのバージョンが必要なバージョンより古い場合は、Hologres のオンラインサポートの利用でサポートを依頼できます。

• Hologres は、行指向テーブルと列指向テーブルに対して、テーブルレベルで binlog 機能をサポートしています。Hologres V1.1 以降では、行列ハイブリッドストレージテーブルもサポートされています。binlog 機能を有効にすると、理論上、列指向テーブルは行指向テーブルよりもオーバーヘッドが高くなります。したがって、データ更新が頻繁に行われるシナリオでは、行指向テーブルで binlog 機能を有効にすることを推奨します。

• binlog のサポート、およびこの機能の有効化と設定方法の詳細については、「Hologres binlog のサブスクライブ」をご参照ください。

• Alibaba Cloud が提供する Realtime Compute for Apache Flink のみが、Hologres binlog データの消費をサポートしています。HoloHub モードでは、Flink による Hologres binlog データの消費は、単純なデータ型のみをサポートします。Flink VVR 6.0.3 以降では、JDBC モードで Hologres binlog データを消費できます。HoloHub モードと比較して、JDBC モードはより多くのデータ型をサポートしています。詳細については、「Blink/Flink と Hologres 間のデータ型マッピング」をご参照ください。このモードには追加の権限が必要です。詳細については、「権限」をご参照ください。

• 親パーティションテーブルから binlog データを消費することはできません。

• Hologres V2.0 は、HoloHub モードのサポートを制限しています。V2.1 以降、HoloHub モードは非推奨となり、完全に JDBC モードに置き換えられます。Hologres インスタンスをアップグレードする前に、「HoloHub モードから JDBC モードへの切り替え」を参照して、現在 HoloHub モードを使用している Flink VVR ジョブを確認し、それに応じて Flink VVR ジョブをアップグレードしてから、Hologres インスタンスをアップグレードしてください。

このモードでは、ソースが消費した binlog データは、通常の Flink データとして下流ノードに渡されます。これは、すべてのデータが Insert 型のデータとして扱われることを意味し、ビジネス要件に基づいて特定の hg_binlog_event_type 型のデータをどのように処理するかを選択できます。Hologres テーブルで binlog を有効にした後、Flink でソーステーブル (非 CDC モード) に以下の DDL を使用して、binlog をリアルタイムで消費できます。

create table test_message_src_binlog_table(
  hg_binlog_lsn BIGINT,
  hg_binlog_event_type BIGINT,
  hg_binlog_timestamp_us BIGINT,
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',
  'tablename'='<yourTablename>',
  'username'='<yourAccessID>',
  'password'='<yourAccessSecret>',
  'endpoint'='<yourEndpoint>',
  'binlog' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);

• 3 つの binlogxxx パラメーターは binlog システムフィールドです。これらの名前と型は固定されており、変更することはできません。

• 他のフィールドはユーザー定義フィールドに対応し、すべて小文字である必要があります。

このモードでは、ソースは binlog データを消費し、hg_binlog_event_type に基づいて各行に正しい Flink RowKind 型 (INSERT、DELETE、UPDATE_BEFORE、または UPDATE_AFTER) を自動的に設定します。これにより、MySQL や PostgreSQL の CDC 機能と同様に、テーブルデータのミラー同期が可能になります。

Hologres テーブルで binlog 機能を有効にした後、Flink で以下の DDL を使用してソーステーブルを作成し、CDC モードで binlog データをリアルタイムに消費できます。

create table test_message_src_binlog_table(
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',
  'tablename'='<yourTablename>',
  'username'='<yourAccessID>',
  'password'='<yourAccessSecret>',
  'endpoint'='<yourEndpoint>',
  'binlog' = 'true',
  'cdcMode' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);