Hologres:Flink または Blink を使用したバイナリログのレプリケーション

Hologres バイナリログを消費する際は、次の点に注意してください。

• Hologres V0.9 以降でのみバイナリログを消費できます。Hologres V1.3.21 以降でのみエンジンホワイトリストを設定できます。以前のバージョンはこの機能をサポートしていません。サポートされていないバージョンでホワイトリストを有効にすると、バイナリログの消費は失敗します。ご利用のインスタンスバージョンが必要なバージョンよりも古い場合は、Hologres DingTalk グループに参加してフィードバックを提供してください。詳細については、「オンラインサポート」をご参照ください。

• Hologres は、行指向テーブルと列指向テーブルの両方で、テーブルレベルでのバイナリロギング機能をサポートしています。Hologres V1.1 以降では、行列ハイブリッドストレージテーブルもサポートされています。バイナリロギングを有効にした後、列指向テーブルは行指向テーブルよりも理論上のオーバーヘッドが高くなります。したがって、頻繁なデータ更新を伴うシナリオでは、行指向テーブルでバイナリロギングを有効にすることを推奨します。

• バイナリロギングのサポート、およびその有効化と設定方法の詳細については、「Hologres バイナリログの購読」をご参照ください。

• Realtime Compute for Apache Flink のみが Hologres バイナリログの消費をサポートしています。Holohub モードでは、Flink は Hologres バイナリログからシンプルなデータ型のみを消費することをサポートしています。Flink 6.0.3 以降では、Java Database Connectivity (JDBC) モードで Hologres バイナリログを消費できます。Holohub モードと比較して、JDBC モードはより多くのデータ型をサポートしています。詳細については、「Blink/Flink と Hologres のデータ型マッピング」をご参照ください。このモードには、追加の権限要件もあります。詳細については、「権限」をご参照ください。

• 親パーティションテーブルからバイナリログを消費することはできません。

• Hologres V2.0 以降では、Holohub モードのサポートが限定的になります。Hologres V2.1 以降、Holohub モードは非推奨となり、JDBC モードに完全に置き換えられます。Hologres バージョンをアップグレードする前に、Holohub モードを使用する Flink タスクを確認し、Flink Ververica Runtime (VVR) ジョブバージョンをアップグレードしてから、Hologres インスタンスをアップグレードしてください。詳細については、「Holohub モードから JDBC モードへの切り替え」をご参照ください。

このモードでは、ソースによって消費されたバイナリログデータは、通常の Flink データとして子孫ノードに渡されます。すべてのデータは Insert タイプです。特定の hg_binlog_event_type タイプのデータを、ビジネスニーズに基づいて処理する方法を選択できます。Hologres テーブルでバイナリロギングを有効にした後、Flink でソーステーブル (非 CDC モード) に次の DDL を使用して、バイナリログをリアルタイムで消費します。

create table test_message_src_binlog_table(
  hg_binlog_lsn BIGINT,
  hg_binlog_event_type BIGINT,
  hg_binlog_timestamp_us BIGINT,
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',
  'tablename'='<yourTablename>',
  'username'='<yourAccessID>',
  'password'='<yourAccessSecret>',
  'endpoint'='<yourEndpoint>',
  'binlog' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);

• 3 つの binlogxxx パラメーターはバイナリログシステムフィールドです。これらの名前と型は固定されており、変更できません。

• その他のフィールドはユーザーフィールドに対応し、小文字である必要があります。

このモードでは、hg_binlog_event_type に基づいて、INSERT、DELETE、UPDATE_BEFORE、または UPDATE_AFTER のような正確な Flink RowKind タイプがバイナリログデータの各行に自動的に設定されます。これにより、MySQL や PostgreSQL の変更データキャプチャ (CDC) 機能と同様に、テーブルデータをミラーリングできます。

Hologres テーブルでバイナリロギングを有効にした後、Flink でソーステーブル (CDC モード) に次の DDL を使用して、バイナリログをリアルタイムで消費します。

create table test_message_src_binlog_table(
  id INTEGER,
  title VARCHAR,
  body VARCHAR
) with (
  'connector'='hologres',
  'dbname'='<yourDbname>',// Hologres データベースの名前。
  'tablename'='<yourTablename>',// Hologres テーブルの名前。
  'username'='<yourAccessID>',// ご利用のアカウントの AccessKey ID。
  'password'='<yourAccessSecret>',// ご利用のアカウントの AccessKey Secret。
  'endpoint'='<yourEndpoint>',// ご利用の Hologres インスタンスの VPC エンドポイント。
  'binlog' = 'true',
  'cdcMode' = 'true',
  'binlogMaxRetryTimes' = '10',
  'binlogRetryIntervalMs' = '500',
  'binlogBatchReadSize' = '100'
);