Hologres:Hologres バイナリログのサブスクライブ

Hologres でバイナリログをサブスクライブする前に、以下の点に注意してください。

• Hologres V0.9 以降のみがバイナリログのサブスクリプションをサポートしています。Hologres インスタンスのバージョンが V0.9 より前の場合は、技術サポートを受けるために Hologres DingTalk グループに参加してください。Hologres DingTalk グループへの参加方法の詳細については、「Hologres のオンラインサポートを受ける」をご参照ください。

• Hologres V0.9 および V0.10 では、テーブルプロパティを変更することで既存のテーブルのバイナリロギングを有効にすることはできません。テーブルのバイナリロギングを有効にするには、テーブルの作成時にこの機能を有効にする必要があります。Hologres V1.1 以降では、ビジネス要件に基づいて既存のテーブルのバイナリロギングを有効にすることができます。

• V1.3.14 より前のマイナーバージョンの Hologres インスタンス、または V1.1.82 より前のすべてのバージョンの Hologres インスタンスの場合、スーパーユーザーのみが Hologres バイナリログをコンシュームできます。権限の低いアカウントを使用して Hologres バイナリログをコンシュームすると、"permission denied for table hg_replication_slot_properties" というエラーメッセージが返されます。Hologres V1.3.14 以降のすべてのバージョン、または V1.1.82 以降のマイナーバージョンでは、Flink を使用して Hologres バイナリログをコンシュームする場合、クエリ権限を持つアカウントを使用できます。Java Database Connectivity（JDBC）ドライバーを使用して Hologres バイナリログをコンシュームする場合は、レプリケーションロールの権限を持つアカウントを使用する必要があります。

• Hologres では、単一行指向または列指向テーブルのバイナリログをサブスクライブできます。次の表に、さまざまなサブスクリプションモードのサポートについて説明します。

  Flink タイプ	Hologres 行指向テーブルのバイナリログのサブスクリプション	Hologres 列指向テーブルのバイナリログのサブスクリプション	Hologres 行列ハイブリッドテーブルのバイナリログのサブスクリプション（Hologres V1.1 以降でサポート）
  Blink ベースの Realtime Compute	サポートされています	サポートされています	サポートされています
  フルマネージド Flink	サポートされています	サポートされています	サポートされています
  オープンソース Flink	サポートされていません	サポートされていません	サポートされていません
  JDBC	Hologres V1.1 からサポートされています	Hologres V1.1 からサポートされています	Hologres V1.1 からサポートされています

• Blink ベースの Realtime Compute は、TIMESTAMP タイプのデータを含む Hologres バイナリログをサポートしていません。Hologres でテーブルを作成するときは、関連フィールドに TIMESTAMPTZ データ型を指定します。また、Blink ベースの Realtime Compute は、SMALLINT などの特殊なタイプのデータを含む Hologres バイナリログをサポートしていません。

• 親テーブルのバイナリログをサブスクライブすることはできません。子テーブルまたは非パーティションテーブルのバイナリログをサブスクライブできます。Hologres V1.3.24 以降では、ビジネス要件に基づいて子テーブルのバイナリログの TTL を構成できます。子テーブルのバイナリログの TTL を明示的に指定しない場合、親テーブルのバイナリログの TTL が子テーブルのバイナリログの TTL として使用されます。バイナリログの TTL は正確ではありません。システムは、バイナリログの有効期限が切れた直後に削除されることを保証するのではなく、有効期限が切れた後、特定の時間にバイナリログを削除します。

• 理論的には、列指向テーブルのバイナリロギングのオーバーヘッドは、行指向テーブルのオーバーヘッドよりも高くなります。テーブルが頻繁に更新される場合は、行指向テーブルのバイナリロギングを有効にすることをお勧めします。テーブルにオンライン分析処理（OLAP）クエリも含まれる場合は、行列ハイブリッドストレージモードを使用することをお勧めします。詳細については、「テーブルのストレージモード」をご参照ください。

• Hologres 内部テーブルに対してのみバイナリロギングを有効にできます。外部テーブルに対してバイナリロギングを有効にすることはできません。

バイナリログのフィールドは、システムフィールドとユーザー定義テーブルフィールドで構成されます。次の表に、フィールドについて説明します。

デフォルトでは、Hologres テーブルのバイナリロギングは無効になっています。テーブルプロパティ binlog.level と binlog.ttl を構成することで、Hologres テーブルのこの機能を有効にできます。次のサンプルコードは、バイナリロギングを有効にする方法の例を示しています。テーブル作成のパラメータの詳細については、「概要」をご参照ください。

• Hologres V2.1 以降でサポートされている構文:

  Hologres V2.1 以降では、binlog.level プロパティと binlog.ttl プロパティは、それぞれ binlog_level プロパティと binlog_ttl プロパティに変更されています。

  CREATE TABLE test_message_src (
      id int PRIMARY KEY,
      title text NOT NULL,
      body text
  )
  WITH (
      orientation = 'row',
      clustering_key = 'id',
      binlog_level = 'replica',
      binlog_ttl = '86400' -- バイナリログの TTL を指定します。単位：秒。
  );

• すべての Hologres バージョンでサポートされている構文:

  begin;
  create table test_message_src(
    id int primary key, 
    title text not null, 
    body text);
  call set_table_property('test_message_src', 'orientation', 'row'); -- test_message_src という名前の行指向テーブルを作成します。
  call set_table_property('test_message_src', 'clustering_key', 'id'); -- id 列をクラスタリングキーとして構成します。
  call set_table_property('test_message_src', 'binlog.level', 'replica'); -- binlog.level プロパティを構成して、バイナリロギングを有効にします。
  call set_table_property('test_message_src', 'binlog.ttl', '86400'); -- バイナリログの TTL を指定します。単位：秒。
  commit;

次の表に、プロパティについて説明します。

Hologres V1.1 以降では、ビジネス要件に基づいて既存のテーブルのバイナリロギングを有効または無効にすることができます。既存のテーブルのバイナリロギングを有効にするために、テーブルを再作成する必要はありません。また、バイナリログの TTL を指定して、特定の期間バイナリログを保持することもできます。これは、特定のビジネスシナリオでの制限付き保存期間の要件を満たします。

Hologres バイナリログは強力なスキーマを使用します。テーブルのバイナリログをクエリするには、バイナリログの追加フィールドとテーブルのフィールドを組み合わせて使用​​できます。また、Hologres は、最新または最も古いバイナリログをクエリしたり、ログシーケンス番号（LSN）またはタイムスタンプに基づいてバイナリログに関する情報をクエリしたりするための関数を備えています。

特別な組み込みフィールドに基づいてバイナリログをクエリする

バイナリログの追加フィールドとテーブルのフィールドを組み合わせてクエリを実行できます。ステートメントの例：

SELECT hg_binlog_lsn,hg_binlog_event_type,hg_binlog_timestamp_us,* FROM test_message_src;

次の図は、クエリ結果を示しています。

テーブル内のシャードの最も古いまたは最新のバイナリログをクエリする

hg_get_binlog_cursor 関数を使用してクエリを実行できます。構文：

-- シャードの最も古いバイナリログをクエリします。
SELECT * FROM hg_get_binlog_cursor('<table_name>','OLDEST',<shard_id>);

-- シャードの最新のバイナリログをクエリします。
SELECT * FROM hg_get_binlog_cursor('<table_name>','LATEST',<shard_id>);

次のステートメントは例を示しています。

SELECT * FROM hg_get_binlog_cursor('test_message_src','OLDEST',0);

次の図は、クエリ結果を示しています。

バイナリログの LSN に基づいてバイナリログのタイムスタンプをクエリするバイナリログの LSN

hg_get_binlog_cursor_by_lsn 関数を使用して、バイナリログのタイムスタンプをクエリできます。この関数は、LSN がクエリで指定された値以上である最初のバイナリログのタイムスタンプを返します。LSN が無効な場合、この関数は hg_binlog_timestamp_us フィールドの値として現在のタイムスタンプを返します。構文：

SELECT * FROM hg_get_binlog_cursor_by_lsn('<table_name>',<lsn>,<shard_id>);-- BIGINT タイプの LSN を指定します。

次のステートメントは例を示しています。

SELECT * FROM hg_get_binlog_cursor_by_lsn('test_message_src',152,0);

次の図は、クエリ結果を示しています。

バイナリログのタイムスタンプに基づいてバイナリログの LSN をクエリするそのタイムスタンプに基づくバイナリログ

hg_get_binlog_cursor_by_timestamp 関数を使用して、バイナリログの LSN をクエリできます。この関数は、タイムスタンプ値がクエリで指定された値以上である最初のバイナリログの LSN を返します。タイムスタンプが最新の場合、この関数は hg_binlog_timestamp_us フィールドの値として現在のタイムスタンプを返し、hg_binlog_lsn フィールドの値として次のデータレコードに割り当てられる LSN を返します。構文：

SELECT * FROM hg_get_binlog_cursor_by_timestamp('<table_name>',<timestamp>,<shard_id>);

ステートメントの例：

SELECT *,to_timestamp(hg_binlog_timestamp_us/1000000.0) FROM hg_get_binlog_cursor_by_timestamp('test_message_src','2024-05-20 19:34:53.791+08',0);

次の図は、クエリ結果を示しています。

Flink、Blink、JDBC、または Holo Client を使用して、Hologres バイナリログをコンシュームできます。詳細については、以下のトピックをご参照ください。

• Realtime Compute for Apache Flink または Blink を使用して Hologres バイナリログをリアルタイムでコンシュームする

• JDBC を使用して Hologres バイナリログをコンシュームする

次の SQL 文を実行して、バイナリロギングが有効になっているテーブルを確認できます。

SELECT
    *
FROM
    hologres.hg_table_properties
WHERE
    property_key = 'binlog.level'
    AND property_value = 'replica';

次の図は、返された結果を示しています。