Realtime Compute for Apache Flink：管理Hologres Catalog

建立Hologres表

要建立的表資訊：Hologres Catalog為holocatalog、資料庫為holodb、表為holotable。

具體的操作如下：

建立Hologres表時，允許在WITH參數中設定表屬性（部分屬性無法修改），合理的表屬性設定可以有助於系統高效地組織和查詢資料。

• 物理表屬性：當前支援的表屬性與Hologres側是一致的，Catalog側僅是加上了table_property.首碼用以區分。參數詳情請參見建表概述和訂閱Hologres Binlog。

  參數	說明	使用樣本	是否支援修改
  table_property.orientation	表格儲存體格式。	'table_property.orientation' = 'row,column'	不支援修改
  table_property.table_group	Table Group。	'table_property.table_group' = 'table_group_xxx'
  table_property.distribution_key	分布鍵。	'table_property.distribution_key' = 'a,b'
  table_property.clustering_key	聚簇索引。	'table_property.clustering_key' = 'a,b:desc'
  able_property.event_time_column（原table_property.segment_key）	分段鍵。	'table_property.event_time_column' = 'c,d'（或者 'table_property.segment_key' = 'c,d'）
  table_property.bitmap_columns	位元影像索引。	'table_property.bitmap_columns' = 'a:on,b:off'	支援修改
  table_property.dictionary_encoding_columns	位元編碼。	'table_property.dictionary_encoding_columns' = 'a:on,b:off,c:auto'
  table_property.time_to_live_in_seconds	表資料聲明周期。	'table_property.time_to_live_in_seconds' = '864000'
  table_property.binlog.level	是否開啟Binlog。	'table_property.binlog.level' = 'replica'
  table_property.binlog.ttl	Binlog的TTL。	'table_property.binlog.ttl' = '86400'

• 寬容模式參數：在使用Hologres Catalog建立表時，可以通過參數enableTypeNormalization設定是否開啟類型寬容模式。

  維度	說明
  使用情境	在CTAS等情境中，需要調整已有欄位資料類型的精度（如從VARCHAR(10)到VARCHAR(20)）或者修改資料類型（如從SMALLINT修改為INT）。
  注意事項	寬容模式應該在初次開機CTAS作業時開啟，如果在初次開機時未開啟寬容模式，需要刪除下遊表並且將作業無狀態重啟才會生效。 開啟寬容模式後，在上遊發生資料類型修改事件時，只要所修改類型與原類型的歸一化類型相同，則視作類型修改成功，CTAS作業正常運行。否則屬於不相容的情況，CTAS作業會拋出異常。
  參數取值	false（預設值）：根據類型映射正常建立Hologres物理表。 true：啟用類型寬容模式，在建立Hologres物理表時，會使用類型歸一化後精度更高的資料類型。目前類型歸一化規則如下： TINYINT、SMALLINT、INT和BIGINT歸一化為BIGINT。 CHAR、VARCHAR和STRING歸一化為STRING。 FLOAT和DOUBLE歸一化為DOUBLE。 其他資料類型按照原本的類型映射規則建立，詳情請參見類型映射。

修改Hologres表

目前Hologres Catalog支援的修改表操作及樣本如下：

讀寫Hologres表

• 讀取Hologres表資料寫入到結果表中。

  Flink預設以批模式讀取Hologres源表資料，不會即時消費新寫入的資料。要即時消費Hologres資料，您可以採用以下任一方案。

  • 在建立Hologres Catalog時配置：在建立Catalog時採用SQL方式，開啟Binlog並消費Binlog資料，具體請參考即時消費樣本。然後讀取Hologres資料，程式碼範例如下。

    文法	樣本
    INSERT INTO ${other_sink_table} SELECT ... FROM `${catalog_name}`.`${db_name}`.`${schema_name.table_name}`;	INSERT INTO sink_table SELECT id, name FROM `holocatalog`.`holodb`.`holotable`;

  • 更改讀模數式為流模式：通過Table Hint方式將讀模數式更改為流模式，在SQL中添加/*+ OPTIONS('binlog'='true') */ 參數。程式碼範例如下。

    INSERT INTO sinktable
    SELECT id, name
      FROM `holocatalog`.`holodb`.`holotable`
      /*+ OPTIONS ('binlog' = 'true') */;

• 將源表資料寫入到Hologres表中。

  文法	樣本
  INSERT INTO `${catalog_name}`.`${db_name}`.`${schema_name.table_name}` SELECT ... FROM ${other_source_table}	INSERT INTO `holocatalog`.`holodb`.`holotable` SELECT id, name FROM source_table;

作為CTAS的目標端Catalog

• 文法

  CREATE TABLE IF NOT EXISTS `${catalog_name}`.`${db_name}`.`${schema_name.table_name}`
  WITH (
    'connector' = 'hologres'
  ) AS TABLE ${other_source_table};

• 樣本

  CREATE TABLE IF NOT EXISTS `holocatalog`.`holodb`.`holotable`
  WITH (
    'connector' = 'hologres'
  ) AS TABLE source_table;

CTAS支援在WITH參數中設定物理表屬性，在建立目標表時，同時在表上設定對應的屬性。具體支援的表屬性參數詳情，請參見建立Hologres表。

作為CDAS的目標端Catalog

• 文法

  CREATE DATABASE IF NOT EXISTS `${catalog_name}`.`${db_name}`
  WITH (
    'sink.parallelism' = '5' -- 設定每張結果表的並發數。
  ) AS DATABASE ${other_source_database};

• 樣本

  CREATE DATABASE IF NOT EXISTS `holocatalog`.`holodb`
  WITH (
    'sink.parallelism' = '5' -- 設定每張結果表的並發數。
  ) AS DATABASE source_database;

WITH參數設定：

• 支援聲明結果表的參數：當作業啟動時，這些參數將被應用到需要同步的下遊表中。具體支援調節的參數可參見即時數倉Hologres結果表。

• 支援指定schemaname：將資料同步到Hologres目標庫的指定Schema中。參數資訊如下。

  參數	說明	是否必填	備忘
  schemaname	schema名稱。	否	預設值為public。

• 不支援設定物理表屬性：每張目標表可能需要設定不同的表屬性，WITH參數不支援為每張表分別設定屬性。

  如果您需要設定表屬性，需要先手動建立目標表，再去啟動CDAS作業。物理表屬性的詳細資料請參見建立Hologres Catalog。