Hologres：使用Flink匯入

Flink版本

阿里雲Realtime ComputeVVR版本

Hologres版本

更新資訊

相關文檔

1.20

11.6

3.2.x

4.0.x

4.1.x

源表：

• 新增LATEST_OFFSET啟動模式，支援Binlog從最新offset開始消費。

• Binlog訂閱支援varchar數群組類型。

Catalog：

• Hologres Catalog暴露全域索引和首碼掃描key作為Catalog Index。

通用：

• 新增JDBC探針請求緩衝，避免多表情境下SQL Gateway逾時。

即時數倉Hologres連接器

1.20

11.5

3.2.x

4.0.x

4.1.x

源表：

• 新增scan.binlog.prefer.physical-column.over.metadata參數，解決物理列和中繼資料列重名時優先取用物理列的問題。

• 批量源表（Batch模式）預設不再做reshuffle。

維表：

• 新增列存表lookup校正，使用列存表作為維表時需配置lookup.read.column-table.enabled參數。

通用：

• 支援AKV4（Access Key Version 4）認證方式。

bugfix：

• 修複check and put收到delete記錄時的NPE問題。

• 更新holo-client修複Binlog列裁剪開啟時可能讀取錯列（projection columns）的問題。

即時數倉Hologres連接器

1.20

11.4

3.2.x

4.0.x

4.1.x

結果表：

• 新增sink.ignore-null-when-update-by-expr.enabled參數，支援通過insert expression實現更新時忽略null值。

• 支援insert衝突運算式（conflict expr），可自訂衝突處理邏輯。

• stream copy模式支援binaryrow格式，提升寫入效能。

維表：

• 維表支援filter下推（filter pushdown）。

bugfix：

• 更新holo-client修複一對多維表在停止作業時無法關閉的問題。

即時數倉Hologres連接器

1.20

11.3

3.1.x

3.2.x

4.0.x

源表：

• Binlog消費支援資料壓縮和列裁剪，降低網路傳輸和記憶體消耗。

• Binlog支援filter下推，減少不必要的資料轉送。

結果表：

• 修複建立分區尾碼與動態分區衝突的問題。

• 支援寫入產生欄欄位。

通用：

• 選擇fixedfe不支援的類型時自動切換到fe串連。

• 更新holo-client修複資料庫名包含@warehouse時串連失敗的問題。

bugfix：

• 修複Connector從checkpoint恢複時，如果表被drop過則無法恢複的問題。

• 修複消費物理分區父表的分區state LSN在shard無資料時被錯誤初始化為0的問題。

• 修複JDBC Binlog讀取RoaringBitmap失敗的問題。

即時數倉Hologres連接器

1.20

11.2

3.1.x

3.2.x

4.0.x

結果表：

• 支援表層級設定寫入時不產生Binlog（sink.not-generate-binlog.enabled），避免Binlog迴圈消費等情境。

• 髒資料策略僅對真正的髒資料異常生效，避免誤處理。

通用：

• 建立HologresDynamicTableSink時不再訪問表中繼資料，加速作業提交。

bugfix：

• 修複Binlog + upsert source配置的向後相容性問題。

• 修複Hologres配置參數的向後相容性問題。

• 修複已廢棄參數的相容性問題。

• 修複寫入text數組包含null元素時的NPE問題。

即時數倉Hologres連接器

1.20

11.1

3.1.x

3.2.x

源表：

• 支援為Hologres邏輯分區表指定分區值來訂閱Binlog。

結果表：

• 支援以日期格式建立分區。

維表：

• 新增緩衝miss和hit的metrics指標。

通用：

• 根據已知問題自動選擇最佳串連模式。

• 修複SQL Hint中非規範形式的options無法覆蓋catalog options的問題。

即時數倉Hologres連接器

1.20

11.0

3.1.x

3.2.x

通用：

• 全面移除RPC和Holohub相關代碼及依賴，Connector僅保留JDBC模式。重構參數命名。

源表：

• 全增量一體源表：全量快照讀取完成後從當前最大LSN開始增量消費，避免資料丟失。

即時數倉Hologres連接器

1.17

8.0.11

2.1.x

2.2.x

3.0.x

源表：

• 支援讀取分區表的Binlog。

• 支援源表中繼資料列（meta column）。

• JDBC Binlog的decimal類型使用Flink類型的scale。

• 全增量一體源表：snapshot讀取完成後從當前最大LSN開始增量消費。

結果表：

• 新增check and put能力，支援條件寫入。

• 支援aggressive flush，降低資料可見度延遲。

• copy寫入模式支援time類型。

• copy寫入模式新增max cell buffer size參數。

• copy寫入模式設定idle-session-timeout，防止長時間空閑串連。

通用：

• remove-u0000-in-text.enabled參數預設值改為true。

• 支援狀態相容性（升級/降級情境）。

• 使用Catalog維表時不再在factory中校正Binlog參數，避免誤判異常。

• 作業上線時僅重試3次後快速拋出異常，避免長時間等待。

bugfix：

• 更新holo-client修複JDBC URL解析問題。

• 修複全增量一體源表JDBC Binlog從LSN+1開始消費的問題（Checkpoint已記錄）。

• 修複CTAS情境drop column和type change同時發生時類型歸一化錯誤的問題。

即時數倉Hologres連接器

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• 修複共用串連池時，註冊新的client可能死結的問題。

• 消費binlog從狀態恢複，不再強制檢查table id。

即時數倉Hologres連接器

1.17

8.0.8

2.1.x

2.2.x

結果表：

• 新增sink.delete-strategy參數，在原有ignoredelete的基礎上，豐富了對UPDATE BEFORE類型記錄的處理方式。

即時數倉Hologres連接器

1.17

8.0.7

2.1.x

維表：

• 修複維表欄位較多時，頻繁擷取中繼資料導致作業上線逾時的問題。

通用：

• 修複不同的表使用了多個不同的使用者，共用串連池時拋出許可權不足異常的問題。

即時數倉Hologres連接器

1.17

8.0.6

2.1.x

源表：

• Hologres V2.1 起下線 Holohub 模式，不再支援 Flink 通過 Holohub 模式消費 Hologres Binlog。Flink VVR 8.0.6 版本對應的 Hologres Connector，支援在 Hologres 執行個體版本升級至 Hologres V2.1 後，自動將 Holohub 模式切換為 JDBC 模式，詳情請參見Flink/Blink 即時消費 Hologres Binlog。

通用：

• 支援通過type-mapping.timestamp-converting.legacy參數啟用正確讀寫Flink TIMESTAMP_LTZ類型，詳情請參見即時數倉Hologres。

• 即時數倉Hologres連接器

• Hologres計算群組執行個體快速入門

• 串連計算群組

• 計算群組資料訪問授權

1.17

8.0.5

2.0.x

2.1.x

源表：

• Hologres 執行個體為 Hologres V2.1 及以上版本時，使用 JDBC 消費 Binlog 不再需要建立 slot，詳情請參見通過JDBC消費Hologres Binlog。因此，從該版本開始，當判斷 Hologres 執行個體的版本大於 V2.1 時，也將不再自動建立 publication 和 slot。

結果表：

• 新增deduplication.enabled參數，預設為true。當設定為false時，表示結果表在寫入彙總過程中可以選擇不進行去重。該功能適用於對上遊CDC流的完全回放等情境。

• 無主鍵表支援bulkload寫入，相比原有的jdbc_copy，寫入時使用更少的Hologres資源。

通用：

• 支援通過connection.ssl.mode以及connection.ssl.root-cert.location參數啟用傳輸加密。

• 為內部JDBC串連增加逾時參數，以防止在服務端異常重啟等情況下，用戶端串連出現死等的問題。

• 即時數倉Hologres連接器

• Realtime ComputeFlink版即時消費Hologres

1.17

8.0.4

2.0.x

2.1.x

源表：

• 在使用JDBC消費Binlog時會自動建立publication。然而，當對錶進行重建時，之前建立的publication並不會被自動刪除，從而導致無法消費重建表的Binlog。在此版本中，針對這類情況進行了處理，系統將會自動刪除殘留的publication。

通用：

• 為了增加串連池參數的預設值，現在同一任務中的Hologres維表和結果表將共用串連池。

• 即時數倉Hologres連接器

• Realtime ComputeFlink版即時消費Hologres

1.17

8.0.3

2.0.x

2.1.x

通用：

• 無論Hologres執行個體版本，維表和結果表都已不再支援RPC模式。若選擇RPC模式，將自動切換為jdbc_fixed模式，如果執行個體版本較低，建議升級版本。

即時數倉Hologres連接器

1.15

6.0.7

• 1.3.x

• 2.0.x

• 源表：

  適配 Hologres V2.0，檢測到使用者串連到的是 Hologres V2.0 及以上版本的 Hologres 執行個體，則自動切換 Holohub Binlog 模式為 jdbc binlog 模式。

• 維表：

  適配 Hologres V2.0，檢測到使用者串連到的是 Hologres V2.0 及以上版本的 Hologres 執行個體，則自動切換 RPC 模式為 jdbc_fixed 模式。

• 結果表：

  • 適配 Hologres V2.0，檢測到使用者串連到的是 Hologres V2.0 及以上版本的 Hologres 執行個體，則自動切換 RPC 模式為 jdbc_fixed 模式。

  • 新增部分列更新能力，僅支援插入Flink INSERT語句中聲明的欄位，使用此能力可以更加簡潔地表達寬表Merge情境。

• 通用：

  Connector中發生record convert異常時，會列印出來來源資料以及目前convert的結果，方便排查髒資料問題。

• 問題修複：

  • 修複使用者作業中不同執行個體或者資料庫使用相同connectionPoolName不拋出異常的問題。

  • 修複6.0.6版本中維表字串類型有null值時拋出null 指標的問題。

即時數倉Hologres連接器

1.15

6.0.6

1.3.x

源表：

• JDBC模式消費Hologres Binlog不再強制設定Slotname參數，支援建立預設Slot，從Holohub模式切換更平滑。

• 新增enable_filter_push_down參數，批量源表不再預設下推filter條件，需要設定此參數值為true。

即時數倉Hologres連接器

1.15

6.0.5

1.3.x

• 通用：作業啟動時，會在TaskManager日誌中列印所有參數資訊，方便排查問題。

• CTAS/CDAS：支援欄位類型寬容模式，使用此模式上遊發生資料類型修改事件時，只要所修改類型與原類型的歸一化類型相同，都視作修改成功。

• Hologres Catalog：豐富ALTER TABLE文法，支援修改Hologres物理表屬性，支援修改表名、增加列、列重新命名和修改列注釋。

• CREATE TABLE AS（CTAS）語句

• 使用Hologres Catalog

1.15

6.0.3~6.0.4

1.3.x

源表：

• 新增JDBC模式消費Hologres Binlog，此模式支援更多的資料類型，且支援自訂帳號。

• 批量源表以及全增量源表的全量階段，支援Filter下推。

結果表：

支援以 Fixed Copy 的模式寫入，Fixed Copy 是 Hologres V1.3 新增的能力，相比通過 JDBC 模式進行寫入，Fixed Copy 方式可以實現更高的吞吐（因為是流模式）、更低的資料延時和更低的用戶端記憶體消耗（因為不攢批）。

Hologres Catalog：

• 支援建立Catalog時進行預設的表屬性設定。

sdkMode參數：Hologres不同類型的表都有多種模式可以選擇，此版本開始統一整理為sdkMode參數。

• COPY情境

1.13

4.0.18

1.1及以上版本

修複Sink表上報Metrics影響寫入效能的問題。

1.13以及1.15

4.0.15以及6.0.2

1.1及以上版本

源表：

• 從該版本開始，批量源表預設大小寫敏感。

• 支援配置批量源表Scan操作所在事務的逾時時間。

• 修複批量源表解析複雜字串可能失敗的問題。

• 全增量源表新增Upsert模式。

維表：

Hologres維表支援非同步請求的逾時時間（asyncTimeoutMs）設定。

結果表：

• 支援PARTITION BY文法，CTAS建立Hologres結果表時可以通過PARTITION BY定義分區表。

• Metrcis支援currentSendTime指標。

• 開源Flink源表

• CREATE TABLE AS（CTAS）語句

1.13

4.0.13

1.1及以上版本

• 源表支援全增量一體源表消費。

• 支援Datastream API。

• Hologres DataStream Connector

1.13

4.0.11

0.10及以上版本

支援CTAS、CDAS。

• CREATE TABLE AS（CTAS）語句

• CREATE DATABASE AS（CDAS）語句

1.13

4.0.8

0.10及以上版本

結果表、源表、維表支援Hologres Catalog。

管理Hologres Catalog

1.13

3.0.0

0.9及以上版本

支援即時消費Hologres。

Flink全託管

等級

缺陷描述

影響版本

修複版本

解決方案

P0

結果表寫入部分列，如果未寫入的欄位設定了目前時間相關的預設值，如 current_timestamp、 now()等，最終填充的預設值可能不符合預期。原因是 FixedFE 模式對時間相關預設值的處理不正確。

11.0 ~ 11.5

不涉及

在寫入時使用 Flink 側的 now 傳入結果表相應欄位。或者將connection.fixed.enabled 參數設定為 false。

P0

Binlog消費時，如果物理列和中繼資料列存在同名列（如table_name），會錯誤地讀取中繼資料列的值而非物理列的資料，導致資料不正確。

8.0.11, 11.0~11.4

11.5

升級至11.5及以上版本，並設定scan.binlog.prefer.physical-column.over.metadata為true。或在升級前，避免在Binlog源表的DDL中同時聲明與中繼資料列同名的物理列。

P1

Binlog列裁剪可能導致Binlog消費的資料列錯位。原因是holo-client在處理列裁剪時可能擷取到非預期的列。

11.3~11.5

11.3~11.5均發行hot-fix修複

此問題通過hot-fix修複，一般不會碰到。如果是DataStream作業，可以使用最新版本的Connector。

P2

一對多維表的Scanner在停止作業時無法正常關閉，可能導致資源泄漏或作業停止逾時。原因是holo-client內部的scanner關閉邏輯存在問題。

11.3之前

11.4

升級至11.4及以上版本。

P1

使用check and put功能時，如果收到delete記錄會拋出NPE異常，導致作業失敗。

8.0.11~11.4

11.5

升級至11.5及以上版本。或暫時避免在有delete操作的流上使用check and put。

P2

Connector從checkpoint恢複時，如果表在作業運行期間被drop並重建過，則無法從checkpoint恢複。

11.0~11.2

11.3

如果是測試情境，可以升級至11.3及以上版本避免此問題。需要注意的是：消費Binlog過程中，drop表會影響資料正確性，因此生產情境不建議在消費Binlog過程中重建表。

P1

JDBC Binlog讀取RoaringBitmap類型資料失敗，拋出解析異常。

11.0~11.2

11.3

升級至11.3及以上版本。

P1

消費物理分區表state的LSN在shard無資料時被錯誤初始化為0，導致分區資料在從state恢複時丟失。

8.0.10之前, 11.0~11.2

8.0.11, 11.3

升級至8.0.11或11.3及以上版本。

P1

寫入text數組包含null元素時拋出NPE異常，導致寫入失敗。

11.0~11.1

11.2

升級至11.2及以上版本。或確保上遊資料中text數組不包含null元素。

P1

建立分區尾碼與動態分區衝突，導致分區建立失敗。

11.0~11.2

11.3

升級至11.3及以上版本。

P2

髒資料策略對非髒資料異常也會生效，導致正常的異常被錯誤處理（如靜默丟棄）。

11.0~11.1

11.2

升級至11.2及以上版本。

P1

全增量一體源表：JDBC Binlog從LSN+1開始消費的問題。Checkpoint中已記錄當前LSN，恢複後可能跳過一條記錄。

8.0.10及之前

8.0.11

升級至8.0.11。

P2

CTAS情境下drop column和type change同時發生時，類型歸一化錯誤導致schema變更失敗。

8.0.10及之前

8.0.11

升級至8.0.11。或避免同時進行drop column和type change操作。

P2

使用Catalog維表時，factory中校正Binlog參數導致誤判異常。

8.0.10及之前

8.0.11

升級至8.0.11。

P2

多表情境下JDBC探針請求（poking request）過多導致SQL Gateway逾時。

11.0~11.5

11.6

升級至11.6。或減少同一作業中的Hologres表數量。

P2

選擇fixedfe模式時，如果表中包含fixedfe不支援的類型，不會自動降級到fe串連，導致寫入或查詢異常。

11.0~11.2

11.3

升級至11.3及以上版本。或手動指定使用fe串連模式。

P1

JDBC模式消費Binlog，出現Binlog Convert Failed異常，或者部分shard的資料讀取停止在某個時刻。原因是Hologres執行個體的Gateway收到後端逾時的異常資訊時，將異常返回給用戶端的過程中會存在問題，導致讀取數據卡住或資料解析失敗報錯。

不涉及

不涉及

一般在作業反壓時會更容易出現，如果作業存在資料讀取卡住的問題，可以選擇重啟作業並從最近的checkpoint恢複。

要徹底解決該問題，需要將Hologres版本升級到2.2.21及以上版本。

P2

作業上線慢或者逾時，查看Thread Dump卡在 GetTableSchema處。

不涉及

不涉及

可能存在多種情況，可以根據以下步驟依次排查：

1. 請先驗證Flink叢集和Hologres執行個體的網路連通性。

2. 調整 jdbcRetryCount參數為1，防止內部重試無法看到異常根因。

3. Hologres V2.0 及其之前版本，在使用者 DDL 頻繁時，存在中繼資料清理不及時的問題，可能導致查詢表的 Meta 變慢，建議將 Hologres 版本升級至 Hologres V2.1 及以上版本。

P0

通過FixedFE（對應connector中的jdbc_fixed模式）寫入Hologres的 Text，Json或Jsonb類型時，如果資料來源有不合法的字元，可能拋出預期外的異常，進一步導致當前串連所在FE節點重啟，當前FE的串連中斷。

不涉及

不涉及

如果無法保證上遊字串的合法性，建議使用jdbc模式寫入，並且為結果表開啟

remove-u0000-in-text.enabled參數。

或者將Hologres版本升級至3.0及以上版本，以繼續使用jdbc_fixed模式。

P1

在進行JDBC維表一對多join時，Flink Task出現記憶體使用量過高或者OOM 的情況。

不涉及

不涉及

Hologres V1.3，使用prefix scan，在查詢結果大於jdbcScanFetchSize時，出現批量查詢不結束的情況。繞過方法：將jdbcScanFetchSize設定為一個大值，例如100000。

要徹底解決該問題，需要升級 Hologres 執行個體版本至 Hologres V2.0 及以上版本。

P1

Binlog作業有狀態恢複時，拋出the table id parsed from checkpoint is different from the current table id的異常。原因是作業在之前運行過程中，進行了TRUNCATE或者重建表，而checkpoint中儲存的是作業初次開機時的table id，導致與當前的table id不匹配。

8.0.4

8.0.9

從8.0.9版本開始，不再強制檢查table id，而是僅輸出WARN層級日誌，以允許作業從最新狀態恢複。但仍然不推薦在binlog表作業運行時進行重建表操作。對binlog來說，這類操作會導致之前的binlog完全丟失。

P2

作業運行過程中發生反壓，查看ThreadDump發現Execution Pool卡在close或者start方法。原因是共用串連池多個client複用同一個串連池時，可能存在死結，導致串連池無法正常關閉。

8.0.5

8.0.9

建議升級版本。

P2

如果對源表進行了DELETE FROM操作之後進行全增量消費，由於增量階段沒有資料，導致全量階段會從頭開始消費所有的binlog。

8.0.6及之前版本

8.0.7

建議升級或者指定起始時間進行增量消費。

P1

維表欄位數量較多時，作業上線逾時。

8.0.6

8.0.7

建議升級版本。

P0

當在批量源表中開啟enable_filter_push_down參數後，Filter不生效，導致讀取的資料包含了一些應該被過濾掉的資料。

8.0.5及之前版本

8.0.6

建議升級版本。

P0

通過FixedFE（對應Connector中的jdbc_fixed模式）寫入JSON或JSONB類型資料到Hologres時，如果資料來源有不合法的JSON或JSONB欄位，會導致當前串連所在FE節點重啟，當前FE的串連中斷。

8.0.5及之前版本

暫無

如果無法保證上遊JSON或JSONB字串的合法性，建議使用JDBC模式寫入。

P1

JDBC維表一對多Join時，內部出現的串連失敗等異常無法拋出，表現為非同步Join節點反壓且資料不再流動，發生機率較小。

6.0.7及之前版本

8.0.3

建議升級版本，也可以通過重啟作業暫時恢複。

P1

通過JDBC模式消費Binlog時，存在記憶體流失問題。可能的表現為作業啟動時消費速率較高，之後持續下降。

6.0.7及之前版本

6.0.7

建議升級版本，對於DataStream作業，需要使用6.0.7-1版本的依賴。

P0

JDBC模式寫入的定時Flush（由jdbcWriteFlushInterval參數控制）捕獲的異常在下條資料寫入時才會拋出，當使用者寫入流量較小時，異常被捕獲還未拋出期間有可能進行成功的checkpoint。下次失敗時會從這個不合理成功的checkpoint恢複，從而可能出現丟資料的情況。

6.0.6及之前版本

6.0.7

流量較小時容易出發此缺陷，建議升級版本，或者調整jdbcWriteFlushInterval時間大於checkpoint的間隔時間。

P2

JDBC模式消費Binlog不設定Slotname時，系統會自動建立一個Slotname。若當表名含有特殊字元或Schema名稱時，自動建立非法Slotname，無法使用，且作業將會拋出syntax error異常。

6.0.6

6.0.7

建議升級版本，對於DataStream作業，需要使用6.0.7-1版本的依賴。

P1

使用者作業中不同的Hologres執行個體或資料庫使用相同的connectionPoolName時，出現找不到表等異常。

6.0.6及之前版本

6.0.7

同一個作業使用的Hologres執行個體或者資料庫不同時，使用不同的connectionPoolName。

P1

維表字串類型有null值時，會拋出NPE異常。

6.0.6

6.0.7

建議升級版本。

P0

Hologres源表預設開啟Filter下推，但如果作業也使用了Hologres維表，且寫入的DML中包含對維表非主鍵欄位的過濾條件時，維表的Filter也會被錯誤地下推，可能導致維表Join出現錯誤結果。

6.0.3~6.0.5

6.0.6

建議升級版本。

P0

多個結果表的mutatetype不同，但使用同一個connectionPoolName參數以複用串連池時，可能出現mutatetype配置被覆蓋的情況，導致配置不生效。

6.0.2及之前版本

6.0.3

將全部結果表的mutatetype都設定為InsertOrUpdate，或者為mutatetype不同的表設定不同的connectionPoolName。

P1

Binlog源表DDL中聲明hg_binlog_timestamp_us欄位時拋出NPE異常。

6.0.2

6.0.3

不使用所述欄位，或者升級版本。

P1

彙報Metrics會影響結果表的寫入效能，排查表現為Sink節點的thread dump會卡在reportWriteLatency。

4.0.15~4.0.17

4.0.18

選擇沒有受影響的版本。

P2

批量源表讀取字元或字元數群組類型，其中比較特殊字元時，解析字串失敗。

4.0.14及之前版本

4.0.15

清理源表中的髒資料，或者升級版本。

P2

全增量一體化源表DDL中聲明hg_binlog等Binlog專屬欄位時，消費不到全量資料。

4.0.13

4.0.14

不使用全增量功能，或者升級版本。