PolarDB：日誌節點發布說明

類別

說明

新增&最佳化

CDC（日誌節點）版本更新至5.4.21版本。

新增CDC（日誌節點）支援新的DN查詢事件變數Q_OPT_INDEX_FORMAT_HIPPO_ENABLED。

新增支援Binlog壓縮功能。

最佳化列存索引（CCI）的資料同步效能。

最佳化CDC（日誌節點）在儲存節點（DN）進行規格變更配置時的恢複速度。

修複

修複下遊資料同步工具（如Flink CDC）在解析特定FORMAT_DESCRIPTION_EVENT類型的Binlog事件時可能出現的異常問題。

修複列存索引（CCI）在解析包含注釋符#的DDL語句時出現報錯的問題。

修複在Binlog產生速度過快時，Binlog消費鏈路有機率出現報錯的問題。

修複CDC（日誌節點）由源端過濾功能時，可能導致下遊PolarDB-X執行個體串連機率性中斷的問題。

修複CDC（日誌節點）在超大規格執行個體上運行時，因高頻GC（記憶體回收）有機率導致JVM崩潰的問題，

修複對包含反引號``的表名執行ALTER操作時，CDC（日誌節點）主鏈路有機率中斷的問題。

類別

說明

新增

新增Binlog Dump支援主動過濾功能，在產生Binlog時過濾歸檔表所產生的刪除事件。

類別

說明

新增&最佳化

新增虛擬表（Virtual Table）功能，支援通過配置映射規則，將合格多個物理表名映射為同一個虛擬表名。

新增參數daemon_tso_heartbeat_suspend_enabled，用於控制是否在特定條件下暫停對TSO（Timestamp Oracle）服務的心跳檢測。

最佳化從Binlog同步資料到列存索引（CCI）的效能。

修複

修複CDC（日誌節點）在恢複Binlog產生鏈路的過程中，因單個Binlog事件（Event）體積過大而導致記憶體溢出（OOM）的問題。

類別

說明

新增

新增支援修改列存索引（CCI）的分區鍵和排序鍵。此功能為資料管理提供了更高的靈活性，允許根據業務變化調整列存索引的資料分布和排序策略，而無需完全重建索引，進而最佳化查詢效能。

支援原地重建列存索引（CCI），此操作允許在不影響查詢和歷史版本資料訪問的前提下，對列存索引進行最佳化和重組。

修複

修複一個DN（資料節點）在單流BinlogLog Service情境下可能導致資料流中斷的問題。

類別

說明

新增

CDC（日誌節點）新增支援在產生Binlog時過濾歸檔表所產生的刪除事件。

類別

說明

新增

CDC（日誌節點）多流Binlog新增支援一個儲存節點對應一個Binlog流。

最佳化

最佳化對Binlog執行Dump操作時的記憶體管理。

最佳化日誌節點對下遊輸出Binlog的效能，以提高輸出速率 。

最佳化日誌節點向GMS（Global Meta Service，全域中繼資料服務）發送的SQL，以降低GMS的負載。

類別

說明

新增

CDC（日誌節點）多流Binlog新增支援一個儲存節點對應一個Binlog流。

類別

說明

新增&最佳化

新增支援CHECK約束。具體資訊，請參見CHECK約束。

最佳化CDC堆外直接記憶體配置策略，以避免直接記憶體配置不足導致的OOM問題。

最佳化CDC逾時強制重啟機制，在CDC背景工作處理序阻塞時也可以強制重啟。

類別

說明

最佳化

最佳化單個Binlog檔案的預設大小為1 GB，並且支援Binlog檔案編號超過999999時自動Rotate。

最佳化Binlog透明消費檔案的下載邏輯。

類別

說明

最佳化

最佳化主備節點的複製邏輯。

最佳化CDC高可用模組心跳逾時探測邏輯，以規避不必要的進程重啟。

修複

修複因CDC老版本升級時系統資料表配置中缺少RuntimeVersion欄位，從而導致升級中斷的問題。

修複執行SHOW CREATE TABLE語句後，其結果中無WITH PARSER NGRAM屬性的問題。

類別

說明

修複

修複CDC中繼資料針對REAL和DOUBLE類型在處理時，因為相容性差異導致CDC鏈路中斷的問題。

類別

說明

修複

修複執行單條SQL更新多張表的情況下，有機率出現連續的TableMapEvent從而導致TraceID亂序的問題。

類別

說明

修複

修複因單個計算節點不可用而導致CDC進程無法啟動的問題。

修複因記憶體中的Offset值與Binlog檔案的Offset值不一致而導致對Binlog檔案進行Dump操作失敗的問題。

類別

說明

修複

修複執行SHOW FULL BINARY LOGS語句後，返回資訊不完整的問題。

修複CDC拓撲重建過程中，系統自動並發上傳同一個Binlog檔案，導致該檔案最終丟失的問題。

修複SQL解析器對含有隱式表組的ALTER語句解析失敗，以及打標語句不能被正確處理的問題。

修複CDC Dumper主備同步過程中，系統自動刪除Master節點本地檔案，導致複製鏈路無法自動回復的問題。

類別

說明

新增

新增CDC（Change Data Capture，日誌節點）支援定期構建同步位點（sync point）。

修複

修複binlog cursor未能按預期更新而導致消費過程中出現阻塞（block）的問題。

類別

說明

新增&最佳化

新增支援CDC（Change Data Capture，日誌節點）定期構造Sync Point。

最佳化PolarDB-X 1.0至PolarDB-X 2.0的升級評估中全量資料校正的能力。

修複

修複因中繼資料變更導致全域Binlog產生失敗的問題。

修複因請求的目標Binlog File為空白，進而導致無法提供Binlog Dump服務的問題。

類別

說明

新增&最佳化

主從DDL複製新增支援針對function類型的複製。

主從DDL複製新增支援針對sequence類型的複製。

主從DDL複製新增支援針對view類型的複製。

主從DDL複製新增支援針對procedure類型的複製。

主從DDL複製新增支援針對帳號、角色和權限類別型的複製。

主從DDL複製新增支援針對alter tablegroup類型的複製。

主從DDL複製新增支援針對alter index類型的複製。

主從DDL複製新增支援針對多流binlog情境下的一致性協調對齊複製。

主從複製新增支援按時間戳記建立複製鏈路能力。

主從複製新增通過SQL命令校正上下遊資料一致性的能力。

主從複製新增從執行個體角色，Slave叢集具備執行個體級唯讀能力。

新增支援主從複製DML寫入的where條件全鏡像匹配能力。

新增支援多流binlog stream name和user name綁定，使用綁定帳號執行binlog相關SQL時，無需增加with選項。

最佳化主從複製基於server_id的雙向複製能力，新增命令列指定過濾規則和server_id異常自檢能力。

修複

修複multi alter add/drop column語句導致中繼資料列序錯誤，進而導致的binlog鏈路中斷的問題。

修複multi alter add/drop/rename index語句導致中繼資料丟失索引，進而導致binlog中記錄錯誤DDL SQL的問題。

修複meta_build_physical_ddl_sql_blacklist_regex參數存在配置缺陷，導致alter ddl sql包含user關鍵字時ddl被過濾的問題。

修複drop index ddl sql無法輸出到binlog的問題。

類別

說明

新增

新增show full binary logs、show full master status等binlog相關的營運指令。

修複

修複SQL閃回精確匹配失效的問題。

類別

說明

新增

新增show full master status命令。

最佳化

最佳化mysql binlog dump相容性，支援checksum、heartbeat等參數。

類別

說明

新增

新增支援SQL閃回，並復原整個事務。

修複

修複TSO心跳在binlog中的記錄方式，解決下遊MySQL Crash問題。

類別

說明

最佳化

最佳化grpc反壓控制休眠時間，提升Binlog對外dump速度至130MB/s。

修複

修複設定時間範圍後無DML/DDL導致SQL閃回無法結束的問題。

類別

說明

最佳化

最佳化Binlog數量較多時show binary logs語句的查詢效率，並解決出現的卡慢問題。

修複

修複對JSON資料類型進行資料整形時緩衝區溢位的問題。

修複CDC升級過程中metaDB發生HA切換導致metaDataSource scan線程退出的問題。

修複binlog_dumper_info更新時的死結問題。

類別

說明

新增&最佳化

新增支援flush logs語句。

最佳化透明消費對外dump的速度。

CDC獲得DN串連不依賴is_vip。

CDC擷取metadb串連去除管控依賴。

修複

修複包含BIGINT SIGNED列定義的建表語句及解析文法報錯問題。

修複recover tso產生演算法可能導致binlog list空洞的問題。

修複唯讀執行個體擴縮容後，Task dump主執行個體DN搜不到起始位點的問題。

類別

說明

新增

新增支援對transaction對象進行持久化，以降低記憶體佔用。

修複

修複基於歷史TSO進行恢複時，recover tso不能小於最近一次擴縮容打標事務的TSO的問題。

修複CDC Dumper主備同步過程中，Dumper Master本地檔案被刪導致grpc線程無法退出的問題。

類別

說明

修複

修複從OSS消費binlog時，可能觸發心跳視窗衝突導致鏈路出錯的問題。

修複針對TableMapEvent進行整形時機率性出現資料格式轉換錯誤的問題。

修複DDL Event中Sql_Mode值和原始Sql_Mode不一致的問題。

修複針對nchar、nvarchar類型邏輯表和物理表中繼資料不一致的問題。

修複當ddl sql中包含分行符號時轉單行注釋失效的問題。

類別

說明

最佳化&新增

新增支援對背景工作處理序的CPU使用率進行監控統計。

新增支援對EPS進行更細粒度的監控（INSERT/UPDATE/DELETE）。

最佳化binlog檔案上傳OSS速度，bps提升至700MB/s。

新增CDC營運命令（start master/stop master/restart master/reset master）。

修複

修複透明消費離線binlog時，發生長時間block的問題。

修複binlog檔案在讀取過程中被刪除導致dump線程無法退出的問題。

修複當物理DDL中繼資料過多時，reset master失敗的問題。

修複DDL Event中Sql_Mode值和原始sql_mode不一致的問題。

修複同一個sql中同時包含add primary key和drop primary key，導致下遊MySQL報錯的問題。

類別

說明

修複

修複SchemaRepository執行完SQL之後，列序不符合預期的問題。

修複資料整形時，針對Null 字元串整形觸發NPE的問題。

類別

說明

修複

修複中繼資料資訊超過資料類型mediumtext的長度導致資料截斷的問題。

類別

說明

修複

修複mysql charset未轉換為java charset導致解析失敗的問題。

類別

說明

最佳化

最佳化binlog同步鏈路恢復，RTO縮短至15S。

最佳化資料表數量達到幾十萬規模時，CDC中繼資料資訊的恢複速度。

修複

修複透明消費binlog時可能發生的位點計算錯誤問題。

修複針對text(0)進行中繼資料一致校正時的相容性問題。

類別

說明

修複

修複連續增加主鍵和刪除主鍵，導致CDC鏈路中斷的問題。

修複消費程式在進行binlog dump前，未發送COM_REGISTER_SLAVE引起CDC主動斷連的問題。

修複多流資料路由，Hash值為Integer.MIN_VALUE時導致資料鏈路中斷的問題。

類別

說明

新增&最佳化

支援多級歸併，實現DN節點線性增加時，效能無明顯衰減。

支援透明消費，下遊消費程式通過dump協議，可直接消費歸檔到OSS的binlog檔案，無需下遊自行對接OSS。

支援多流binlog，可自訂流的個數，每條流擁有獨立的binlog檔案日誌流。

支援定時構建全量中繼資料Snapshot，解決歷史DDL打標記錄過度膨脹問題。

支援從OSS並行下載binlog檔案，提升執行個體恢複速度。

修複

修複觸發binlog event資料整形時的相容性和正確性問題，進一步提升DDL變更期間CDC鏈路的穩定性。

修複CDC叢集發生重啟後，下遊訂閱可能發生dump逾時的問題。

修複Dumper進程初次啟動時，計算的延遲時間有誤的問題。