PolarDB:PolarDB-X CDC リリースノート

カテゴリ

説明

修正

CDC BinlogX リレーログのクリーンアップ中に発生する循環依存の問題を修正しました。

カテゴリ

説明

機能改善

非同期 DDL 同期中に発生した例外を修正しました。

修正

CDC のバージョンアップグレードと binlog の再構築後に、binlog ダンプがハングする場合がある問題を修正しました。

カテゴリ

説明

修正

特定の不正なテーブル作成ステートメントが、 Binlog に誤った SQL を生成させる問題を修正しました。

カテゴリ

説明

機能強化

低メモリ構成では、メタデータの永続化が自動的に有効になるようになりました。

Fixed an issue where a replica could not synchronize empty string values for non-NULL JSON fields.

修正

Fixed an issue where multiple CREATE DATABASE IF NOT EXISTS statements could interrupt a log node during data node scale-up or scaling.

Fixed an issue where a log node would occasionally report an error when retrieving the METADB address.

カテゴリ

説明

新機能および機能強化

CDC (ログノード) をバージョン 5.4.21 にアップグレードしました。

CDC (ログノード) が新しい DN クエリイベント変数 Q_OPT_INDEX_FORMAT_HIPPO_ENABLED をサポートするようになりました。

Binlog 圧縮のサポートを追加しました。

カラムナストアインデックス (CCI) のデータ同期パフォーマンスが向上しました。

ストレージノード (DN) の仕様変更時における CDC (ログノード) の復旧速度を最適化しました。

修正

Flink CDC などのダウンストリームデータ同期ツールが FORMAT_DESCRIPTION_EVENT タイプの Binlog イベントを解析する際に発生するエラーを修正しました。

カラムナストアインデックス (CCI) がコメント文字 # を含む DDL ステートメントを解析する際のエラーを修正しました。

高レートの Binlog 生成時に Binlog 消費パイプラインで発生することがあるエラーを修正しました。

CDC (ログノード) のソース側のフィルタリングに起因する、ダウンストリーム PolarDB-X インスタンスへの断続的な接続中断を修正しました。

CDC (ログノード) が超大型インスタンスで実行される際に、頻繁なガベージコレクション (GC) に起因する JVM クラッシュを修正しました。

バッククォート `` を含むテーブル名に対して ALTER 操作を実行する際に発生する CDC (ログノード) のメインリンクの中断を修正しました。

カテゴリ

説明

新機能

Binlog ダンプは、Binlog の生成時にアーカイブされたテーブルの削除イベントをフィルタリングします。

カテゴリ

説明

機能強化

マッピングルールを使用して、条件を満たす複数の物理テーブルを 1 つの仮想テーブルにマッピングできる仮想テーブル機能を導入しました。

特定の条件下で TSO サービスのハートビートを一時停止できるように、daemon_tso_heartbeat_suspend_enabled パラメーターを追加しました。

バイナリログから CCI へのデータ同期を最適化しました。

修正

バイナリログパイプラインのリカバリ中に、過大なバイナリログイベントによって CDC ログノードで OOM エラーが発生する可能性がある問題を修正しました。

カテゴリ

説明

新機能

クラスター化列ストアインデックス (CCI) のパーティションキーとソートキーを変更できるようになりました。この機能により、インデックスの再構築を必要とせずに、ビジネスの変化に合わせて CCI のデータ分散とソート戦略を調整することで、データ管理が改善され、クエリパフォーマンスが最適化されます。

クラスター化列ストアインデックス (CCI) のインプレースでの再構築に対応しました。この操作により、アクティブなクエリや履歴データへのアクセスに影響を与えることなく、CCI を最適化および再編成できます。

修正された問題

シングルストリームバイナリログサービスの使用時に、データノード (DN) がデータストリームを中断する可能性がある問題を修正しました。

カテゴリ

説明

新機能

CDC ノードは、バイナリログの生成時に、アーカイブされたテーブルの削除イベントをフィルタリングするようになりました。

カテゴリ

説明

新機能

CDC (CDC ノード)：マルチストリームバイナリログがストレージノードとバイナリログストリーム間の 1 対 1 のマッピングをサポートするようになりました。

機能の最適化

バイナリログのダンプ操作におけるメモリ管理を最適化しました。

CDC ノードからダウンストリームシステムへのバイナリログの出力レートを向上させました。

CDC ノードからの SQL ステートメントを最適化することで、グローバルメタサービス (GMS) への負荷を削減しました。

カテゴリ

説明

新機能

変更データキャプチャ (CDC)： ログノード上のマルチストリームバイナリログで、ストレージノードとバイナリログストリーム間の 1 対 1 のマッピングが可能になりました。

カテゴリ

説明

新機能と最適化

CHECK 制約をサポートしました。詳細については、「CHECK 制約」をご参照ください。

ダイレクトメモリの割り当て不足による OOM を防ぐため、CDC のオフヒープダイレクトメモリの割り当てポリシーを最適化しました。

CDC ワーカープロセスがブロックされている場合でも再起動できるように、CDC タイムアウトの強制再起動メカニズムを最適化しました。

カテゴリ

説明

改善

単一のバイナリログファイルのデフォルトサイズを 1 GB に引き上げ、ファイル数が 999,999 を超えた場合に自動ローテーションを有効にしました。

透過的に消費されるバイナリログファイルのダウンロードロジックを改善しました。

カテゴリ

説明

機能の最適化

プライマリノードとセカンダリノードのレプリケーションロジックを最適化しました。

CDC 高可用性 (HA) モジュールのハートビートタイムアウト検出ロジックを最適化し、不要なプロセスの再起動を防止しました。

修正

システムテーブルの構成に RuntimeVersion フィールドが存在しないため、以前の CDC バージョンからのアップグレードが中断される問題を修正しました。

SHOW CREATE TABLE ステートメントの出力から WITH PARSER NGRAM 属性が欠落していた問題を修正しました。

カテゴリ

説明

修正

CDC メタデータで REAL 型および DOUBLE 型を処理する際に、互換性の問題により CDC リンクが中断されるバグを修正しました。

カテゴリ

説明

修正

単一の SQL ステートメントで複数のテーブルを更新すると、連続した TableMapEvent が生成され、複数のトレース ID の順序が乱れる問題を修正しました。

カテゴリ

説明

修正

単一のコンピューティングノードが利用できない場合に、CDC プロセスが起動に失敗する問題を修正しました。

メモリとバイナリログファイル間のオフセットの不整合により、ダンプ操作が失敗する問題を修正しました。

カテゴリ

説明

修正

SHOW FULL BINARY LOGS ステートメントが不完全な情報を返す問題を修正しました。

同じファイルの同時アップロードが原因で、CDC トポロジーの再構築中にバイナリログファイルが失われる問題を修正しました。

SQL パーサーが、暗黙的なテーブルグループを含む ALTER ステートメントの解析に失敗し、マーキングステートメントを正しく処理できなかった問題を修正しました。

CDC Dumper のプライマリ・セカンダリ同期中にシステムがマスターノード上のローカルファイルを削除したことが原因で、レプリケーションリンクが自動的に回復できなかった問題を修正しました。

カテゴリ

説明

新機能

変更データキャプチャ (CDC) ノードが定期的に同期点を構築できるようにしました。

修正された問題

バイナリログカーソルの更新失敗によりデータ消費がブロックされる問題を修正しました。

カテゴリ

説明

新機能と最適化

CDC ノードが定期的に 同期ポイント を構築できるようになりました。

PolarDB-X 1.0 から PolarDB-X 2.0 へのアップグレードアセスメントの完全なデータ検証を改善しました。

修正

メタデータ変更が原因でグローバルバイナリログの生成が失敗する問題を修正しました。

リクエストされたバイナリログファイルが空であることが原因でバイナリログダンプサービスが失敗する問題を修正しました。

カテゴリ

説明

新機能および最適化

プライマリ/セカンダリ DDL レプリケーションで、関数がレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、シーケンスがレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、ビューがレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、プロシージャがレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、アカウント、ロール、および権限がレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、ALTER TABLEGROUP 操作がレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、ALTER INDEX 操作がレプリケートされるようになりました。

プライマリ/セカンダリ DDL レプリケーションで、マルチストリーム バイナリログ シナリオにおける整合性が調整され、アライメントされたレプリケーションがサポートされるようになりました。

プライマリ/セカンダリ レプリケーションで、タイムスタンプに基づいてレプリケーションリンクを作成できるようになりました。

プライマリ/セカンダリ レプリケーションで、SQL 文を使用してアップストリームとダウンストリーム システム間のデータ整合性を検証できるようになりました。

プライマリ/セカンダリ レプリケーション用の新しいセカンダリ インスタンス ロールが利用可能になり、セカンダリクラスターでインスタンスレベルの読み取り専用機能を有効にできるようになりました。

プライマリ/セカンダリ レプリケーションで、DML 書き込みの WHERE 条件の完全ミラーマッチングがサポートされるようになりました。

マルチストリーム バイナリログのストリーム名をユーザー名にバインドできるようになりました。これにより、バインドされたアカウントでバイナリログ関連の SQL 文を実行する際に with オプションを追加する必要がなくなります。

プライマリ/セカンダリ レプリケーションの server_id ベースの双方向レプリケーションを最適化しました。コマンドラインからフィルタールールを指定できるようになり、システムが server_id の異常を自動的にチェックするようになりました。

修正

MULTI ALTER ADD/DROP COLUMN 文によってメタデータの列順序が不正確になり、バイナリログ リンクが中断される不具合を修正しました。

MULTI ALTER ADD/DROP/RENAME INDEX 文によってインデックス メタデータが失われ、バイナリログに不正確な DDL 文が記録される不具合を修正しました。

meta_build_physical_ddl_sql_blacklist_regex パラメーターの設定の欠陥により、user キーワードが含まれている場合に ALTER DDL 文がフィルタリングされる不具合を修正しました。

DROP INDEX DDL 文がバイナリログに書き込まれない不具合を修正しました。

カテゴリ

説明

新機能

show full binary logs や show full master status など、バイナリログ関連の運用保守コマンドを追加しました。

修正された問題

SQL フラッシュバックで完全一致が失敗する問題を修正しました。

カテゴリ

説明

新機能

SHOW FULL MASTER STATUS コマンドを追加しました。

機能の最適化

チェックサムやハートビートなどのパラメータをサポートするため、 MySQL binlog ダンプの互換性を改善しました。

カテゴリ

説明

新機能

トランザクション全体をロールバックする SQL フラッシュバックに対応しました。

修正された問題

バイナリログにおける TSO ハートビートの記録方法を修正し、ダウンストリームの MySQL コンシューマーでのクラッシュを解消しました。

カテゴリ

説明

最適化

gRPC バックプレッシャー制御のスリープ時間を最適化し、外部 binlog のダンプ速度を 130 MB/s に向上させました。

修正

指定された時間範囲内に DML または DDL 操作が発生しない場合に、SQL フラッシュバックが完了しない問題を修正しました。

カテゴリ

説明

最適化

多数のバイナリログが存在する場合のスロークエリを解決するため、SHOW BINARY LOGS ステートメントを最適化しました。

修正

JSON データの整形時にバッファーオーバーフローが発生する問題を修正しました。

CDC アップグレード中の metaDB での HA 切り替え時に、metaDataSource スキャン スレッドが終了しないようにしました。

binlog_dumper_info の更新時にデッドロックが発生する問題を修正しました。

カテゴリ

説明

新機能と最適化

FLUSH LOGS ステートメントのサポートを追加しました。

透過的消費の外部ダンプ速度を最適化しました。

CDC が DN 接続で is_vip に依存しないようになりました。

CDC における MetaDB 接続取得のコントロール依存関係を削除しました。

修正

BIGINT SIGNED の列定義を含むテーブル作成ステートメントで発生する構文エラーを修正しました。

recover tso の生成アルゴリズムにより、バイナリログリストにギャップが生じる問題を修正しました。

読み取り専用インスタンスのスケール後に、プライマリインスタンス DN でタスクダンプが開始オフセットを見つけられずに失敗する問題を修正しました。

カテゴリ

説明

新機能

メモリ使用量を削減するために、トランザクションオブジェクトを永続化する機能を追加しました。

修正

履歴 TSO に基づいて回復する際に、recover tso が最新のスケーリング タグ付きトランザクションの TSO より小さくできない問題を修正しました。

CDC Dumper のプライマリ-セカンダリ同期中に Dumper Master 上のローカルファイルが削除された場合、gRPC スレッドが終了に失敗するバグを修正しました。

カテゴリ

説明

修正

OSS からバイナリログを消費する際に、ハートビートウィンドウの競合によるリンクエラーを修正しました。

TableMapEvent の整形時のデータフォーマット変換エラーを修正しました。

DDL イベントの Sql_Mode の値と元の値との不一致を修正しました。

nchar 型および nvarchar 型における、論理テーブルと物理テーブル間でのメタデータの不整合を修正しました。

改行を含む DDL SQL ステートメントを単一行コメントに変換できない問題を修正しました。

カテゴリ

説明

新機能と最適化

ワーカープロセスの CPU 使用率をモニタリングできるようになりました。

INSERT、UPDATE、DELETE 操作の秒間イベント数 (EPS) をより細かくモニタリングできるようになりました。

Object Storage Service (OSS) へのバイナリログファイルのアップロード速度を最適化し、レートを 700 MB/s に向上させました。

start master、stop master、restart master、reset master など、変更データキャプチャ (CDC) の運用保守 (O&M) コマンドを追加しました。

修正

オフラインのバイナリログファイルを透過的に消費する際に、長時間ブロックされる問題を修正しました。

読み取り中にバイナリログファイルが削除された場合に、ダンプスレッドが終了に失敗する問題を修正しました。

過剰な物理 DDL メタデータが原因で reset master が失敗する問題を修正しました。

DDL イベントの sql_mode の値と、元の sql_mode の値の間で不整合が生じる問題を修正しました。

ADD PRIMARY KEY と DROP PRIMARY KEY の両方を含む SQL ステートメントによって、下流の MySQL エラーが発生する問題を修正しました。

カテゴリ

説明

修正

SchemaRepository で SQL ステートメントを実行した後に、列の順序が不正になる問題を修正しました。

空の文字列をデータ整形する際に発生する NPE を修正しました。

カテゴリ

説明

修正

メタデータがmediumtext データ型の長さを超えた場合に切り捨てられる問題を修正しました。

カテゴリ

説明

バグ修正

MySQL の文字セットが Java の文字セットに変換されず、解析に失敗する問題を修正しました。

カテゴリ

説明

機能改善

バイナリログ同期リンクの RTO を 15 秒に短縮しました。

データテーブルが数十万ある環境において、CDC メタデータの回復を高速化しました。

修正

バイナリログを透過的に消費する際の、潜在的なオフセット計算エラーを修正しました。

メタデータ一貫性チェックにおける、text(0) との互換性の問題を修正しました。

カテゴリ

説明

修正

主キーの継続的な追加と削除によって CDC リンクが中断される問題を修正しました。

バイナリログのダンプ前にコンシューマープログラムが COM_REGISTER_SLAVE の送信に失敗した場合に CDC が切断される問題を修正しました。

ハッシュ値が Integer.MIN_VALUE の場合に、マルチストリームデータルーティングでデータリンクが中断される問題を修正しました。

カテゴリ

説明

新機能と最適化

マルチレベルマージをサポートしました。これにより、DN ノードをリニアにスケールしても、パフォーマンスが大幅に低下しません。

透過的な消費をサポートしました。ダウンストリームのコンシューマープログラムは、OSS と直接連携することなく、ダンププロトコルを使用して OSS にアーカイブされたバイナリログファイルを直接消費できます。

マルチストリームバイナリログをサポートしました。ストリーム数をカスタマイズでき、各ストリームには独立したバイナリログファイルがあります。

定期的に完全なメタデータスナップショットを作成できるようになりました。これにより、履歴 DDL タグ付けレコードが過剰に増加するのを防ぎます。

OSS からバイナリログファイルを並列でダウンロードできるようになりました。これにより、インスタンスリカバリ速度が向上します。

修正

バイナリログイベントデータの整形における互換性と正確性の問題を修正し、DDL の変更時における CDC リンクの安定性を向上させました。

CDC クラスターの再起動後に、ダウンストリームのサブスクリプションでダンプがタイムアウトする可能性がある問題を修正しました。

Dumper プロセスの初回起動時に発生するレイテンシ計算の誤りを修正しました。