PolarDB:CDC node release notes

カテゴリ

説明

新機能と機能強化

CDC (ログノード) をバージョン 5.4.21 にアップグレードしました。

CDC (ログノード) が、新しい DN クエリエベント変数 Q_OPT_INDEX_FORMAT_HIPPO_ENABLED をサポートするようになりました。

バイナリログ圧縮のサポートを追加しました。

列ストアインデックス (CCI) のデータ同期パフォーマンスを向上させました。

ストレージノード (DN) のサイズ変更後の CDC (ログノード) の回復を高速化しました。

バグ修正

Flink CDC などのダウンストリームデータ同期ツールで、FORMAT_DESCRIPTION_EVENT タイプのバイナリログイベントを解析する際に例外が発生する可能性があった問題を修正しました。

コメント文字 # を含む DDL ステートメントを解析する際に、列ストアインデックス (CCI) がエラーを報告する問題を修正しました。

バイナリログが高いレートで生成されると、バイナリログ消費パイプラインで時折エラーが発生するバグを修正しました。

CDC (ログノード) でソース側のフィルタリング機能を有効にすると、ダウンストリームの PolarDB-X インスタンスへの接続が時折中断されるバグを修正しました。

CDC (ログノード) が特大インスタンスで実行されている場合に、頻繁な GC (ガベージコレクション) が原因で JVM が時折クラッシュするバグを修正しました。

バックティック `` を含むテーブル名に対して ALTER 操作が実行されると、プライマリ CDC (ログノード) リンクが中断される可能性があった問題を修正しました。

カテゴリ

説明

新機能

バイナリログ作成時にアーカイブテーブルによって生成された削除イベントを除外するために、バイナリログダンプのアクティブフィルタリングを追加しました。

カテゴリ

説明

新機能と機能強化

仮想テーブルのサポートを追加しました。マッピングルールを設定して、複数の条件を満たす物理テーブルを単一の仮想テーブルにマッピングできるようになりました。

特定の条件下で TSO サービスのハートビートチェックを一時停止するかどうかを制御する daemon_tso_heartbeat_suspend_enabled パラメーターを追加しました。

バイナリログから 列ストアインデックス (CCI) へのデータ同期パフォーマンスを向上させました。

修正

バイナリログパイプラインの回復中に、過度に大きなバイナリログイベントが原因で CDC (ログノード) に OOM エラーが発生する問題を修正しました。

カテゴリ

説明

新機能

列ストアインデックス (CCI) のパーティションキーとソートキーを変更できるようになりました。これにより、ビジネスの変更に応じてデータ分散とソート戦略を調整し、インデックスを再構築することなくクエリパフォーマンスを最適化できます。

クエリや履歴データバージョンへのアクセスに影響を与えることなく、CCI のインプレース再構築を実行して、インデックスを最適化および再編成できるようになりました。

修正

データノード (DN) がシングルストリームバイナリログサービスでデータストリームの中断を引き起こさないように修正しました。

カテゴリ

説明

新機能

CDC ノードが、バイナリログ生成時にアーカイブテーブルからの削除イベントをフィルタリングするようになりました。

カテゴリ

説明

新機能

マルチストリーム CDC 構成で、ストレージノードとバイナリログストリーム間の 1 対 1 マッピングのサポートを追加しました。

最適化

バイナリログダンプ操作のメモリ管理を最適化しました。

ダウンストリームシステムへのバイナリログストリーミング時の CDC ノードのスループットを向上させました。

CDC ノードからグローバルメタサービス (GMS) に送信される SQL ステートメントを最適化し、その負荷を軽減しました。

カテゴリ

説明

新機能

マルチストリームバイナリログ：ストレージノードとバイナリログストリーム間の 1 対 1 マッピングをサポートするようになりました。

カテゴリ

説明

新機能と最適化

CHECK 制約のサポートを追加しました。

メモリ不足 (OOM) の問題を防止するために、CDC オフヒープダイレクトメモリの割り当てポリシーを最適化しました。

ワーカプロセスがブロックされている場合でもトリガーされるように、CDC の強制再起動メカニズムを最適化しました。

カテゴリ

説明

機能強化

単一のバイナリログファイルのデフォルトサイズを 1 GB に増やし、バイナリログファイルシーケンス番号が 999,999 を超えた場合に自動回転を有効にしました。

透過的に消費されるバイナリログファイルのダウンロードロジックを最適化しました。

カテゴリ

説明

機能の最適化

プライマリノードとセカンダリノードのレプリケーションロジックを最適化しました。

不要なプロセスの再起動を防ぐために、CDC 高可用性 (HA) モジュールのハートビートタイムアウト検出ロジックを最適化しました。

修正

システムテーブル構成に RuntimeVersion フィールドがないために、以前の CDC バージョンからのアップグレードが中断される問題を修正しました。

SHOW CREATE TABLE ステートメントの結果に WITH PARSER NGRAM 属性が含まれるようになりました。

カテゴリ

説明

問題の修正

CDC メタデータが REAL 型と DOUBLE 型を処理する方法の互換性の違いにより、CDC リンクが中断される問題を修正しました。

カテゴリ

説明

問題の修正

単一の SQL ステートメントが複数のテーブルを更新すると、連続した TableMapEvent が生成され、TraceID が順不同になるバグを修正しました。

カテゴリ

説明

修正

単一の利用できないコンピューティングノードが原因で CDC プロセスの起動が失敗する問題を修正しました。

メモリとファイルのオフセットの不一致が原因でバイナリログファイルのダンプ操作が失敗する問題を修正しました。

カテゴリ

説明

修正

SHOW FULL BINARY LOGS ステートメントを実行すると不完全な情報が返される問題を修正しました。

CDC トポロジ再構築中に同じファイルが同時にアップロードされることによるバイナリログファイルの損失を防止しました。

SQL パーサーが暗黙的なテーブルグループを含む ALTER ステートメントの解析に失敗し、マーキングステートメントを正しく処理しない問題を修正しました。

CDC Dumper のプライマリ/セカンダリ同期中にマスターノード上のローカルファイルが削除されるのを防ぎ、レプリケーションリンクの自動回復を保証しました。

カテゴリ

説明

新機能

CDC ノードが定期的に同期ポイントを作成できるようになりました。

バグ修正

バイナリログカーソルが期待どおりに更新されず、消費がブロックされるバグを修正しました。

カテゴリ

説明

新機能と最適化

変更データキャプチャ (CDC) ノードが定期的に Sync Point を作成するサポートを追加しました。

PolarDB-X 1.0 から PolarDB-X 2.0 へのアップグレード評価のための完全なデータ検証を最適化しました。

バグ修正

メタデータの変更によって引き起こされるグローバルバイナリログの生成失敗を修正しました。

リクエストされたバイナリログファイルが空の場合にバイナリログダンプサービスが失敗するバグを修正しました。

カテゴリ

説明

新機能と最適化

プライマリ/セカンダリ DDL レプリケーションが、関数のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、シーケンスのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、ビューのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、プロシージャのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、アカウント、ロール、権限のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、ALTER TABLEGROUP 操作のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、ALTER INDEX 操作のレプリケーションをサポートするようになりました。

複数のバイナリログストリーム間で整合性を調整するために、プライマリ/セカンダリ DDL レプリケーションを強化しました。

特定のタイムスタンプからプライマリ/セカンダリレプリケーションリンクを作成できるようになりました。

アップストリームとダウンストリーム間のデータ整合性を検証するための SQL コマンドを追加しました。

セカンダリインスタンスロールを導入しました。このロールは、セカンダリクラスターにインスタンスレベルの読み取り専用機能を提供します。

プライマリ/セカンダリレプリケーションが、DML 書き込み操作の WHERE 句に完全に一致するようになりました。

マルチストリームバイナリログのストリーム名をユーザー名にバインドできるようになりました。これにより、バインドされたアカウントで関連する SQL コマンドを実行する際に WITH オプションを指定する必要がなくなります。

server_id ベースの双方向レプリケーションを最適化し、コマンドラインからフィルタリングルールを指定し、server_id の異常を自動的にチェックできるようになりました。

修正

MULTI ALTER ADD/DROP COLUMN ステートメントがメタデータ列を誤った順序で並べ、バイナリログリンクを中断させる問題を修正しました。

MULTI ALTER ADD/DROP/RENAME INDEX ステートメントがインデックスメタデータの損失を引き起こし、誤った DDL ステートメントがバイナリログに書き込まれる問題を修正しました。

meta_build_physical_ddl_sql_blacklist_regex パラメーターの誤った構成により、user キーワードを含む ALTER DDL ステートメントがフィルタリングされる問題を修正しました。

DROP INDEX DDL ステートメントがバイナリログに正しく書き込まれるようになりました。

カテゴリ

説明

新機能

show full binary logs や show full master status などのバイナリログ関連の運用保守命令のサポートを追加しました。

問題の修正

完全一致モードでの SQL フラッシュバックの失敗を修正しました。

カテゴリ

説明

新機能

SHOW FULL MASTER STATUS コマンドを追加しました。

機能の最適化

MySQL バイナリログのダンプにおけるチェックサムやハートビートなどのパラメーターをサポートし、互換性を向上させました。

カテゴリ

説明

新機能

トランザクション全体をロールバックするための SQL フラッシュバックのサポートを追加しました。

問題の修正

バイナリログへの TSO ハートビートの記録が、ダウンストリームの MySQL インスタンスをクラッシュさせる問題を修正しました。

カテゴリ

説明

改善点

gRPC バックプレッシャー制御のスリープ時間を最適化し、外部バイナリログのダンプ速度を 130 MB/s に向上させました。

バグ修正

指定された時間範囲内に DML または DDL 操作が発生しなかった場合に SQL フラッシュバックが失敗する問題を修正しました。

カテゴリ

説明

機能の最適化

多数のバイナリログによるクエリの低速化を解決するために、SHOW BINARY LOGS ステートメントのパフォーマンスを改善しました。

修正

JSON データ処理中に発生したバッファオーバーフローを修正しました。

metaDB の HA スイッチオーバーにより、CDC のアップグレード中に metaDataSource スキャンスレッドが終了するバグを修正しました。

binlog_dumper_info の更新時に発生したデッドロックを修正しました。

カテゴリ

説明

新機能と最適化

FLUSH LOGS ステートメントのサポートを追加しました。

透過的消費のための外部ダンプの速度を最適化しました。

CDC が DN 接続を取得するために is_vip に依存しなくなりました。

CDC が MetaDB 接続を取得するために制御コンポーネントに依存しなくなりました。

修正

BIGINT SIGNED 列定義を含むテーブル作成ステートメントの解析エラーを修正しました。

recover tso 生成アルゴリズムによって引き起こされるバイナリログリストのギャップを修正しました。

読み取り専用インスタンスのスケーリング後、Task ダンプがプライマリインスタンス DN 上の開始オフセットを見つけられない問題を修正しました。

カテゴリ

説明

新機能

メモリ使用量を削減するために、トランザクションオブジェクトを永続化するサポートを追加しました。

修正

履歴 TSO に基づく回復中に、recover tso が最新のスケーリングタグ付きトランザクションの TSO よりも小さくなることができるようになりました。

CDC Dumper のプライマリ/セカンダリ同期中に Dumper Master 上のローカルファイルが削除された場合でも、gRPC スレッドが正しく終了するようになりました。

カテゴリ

説明

修正

OSS からのバイナリログの消費時にリンクエラーを引き起こす可能性があったハートビートウィンドウの競合を修正しました。

TableMapEvent 処理中の断続的なデータ形式変換エラーを修正しました。

DDL イベントの Sql_Mode 値と元の Sql_Mode 値の不整合を修正しました。

nchar 型と nvarchar 型の論理テーブルと物理テーブル間のメタデータの不整合を修正しました。

改行を含む DDL ステートメントが単一行コメントに変換されない問題を修正しました。

カテゴリ

説明

新機能と最適化

ワーカプロセスの CPU 使用率をモニタリングするサポートを追加しました。

INSERT、UPDATE、DELETE 操作に対して、より詳細な秒間イベント数 (EPS) モニタリングのサポートを追加しました。

OSS へのバイナリログファイルのアップロードを最適化し、700 MB/s に達しました。

start master、stop master、restart master、reset master などの変更データキャプチャ (CDC) の運用保守 (O&M) コマンドを追加しました。

修正

オフラインのバイナリログを透過的に消費すると長時間のブロッキングが発生する問題を修正しました。

読み取り操作中にバイナリログファイルが削除された場合にダンプスレッドが終了しない問題を修正しました。

過剰な物理 DDL メタデータが原因で reset master が失敗する問題を修正しました。

DDL イベントの sql_mode 値が元の値と一致しない問題を修正しました。

add primary key と drop primary key の両方を含む SQL ステートメントがダウンストリームの MySQL インスタンスでエラーを引き起こす問題を修正しました。

カテゴリ

説明

修正

SQL ステートメントの実行後に SchemaRepository の列の順序が正しくなくなる問題を修正しました。

空の文字列に対するデータシェーピングが NPE をトリガーする問題を修正しました。

カテゴリ

説明

問題の修正

メタデータが mediumtext データ型の長さを超えたことによるデータ切り捨ての問題を修正しました。

カテゴリ

説明

問題の修正

MySQL 文字セットが対応する Java 文字セットに変換されないことによる解析の失敗を修正しました。

カテゴリ

説明

最適化

バイナリログ同期リンクの回復時間を改善し、RTO を 15 秒に短縮しました。

数十万のデータテーブルにスケーリングする際の CDC メタデータ回復速度を改善しました。

修正

バイナリログを透過的に消費する際の潜在的なオフセット計算エラーを修正しました。

メタデータ整合性チェック中の text(0) との互換性の問題を修正しました。

カテゴリ

説明

修正

プライマリキーを連続して追加および削除することによって CDC リンクが中断される問題を修正しました。

コンシューマープログラムがバイナリログをダンプする前に COM_REGISTER_SLAVE を送信しない場合に CDC が切断される問題を修正しました。

ハッシュ値が Integer.MIN_VALUE の場合のマルチストリームデータルーティング中のデータリンクの中断を修正しました。

カテゴリ

説明

新機能と最適化

多段階マージをサポートします。これにより、DN ノードがスケールアウトされた際の著しいパフォーマンス低下を防ぎます。

透過的消費をサポートします。ダウンストリームのコンシューマーは、OSS に直接接続することなく、ダンププロトコルを使用して OSS からバイナリログファイルを消費できます。

マルチストリームバイナリログをサポートします。ストリーム数をカスタマイズでき、各ストリームは独立したログストリームを持ちます。

定期的な完全なメタデータスナップショットの構築をサポートします。これにより、履歴 DDL タグ付けレコードが過度に増加するのを防ぎます。

インスタンスの回復速度を向上させるために、OSS からのバイナリログファイルの並列ダウンロードをサポートします。

修正

バイナリログイベントデータのシェーピングにおける互換性と正確性の問題を修正し、DDL 変更中の CDC リンクの安定性をさらに向上させました。

CDC クラスターの再起動がダウンストリームのサブスクリプションのダンプタイムアウトを引き起こす可能性がある問題を修正しました。

Dumper プロセスの初期起動時の不正確な遅延計算を修正しました。