PolarDB:CDC node release notes

カテゴリ

説明

新機能と機能強化

コンピュートノードが AISearch クエリをサポートするようになりました。

グローバルデータベースネットワーク (GDN) がトランザクションの競合検出と並列再生をサポートし、クロスリージョンでの同期パフォーマンスが向上しました。

読み取り専用インスタンスの同期タスクがホットキーのマージをサポートし、ホット行が頻繁に更新される際の遅延の蓄積を削減しました。

修正

テーブル ID のルックアップに失敗した際に、大文字の論理データベース名またはテーブル名を含むライブスナップショットの CDC 処理が中断される問題を修正しました。

JSON データ内の 10 進数値と長整数を再エンコーディングする際に、データ損失が発生し、論理バイナリロギングデータ内の JSON コンテンツが破損する可能性がある問題を修正しました。

DumperX の回復中に XID シーケンス番号がリセットされた場合に、再構築されたバイナリロギングデータと元のバイナリロギングデータの位置が一致しない問題を修正しました。

DDL コンバーターが文字セットを正規化する際に binary キーワードを検出するとエラーが発生する問題を修正しました。

生成列の charset および collate 属性のシリアル化順序が無効であるために、DDL ステートメントが再度解析できなくなる問題を修正しました。

カテゴリ

説明

修正

CDC BinlogX リレーログのクリーンアップ中に発生する循環依存の問題を修正しました。

カテゴリ

説明

機能強化

非同期 DDL 同期中に発生した例外を修正しました。

修正

CDC バージョンのアップグレードと binlog の再構築後に binlog ダンプがハングする問題を修正しました。

カテゴリ

説明

修正

特定の無効なテーブル作成ステートメントによって Binlog が不正な SQL を生成する問題を修正しました。

カテゴリ

説明

機能強化

低メモリ構成の場合、メタデータの永続化が自動的に有効化されるようになりました。

レプリカが NULL でない JSON フィールドの空文字列値を同期できない問題を修正しました。

修正

データノードのスケールアップまたはスケーリング中に、複数の CREATE DATABASE IF NOT EXISTS ステートメントがログノードを中断させる可能性がある問題を修正しました。

ログノードが METADB アドレスを取得する際に、時折エラーを報告する問題を修正しました。

カテゴリ

説明

新機能と機能強化

CDC (ログノード) をバージョン 5.4.21 にアップグレードしました。

CDC (ログノード) が新しい DN クエリイベント変数 Q_OPT_INDEX_FORMAT_HIPPO_ENABLED をサポートするようになりました。

Binlog 圧縮のサポートを導入しました。

列ストアインデックス (CCI) のデータ同期パフォーマンスを向上させました。

ストレージノード (DN) の仕様変更時における CDC (ログノード) の回復速度を最適化しました。

修正

Flink CDC などの下流データ同期ツールが FORMAT_DESCRIPTION_EVENT 型の Binlog イベントを解析する際に発生するエラーを修正しました。

コメント文字 # を含む DDL ステートメントを解析する際に CCI で発生するエラーを修正しました。

高レートの Binlog 生成中に Binlog 消費パイプラインで時折発生するエラーを修正しました。

CDC (ログノード) のソース側フィルタリングに起因する、下流の PolarDB-X インスタンスへの断続的な接続中断を修正しました。

CDC (ログノード) が超大型インスタンスで実行される際の、頻繁なガベージコレクション (GC) に起因する JVM クラッシュを修正しました。

バックティック `` を含むテーブル名に対する ALTER 操作中に発生した、CDC (ログノード) のメインリンクの中断を修正しました。

カテゴリ

説明

新機能

Binlog Dump が Binlog を生成する際に、アーカイブ済みテーブルからの削除イベントを除外するようになりました。

カテゴリ

説明

機能強化

マッピングルールを使用して、複数の適格な物理テーブルを単一の仮想テーブルにマッピングする仮想テーブル機能を導入しました。

特定の条件下で TSO サービスハートビートの一時停止を制御するための daemon_tso_heartbeat_suspend_enabled パラメーターを追加しました。

binlog から CCI へのデータ同期を最適化しました。

修正

binlog パイプラインの回復中に、特大の binlog イベントによってトリガーされる CDC ログノードでの潜在的な OOM エラーを修正しました。

カテゴリ

説明

新機能

クラスター化列ストアインデックス (CCI) のパーティションキーとソートキーを変更できるようになりました。この機能により、ビジネスの変更に応じて CCI のデータ分散とソート戦略を適応させることができ、インデックスの再構築を必要とせずにクエリパフォーマンスを最適化できるため、データ管理が向上します。

クラスター化列ストアインデックス (CCI) のインプレース再構築のサポートを追加しました。この操作により、アクティブなクエリや履歴データへのアクセスに影響を与えることなく、CCI を最適化および再編成できます。

修正された問題

シングルストリームバイナリログサービスを使用しているときに、データノード (DN) がデータストリームを中断する可能性がある問題を修正しました。

カテゴリ

説明

新機能

CDC ノードがバイナリログを生成する際に、アーカイブ済みテーブルからの削除イベントを除外するようになりました。

カテゴリ

説明

新機能

CDC (CDC ノード)：マルチストリームバイナリログが、ストレージノードとバイナリログストリーム間の一対一マッピングをサポートするようになりました。

機能の最適化

バイナリログのダンプ操作のメモリ管理を最適化しました。

CDC ノードから下流システムへのバイナリログの出力レートを向上させました。

CDC ノードからの SQL ステートメントを最適化することで、グローバルメタサービス (GMS) の負荷を軽減しました。

カテゴリ

説明

新機能

変更データキャプチャ (CDC)：ログノード上のマルチストリームバイナリログが、ストレージノードとバイナリログストリーム間の一対一マッピングをサポートするようになりました。

カテゴリ

説明

新機能と最適化

CHECK 制約のサポートを追加しました。詳細については、「CHECK 制約」をご参照ください。

CDC オフヒープダイレクトメモリの割り当てポリシーを最適化し、ダイレクトメモリ割り当て不足による OOM を防止しました。

CDC タイムアウトの強制再起動メカニズムを最適化し、CDC ワーカープロセスがブロックされた場合でも再起動できるようにしました。

カテゴリ

説明

改善

単一のバイナリログファイルのデフォルトサイズを 1 GB に増やし、ファイル番号が 999,999 を超えた場合に自動ローテーションを有効にしました。

透明に消費されるバイナリログファイルのダウンロードロジックを改善しました。

カテゴリ

説明

機能の最適化

プライマリノードとセカンダリノードのレプリケーションロジックを最適化しました。

CDC 高可用性 (HA) モジュールのハートビートタイムアウト検出ロジックを最適化し、不要なプロセス再起動を防止しました。

修正

システムテーブル構成に RuntimeVersion フィールドがないために、以前の CDC バージョンからのアップグレードが中断される問題を修正しました。

SHOW CREATE TABLE ステートメントの出力に WITH PARSER NGRAM 属性が欠落している問題を修正しました。

カテゴリ

説明

修正

CDC メタデータ内の REAL 型と DOUBLE 型の処理における互換性の問題による CDC リンクの中断を引き起こすバグを修正しました。

カテゴリ

説明

修正

単一の SQL ステートメントが複数のテーブルを更新すると連続した TableMapEvents が生成され、TraceID が乱れる問題を修正しました。

カテゴリ

説明

修正

単一のコンピュートノードが利用できない場合に CDC プロセスが起動しない問題を修正しました。

メモリとバイナリログファイルのオフセットが一致しないためにダンプ操作が失敗する問題を修正しました。

カテゴリ

説明

修正

SHOW FULL BINARY LOGS ステートメントが不完全な情報を返す問題を修正しました。

同じファイルの同時アップロードによる CDC トポロジ再構築中のバイナリログファイルの損失問題を修正しました。

SQL パーサーが暗黙的なテーブルグループを持つ ALTER ステートメントを解析できず、マーキングステートメントを正しく処理できない問題を修正しました。

CDC Dumper のプライマリ/セカンダリ同期中にマスターノード上のローカルファイルがシステムによって削除されたことが原因で、レプリケーションリンクが自動的に回復できない問題を修正しました。

カテゴリ

説明

新機能

CDC (変更データキャプチャ) ノードが定期的に同期ポイントを構築できるようになりました。

修正された問題

バイナリログカーソルの更新失敗がデータ消費をブロックする問題を修正しました。

カテゴリ

説明

新機能と最適化

CDC ノードが定期的に sync points を構築できるようになりました。

PolarDB-X 1.0 から PolarDB-X 2.0 へのアップグレード評価における完全なデータ検証を改善しました。

修正

メタデータの変更によって引き起こされるグローバルバイナリログ生成の失敗を修正しました。

要求されたバイナリログファイルが空であることによって引き起こされるバイナリログダンプサービスの失敗を修正しました。

カテゴリ

説明

新機能と最適化

プライマリ/セカンダリ DDL レプリケーションが関数をレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがシーケンスをレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがビューをレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがプロシージャをレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがアカウント、ロール、権限をレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが ALTER TABLEGROUP 操作をレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが ALTER INDEX 操作をレプリケートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、マルチストリームバイナリログシナリオでの整合性が調整されたアラインレプリケーションをサポートするようになりました。

プライマリ/セカンダリレプリケーションで、タイムスタンプに基づいてレプリケーションリンクを作成できるようになりました。

プライマリ/セカンダリレプリケーションで、SQL コマンドを使用して上流システムと下流システムのデータ整合性を検証できるようになりました。

プライマリ/セカンダリレプリケーション用の新しいセカンダリインスタンスロールが利用可能になり、セカンダリクラスターでインスタンスレベルの読み取り専用機能が有効になりました。

プライマリ/セカンダリレプリケーションが、DML 書き込みの WHERE 条件の完全なミラーマッチングをサポートするようになりました。

マルチストリームバイナリログのストリーム名をユーザー名にバインドできるようになりました。これにより、バインドされたアカウントでバイナリログ関連の SQL ステートメントを実行する際に 'with' オプションを追加する必要がなくなりました。

プライマリ/セカンダリレプリケーションの server_id ベースの双方向レプリケーションを最適化しました。コマンドラインからフィルター規則を指定できるようになり、システムが server_id の異常を自動的にチェックするようになりました。

修正

MULTI ALTER ADD/DROP COLUMN ステートメントが不正なメタデータ列順序を引き起こし、バイナリログリンクが中断される問題を修正しました。

MULTI ALTER ADD/DROP/RENAME INDEX ステートメントがインデックスメタデータの損失を引き起こし、結果として不正な DDL ステートメントがバイナリログに記録される可能性がある問題を修正しました。

meta_build_physical_ddl_sql_blacklist_regex パラメーターの構成の欠陥により、'user' キーワードを含む ALTER DDL ステートメントがフィルタリングされる問題を修正しました。

DROP INDEX DDL ステートメントがバイナリログに書き込まれない問題を修正しました。

カテゴリ

説明

新機能

show full binary logs や show full master status などの binlog 関連の O&M コマンドを追加しました。

修正された問題

SQL フラッシュバックで完全一致が失敗する問題を修正しました。

カテゴリ

説明

新機能

SHOW FULL MASTER STATUS コマンドを追加しました。

機能の最適化

MySQL binlog ダンプの互換性を改善し、チェックサムやハートビートなどのパラメーターをサポートしました。

カテゴリ

説明

新機能

トランザクション全体をロールバックするための SQL フラッシュバックのサポートを追加しました。

修正された問題

バイナリログでの TSO ハートビートの記録方法を修正し、下流の MySQL コンシューマーのクラッシュを解決しました。

カテゴリ

説明

最適化

gRPC バックプレッシャー制御のスリープ時間を最適化し、外部 binlog ダンプ速度を 130 MB/s に向上させました。

修正

指定された時間範囲内に DML または DDL 操作が発生しなかった場合に SQL フラッシュバックが完了しない問題を修正しました。

カテゴリ

説明

最適化

SHOW BINARY LOGS ステートメントを最適化し、多数の binlog が存在する場合のクエリの遅さを解決しました。

修正

JSON データのシェーピング時のバッファオーバーフローを修正しました。

CDC アップグレード中の metaDB での HA スイッチオーバー中に metaDataSource スキャンスレッドが終了するのを防止しました。

binlog_dumper_info の更新時のデッドロックを修正しました。

カテゴリ

説明

新機能と最適化

FLUSH LOGS ステートメントのサポートを追加しました。

透明な消費のための外部ダンプの速度を最適化しました。

CDC が DN 接続に is_vip に依存しなくなりました。

CDC での MetaDB 接続取得の制御依存関係を削除しました。

修正

BIGINT SIGNED 列定義を持つテーブル作成ステートメントの構文エラーを修正しました。

recover tso 生成アルゴリズムがバイナリログリストにギャップを引き起こす可能性がある問題を修正しました。

読み取り専用インスタンスがスケールされた後、タスクダンプがプライマリインスタンス DN 上で開始オフセットを見つけられない問題を修正しました。

カテゴリ

説明

新機能

メモリ使用量を削減するためにトランザクションオブジェクトを永続化するサポートを追加しました。

修正

履歴 TSO に基づいて回復する際に、recover tso が最新のスケーリングタグ付きトランザクションの TSO より小さくできない問題を修正しました。

CDC Dumper のプライマリ/セカンダリ同期中に Dumper Master 上のローカルファイルが削除された場合に gRPC スレッドが終了しないバグを修正しました。

カテゴリ

説明

修正

Object Storage Service (OSS) からのバイナリログの消費時にハートビートウィンドウの競合によって引き起こされるリンクエラーを修正しました。

TableMapEvent のシェーピング時のデータ形式変換エラーを修正しました。

DDL イベントと元の値との間の Sql_Mode 値の不一致を修正しました。

nchar 型と nvarchar 型の論理テーブルと物理テーブル間のメタデータの不整合を修正しました。

改行を含む DDL SQL ステートメントが 1 行コメントに変換されない問題を修正しました。

カテゴリ

説明

新機能と最適化

ワーカープロセスの CPU 使用率を監視するサポートを追加しました。

INSERT、UPDATE、および DELETE 操作の毎秒イベント数 (EPS) をより詳細に監視するサポートを追加しました。

OSS へのバイナリログファイルのアップロード速度を最適化し、レートを 700 MB/s に向上させました。

start master、stop master、restart master、reset master などの変更データキャプチャ (CDC) の運用保守 (O&M) コマンドを追加しました。

修正

オフラインバイナリログファイルの透明な消費中の長いブロッキングを修正しました。

読み取り中にバイナリログファイルが削除された場合にダンプスレッドが終了しない問題を修正しました。

過剰な物理 DDL メタデータによる reset master の失敗を修正しました。

DDL イベントの Sql_Mode 値と元の sql_mode 値の不一致を修正しました。

ADD PRIMARY KEY と DROP PRIMARY KEY の両方を含む SQL ステートメントによって引き起こされる下流の MySQL エラーを修正しました。

カテゴリ

説明

修正

SchemaRepository で SQL ステートメントが実行された後の列順序が正しくない問題を修正しました。

空文字列のデータシェーピング時にトリガーされる NPE を修正しました。

カテゴリ

説明

修正

メタデータが mediumtext データ型の長さを超えた場合に切り捨てられる問題を修正しました。

カテゴリ

説明

バグ修正

MySQL 文字セットが Java 文字セットに変換されなかったことによる解析の失敗を修正しました。

カテゴリ

説明

機能の最適化

バイナリログ同期リンクの RTO を 15 秒に短縮しました。

数十万のデータテーブルを持つデプロイメントの CDC メタデータ回復を高速化しました。

修正

バイナリログを透明に消費する際の潜在的なオフセット計算エラーを修正しました。

メタデータ整合性チェック中の text(0) との互換性の問題を修正しました。

カテゴリ

説明

修正

プライマリキーの継続的な追加と削除によって引き起こされる CDC リンクの中断を修正しました。

コンシューマープログラムがバイナリログをダンプする前に COM_REGISTER_SLAVE を送信できなかった場合に発生する CDC の切断を修正しました。

ハッシュ値が Integer.MIN_VALUE の場合のマルチストリームデータルーティングにおけるデータリンクの中断を修正しました。

カテゴリ

説明

新機能と最適化

多段階マージのサポートを追加しました。これにより、DN ノードが線形にスケールしてもパフォーマンスが大幅に低下しないことが保証されます。

透明な消費のサポートを追加しました。下流のコンシューマープログラムは、OSS と直接インターフェースすることなく、ダンププロトコルを使用して OSS にアーカイブされたバイナリログファイルを直接消費できます。

マルチストリームバイナリログのサポートを追加しました。ストリームの数をカスタマイズでき、各ストリームは独自の独立したバイナリログファイルを持ちます。

完全なメタデータスナップショットを定期的に構築するサポートを追加しました。これにより、履歴 DDL タグ付けレコードが過度に増加するのを防ぎます。

インスタンスの回復速度を向上させるために、OSS からバイナリログファイルを並行してダウンロードするサポートを追加しました。

修正

バイナリログイベントデータのシェーピングにおける互換性と正確性の問題を修正し、DDL 変更中の CDC リンクの安定性を向上させました。

CDC クラスターの再起動後に下流のサブスクリプションでダンプタイムアウトが発生する可能性がある問題を修正しました。

Dumper プロセスの初期起動時に発生する不正確な遅延計算を修正しました。