PolarDB:Catatan rilis PolarDB-X CDC

Kategori

Deskripsi

Fix

Memperbaiki masalah ketergantungan melingkar selama pembersihan CDC BinlogX Relay Log.

Kategori

Deskripsi

Enhancement

Memperbaiki exception yang terjadi selama sinkronisasi DDL asinkron.

Fix

Memperbaiki masalah di mana dump binlog bisa hang setelah peningkatan versi CDC dan pembuatan ulang binlog.

Kategori

Deskripsi

Fixed

Memperbaiki masalah di mana pernyataan pembuatan tabel tertentu yang tidak valid menyebabkan Binlog menghasilkan SQL yang salah.

Kategori

Deskripsi

Enhancements

Persistensi metadata kini diaktifkan secara otomatis untuk konfigurasi memori rendah.

Memperbaiki masalah di mana replika tidak dapat menyinkronkan nilai string kosong untuk field JSON non-NULL.

Fixes

Memperbaiki masalah di mana beberapa pernyataan CREATE DATABASE IF NOT EXISTS dapat mengganggu node log selama scale-up atau scaling node data.

Memperbaiki masalah di mana node log kadang-kadang melaporkan error saat mengambil alamat METADB.

Kategori

Deskripsi

Fitur dan peningkatan baru

Meningkatkan CDC (node log) ke versi 5.4.21.

CDC (node log) kini mendukung variabel event kueri DN baru Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Memperkenalkan dukungan untuk kompresi Binlog.

Menyempurnakan performa sinkronisasi data dari columnar store index (CCI).

Mengoptimalkan kecepatan pemulihan CDC (node log) ketika node penyimpanan (DN) mengalami perubahan spesifikasi.

Perbaikan

Memperbaiki error yang terjadi ketika alat sinkronisasi data downstream, seperti Flink CDC, mengurai event Binlog bertipe FORMAT_DESCRIPTION_EVENT.

Memperbaiki error pada columnar store index (CCI) saat mengurai pernyataan DDL yang mengandung karakter komentar #.

Memperbaiki error sesekali pada pipeline konsumsi Binlog yang terjadi selama generasi Binlog berkecepatan tinggi.

Memperbaiki gangguan koneksi intermiten ke instans PolarDB-X downstream yang disebabkan oleh filtering di sisi sumber pada CDC (node log).

Memperbaiki crash JVM yang disebabkan oleh garbage collection (GC) yang terlalu sering ketika CDC (node log) berjalan pada instans ekstra besar.

Memperbaiki gangguan pada tautan utama CDC (node log) yang terjadi selama operasi ALTER pada nama tabel dengan backtick ``.

Kategori

Deskripsi

New features

Binlog Dump kini menyaring event delete dari tabel arsip saat menghasilkan Binlog.

Kategori

Deskripsi

Enhancements

Memperkenalkan fitur tabel virtual untuk memetakan beberapa tabel fisik yang memenuhi syarat ke satu tabel virtual menggunakan aturan pemetaan.

Menambahkan parameter daemon_tso_heartbeat_suspend_enabled untuk mengontrol penangguhan heartbeat layanan TSO dalam kondisi tertentu.

Mengoptimalkan sinkronisasi data dari binlog ke CCI.

Fixes

Memperbaiki potensi error OOM pada node log CDC, yang dipicu oleh event binlog berukuran besar selama pemulihan pipeline binlog.

Kategori

Deskripsi

New features

Anda kini dapat memodifikasi partition key dan sort key dari clustered columnstore index (CCI). Fitur ini meningkatkan manajemen data dengan memungkinkan Anda menyesuaikan strategi distribusi dan pengurutan data CCI sesuai perubahan bisnis, sehingga mengoptimalkan performa kueri tanpa perlu membangun ulang indeks.

Menambahkan dukungan untuk pembangunan ulang in-place clustered columnstore index (CCI). Operasi ini memungkinkan Anda mengoptimalkan dan mengatur ulang CCI tanpa memengaruhi kueri aktif atau akses ke data historis.

Fixed issues

Memperbaiki masalah di mana node data (DN) dapat mengganggu aliran data saat menggunakan layanan binary log single-stream.

Kategori

Deskripsi

New feature

Node CDC kini menyaring event delete dari tabel arsip saat menghasilkan binary log.

Kategori

Deskripsi

New feature

CDC (node CDC): Binary log multi-stream kini mendukung pemetaan satu-ke-satu antara node penyimpanan dan aliran binary log.

Feature optimizations

Mengoptimalkan manajemen memori untuk operasi dump pada binary log.

Meningkatkan laju output binary log dari node CDC ke sistem downstream.

Mengurangi beban pada global meta service (GMS) dengan mengoptimalkan pernyataan SQL dari node CDC.

Kategori

Deskripsi

New feature

Change Data Capture (CDC): Binary log multi-stream pada node log kini mendukung pemetaan satu-ke-satu antara node penyimpanan dan aliran binary log.

Kategori

Deskripsi

New features and optimizations

Menambahkan dukungan untuk Konstraint CHECK. Untuk detailnya, lihat Konstraint CHECK.

Mengoptimalkan kebijakan alokasi memori off-heap langsung CDC untuk mencegah OOM akibat alokasi memori langsung yang tidak mencukupi.

Mengoptimalkan mekanisme restart paksa untuk timeout CDC agar memungkinkan restart meskipun proses worker CDC diblokir.

Kategori

Deskripsi

Improvements

Meningkatkan ukuran default file binary log tunggal menjadi 1 GB dan mengaktifkan rotasi otomatis ketika nomor file melebihi 999.999.

Menyempurnakan logika unduhan untuk file binary log yang dikonsumsi secara transparan.

Kategori

Deskripsi

Feature optimizations

Mengoptimalkan logika replikasi untuk node primary dan secondary.

Mengoptimalkan logika deteksi timeout heartbeat untuk modul high availability (HA) CDC guna mencegah restart proses yang tidak perlu.

Fixes

Memperbaiki masalah di mana peningkatan dari versi CDC sebelumnya terganggu karena tidak adanya field RuntimeVersion dalam konfigurasi tabel sistem.

Memperbaiki masalah di mana atribut WITH PARSER NGRAM tidak ada dalam output pernyataan SHOW CREATE TABLE.

Kategori

Deskripsi

Fix

Memperbaiki bug yang menyebabkan gangguan tautan CDC akibat masalah kompatibilitas saat memproses tipe REAL dan DOUBLE dalam metadata CDC.

Kategori

Deskripsi

Fixes

Memperbaiki masalah di mana satu pernyataan SQL yang memperbarui beberapa tabel menghasilkan TableMapEvent berurutan, sehingga menyebabkan TraceID tidak terurut.

Kategori

Deskripsi

Fixes

Memperbaiki masalah di mana proses CDC gagal dimulai ketika satu node komputasi tidak tersedia.

Memperbaiki masalah di mana operasi dump gagal karena offset yang tidak konsisten antara memori dan file binary log.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana pernyataan SHOW FULL BINARY LOGS mengembalikan informasi yang tidak lengkap.

Memperbaiki masalah di mana file binary log hilang selama rekonstruksi topologi CDC akibat unggahan konkuren file yang sama.

Memperbaiki masalah di mana parser SQL gagal mengurai pernyataan ALTER dengan kelompok tabel implisit dan gagal memproses pernyataan penandaan secara benar.

Memperbaiki masalah di mana tautan replikasi tidak dapat pulih secara otomatis. Kegagalan ini disebabkan oleh sistem yang menghapus file lokal pada node master selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

New feature

Mengaktifkan node CDC (change data capture) untuk membangun sync point secara berkala.

Fixed issue

Memperbaiki masalah di mana kegagalan pembaruan kursor binary log menghambat konsumsi data.

Kategori

Deskripsi

New features and optimizations

Mengaktifkan node CDC untuk membangun sync points secara berkala.

Menyempurnakan validasi data lengkap dalam penilaian peningkatan dari PolarDB-X 1.0 ke PolarDB-X 2.0.

Fixes

Memperbaiki kegagalan generasi binary log global yang disebabkan oleh perubahan metadata.

Memperbaiki kegagalan layanan dump binary log yang disebabkan oleh permintaan file binary log kosong.

Kategori

Deskripsi

Fitur dan optimisasi baru

Replikasi DDL primary/secondary kini mereplikasi fungsi.

Replikasi DDL primary/secondary kini mereplikasi sequence.

Replikasi DDL primary/secondary kini mereplikasi view.

Replikasi DDL primary/secondary kini mereplikasi prosedur.

Replikasi DDL primary/secondary kini mereplikasi akun, role, dan izin.

Replikasi DDL primary/secondary kini mereplikasi operasi ALTER TABLEGROUP.

Replikasi DDL primary/secondary kini mereplikasi operasi ALTER INDEX.

Replikasi DDL primary/secondary kini mendukung replikasi terkoordinasi konsistensi dan sejajar dalam skenario binary log multi-stream.

Replikasi primary/secondary kini memungkinkan Anda membuat tautan replikasi berdasarkan timestamp.

Replikasi primary/secondary kini memungkinkan Anda menggunakan perintah SQL untuk memverifikasi konsistensi data antara sistem upstream dan downstream.

Role instans secondary baru untuk replikasi primary/secondary kini tersedia, memungkinkan kemampuan read-only tingkat instans pada kluster secondary.

Replikasi primary/secondary kini mendukung pencocokan cermin penuh kondisi WHERE untuk penulisan DML.

Anda kini dapat mengikat nama aliran binary log multi-stream ke nama pengguna. Hal ini menghilangkan kebutuhan untuk menambahkan opsi 'with' saat mengeksekusi pernyataan SQL terkait binary log dengan akun yang terikat.

Mengoptimalkan replikasi dua arah berbasis server_id untuk replikasi primary/secondary. Anda kini dapat menentukan aturan filter dari command line, dan sistem kini secara otomatis memeriksa anomali server_id.

Perbaikan

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP COLUMN menyebabkan urutan kolom metadata salah, sehingga mengganggu tautan binary log.

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP/RENAME INDEX dapat menyebabkan metadata indeks hilang, sehingga menghasilkan pernyataan DDL salah yang direkam dalam binary log.

Memperbaiki cacat konfigurasi pada parameter meta_build_physical_ddl_sql_blacklist_regex yang menyebabkan pernyataan ALTER DDL difilter jika mengandung kata kunci 'user'.

Memperbaiki masalah di mana pernyataan DDL DROP INDEX tidak ditulis ke binary log.

Kategori

Deskripsi

New feature

Menambahkan perintah O&M terkait binlog, seperti show full binary logs dan show full master status.

Fixed issue

Memperbaiki masalah kegagalan pencocokan eksak dalam SQL flashback.

Kategori

Deskripsi

New feature

Menambahkan perintah SHOW FULL MASTER STATUS.

Feature optimization

Menyempurnakan kompatibilitas dump binlog MySQL untuk mendukung parameter seperti checksum dan heartbeat.

Kategori

Deskripsi

New feature

Menambahkan dukungan untuk SQL flashback guna mengembalikan seluruh transaksi.

Fixed issue

Memperbaiki metode pencatatan heartbeat TSO dalam binary log untuk mengatasi crash pada konsumen MySQL downstream.

Kategori

Deskripsi

Optimization

Mengoptimalkan waktu tidur untuk kontrol backpressure gRPC, meningkatkan kecepatan dump binlog eksternal hingga 130 MB/s.

Fixes

Memperbaiki masalah yang mencegah SQL flashback selesai ketika tidak ada operasi DML atau DDL dalam rentang waktu yang ditentukan.

Kategori

Deskripsi

Optimization

Mengoptimalkan pernyataan SHOW BINARY LOGS untuk mengatasi kueri lambat saat banyak binlog tersedia.

Fixes

Memperbaiki luapan buffer saat membentuk data JSON.

Mencegah thread scan metaDataSource keluar selama alih bencana HA di metaDB selama peningkatan CDC.

Memperbaiki deadlock saat memperbarui binlog_dumper_info.

Kategori

Deskripsi

Fitur dan optimisasi baru

Menambahkan dukungan untuk pernyataan FLUSH LOGS.

Mengoptimalkan kecepatan dump eksternal untuk konsumsi transparan.

CDC tidak lagi bergantung pada is_vip untuk koneksi DN.

Menghapus dependensi kontrol untuk mengambil koneksi MetaDB dalam CDC.

Perbaikan

Memperbaiki error sintaks dalam pernyataan pembuatan tabel dengan definisi kolom BIGINT SIGNED.

Memperbaiki masalah di mana algoritma generasi recover tso dapat menyebabkan celah dalam daftar binary log.

Memperbaiki masalah di mana dump tugas gagal menemukan offset awal pada DN instans primary setelah instans read-only diskalakan.

Kategori

Deskripsi

New feature

Menambahkan dukungan untuk persistensi objek transaksi guna mengurangi penggunaan memori.

Fixes

Memperbaiki masalah di mana recover tso tidak boleh lebih kecil dari TSO transaksi berlabel scaling terbaru saat memulihkan berdasarkan TSO historis.

Memperbaiki bug di mana thread gRPC gagal keluar ketika file lokal pada Dumper Master dihapus selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

Perbaikan

Memperbaiki error tautan yang disebabkan oleh konflik jendela heartbeat saat mengonsumsi binary log dari OSS.

Memperbaiki error konversi format data saat membentuk TableMapEvent.

Memperbaiki ketidaksesuaian nilai Sql_Mode antara Event DDL dan nilai aslinya.

Memperbaiki ketidaksesuaian metadata antara tabel logis dan fisik untuk tipe nchar dan nvarchar.

Memperbaiki masalah yang mencegah pernyataan SQL DDL dengan line feed dikonversi menjadi komentar satu baris.

Kategori

Deskripsi

Fitur dan optimisasi baru

Menambahkan dukungan untuk memantau utilisasi CPU proses worker.

Menambahkan dukungan untuk pemantauan Events Per Second (EPS) yang lebih tingkat detil untuk operasi INSERT, UPDATE, dan DELETE.

Mengoptimalkan kecepatan unggah file binary log ke Object Storage Service (OSS), meningkatkan laju hingga 700 MB/s.

Menambahkan perintah Operations and Maintenance (O&M) untuk Change Data Capture (CDC), seperti start master, stop master, restart master, dan reset master.

Perbaikan

Memperbaiki blocking lama selama konsumsi transparan file binary log offline.

Memperbaiki masalah di mana thread dump gagal keluar jika file binary log dihapus saat sedang dibaca.

Memperbaiki kegagalan reset master yang disebabkan oleh metadata DDL fisik yang berlebihan.

Memperbaiki ketidaksesuaian antara nilai Sql_Mode dalam event DDL dan nilai sql_mode aslinya.

Memperbaiki error MySQL downstream yang disebabkan oleh pernyataan SQL yang mengandung ADD PRIMARY KEY dan DROP PRIMARY KEY secara bersamaan.

Kategori

Deskripsi

Fixes

Memperbaiki masalah di mana urutan kolom salah setelah pernyataan SQL dieksekusi di SchemaRepository.

Memperbaiki NPE yang dipicu saat membentuk string kosong.

Kategori

Deskripsi

Fix

Memperbaiki masalah di mana metadata terpotong ketika melebihi panjang tipe data mediumtext.

Kategori

Deskripsi

Bug fix

Memperbaiki kegagalan parsing yang disebabkan oleh charset MySQL yang tidak dikonversi ke charset Java.

Kategori

Deskripsi

Feature optimizations

Mengurangi RTO tautan sinkronisasi binary log menjadi 15 detik.

Mempercepat pemulihan metadata CDC untuk penerapan dengan ratusan ribu tabel data.

Fixes

Memperbaiki potensi error perhitungan offset saat mengonsumsi binary log secara transparan.

Memperbaiki masalah kompatibilitas dengan text(0) selama pemeriksaan konsistensi metadata.

Kategori

Deskripsi

Fixes

Memperbaiki gangguan tautan CDC yang disebabkan oleh penambahan dan penghapusan primary key secara terus-menerus.

Memperbaiki pemutusan CDC yang terjadi ketika program konsumen gagal mengirim COM_REGISTER_SLAVE sebelum melakukan dump binary log.

Memperbaiki gangguan tautan data dalam routing data multi-stream ketika nilai hash adalah Integer.MIN_VALUE.

Kategori

Deskripsi

Fitur dan optimisasi baru

Menambahkan dukungan untuk penggabungan multi-level. Ini memastikan performa tidak menurun secara signifikan seiring penskalaan linear node DN.

Menambahkan dukungan untuk konsumsi transparan. Program konsumen downstream dapat menggunakan protokol dump untuk langsung mengonsumsi file binary log yang diarsipkan ke OSS tanpa perlu berinteraksi langsung dengan OSS.

Menambahkan dukungan untuk binary log multi-stream. Anda dapat menyesuaikan jumlah stream, masing-masing dengan file binary log independennya sendiri.

Menambahkan dukungan untuk membangun snapshot metadata lengkap secara berkala. Ini mencegah catatan tagging DDL historis tumbuh secara berlebihan.

Menambahkan dukungan untuk mengunduh file binary log dari OSS secara paralel guna meningkatkan kecepatan pemulihan instans.

Perbaikan

Memperbaiki masalah kompatibilitas dan kebenaran dalam pembentukan data event binary log, meningkatkan stabilitas tautan CDC selama perubahan DDL.

Memperbaiki masalah yang dapat menyebabkan timeout dump untuk langganan downstream setelah restart kluster CDC.

Memperbaiki perhitungan latensi yang salah yang terjadi selama startup awal proses Dumper.