PolarDB:Catatan rilis node CDC

Kategori

Deskripsi

Fitur baru & Peningkatan

Node komputasi kini mendukung kueri AISearch.

Global Database Network (GDN) kini mendukung deteksi konflik transaksi dan replay paralel, meningkatkan performa sinkronisasi cross-region.

Tugas sinkronisasi untuk instans read-only kini mendukung penggabungan hot key, mengurangi akumulasi latensi saat baris panas diperbarui secara frekuen.

Perbaikan

Memperbaiki masalah yang dapat mengganggu pemrosesan CDC dari snapshot aktif yang berisi nama database logis atau tabel dalam huruf kapital saat pencarian ID tabel gagal.

Memperbaiki masalah di mana pengkodean ulang nilai desimal dan integer panjang dalam data JSON dapat menyebabkan kehilangan data dan merusak konten JSON dalam data binary logging logis.

Memperbaiki ketidakkonsistenan posisi antara data binary logging yang dibangun ulang dan data binary logging asli saat nomor urut XID di-reset selama pemulihan DumperX.

Memperbaiki error saat konverter DDL melakukan normalisasi set karakter dan menemukan kata kunci binary.

Memperbaiki masalah di mana urutan serialisasi yang tidak valid untuk atribut charset dan collate pada kolom yang di-generate mencegah pernyataan DDL diparse ulang.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah dependensi siklis selama pembersihan CDC BinlogX Relay Log.

Kategori

Deskripsi

Peningkatan

Memperbaiki exception yang terjadi selama sinkronisasi DDL asinkron.

Perbaikan

Memperbaiki masalah di mana dump binlog bisa hang setelah peningkatan versi CDC dan pembangunan ulang binlog.

Kategori

Deskripsi

Diperbaiki

Memperbaiki masalah di mana pernyataan pembuatan tabel tertentu yang tidak valid menyebabkan Binlog menghasilkan SQL yang salah.

Kategori

Deskripsi

Peningkatan

Persistensi metadata kini secara otomatis diaktifkan untuk konfigurasi memori rendah.

Memperbaiki masalah di mana replika tidak dapat menyinkronkan nilai string kosong untuk bidang JSON non-NULL.

Perbaikan

Memperbaiki masalah di mana beberapa pernyataan CREATE DATABASE IF NOT EXISTS dapat mengganggu node log selama skalabilitas vertikal atau penskalaan node data.

Memperbaiki masalah di mana node log kadang-kadang melaporkan error saat mengambil alamat METADB.

Kategori

Deskripsi

Fitur baru dan peningkatan

CDC (node log) ditingkatkan ke versi 5.4.21.

CDC (node log) kini mendukung variabel event kueri DN baru Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Memperkenalkan dukungan untuk kompresi Binlog.

Memperbaiki performa sinkronisasi data dari indeks penyimpanan kolom (CCI).

Mengoptimalkan kecepatan pemulihan CDC (node log) saat node penyimpanan (DN) mengalami perubahan spesifikasi.

Perbaikan

Memperbaiki error yang terjadi saat alat sinkronisasi data downstream, seperti Flink CDC, mem-parse event Binlog bertipe FORMAT_DESCRIPTION_EVENT.

Memperbaiki error pada indeks penyimpanan kolom (CCI) saat mem-parse pernyataan DDL yang mengandung karakter komentar #.

Memperbaiki error sesekali pada pipeline konsumsi Binlog yang terjadi selama generasi Binlog berkecepatan tinggi.

Memperbaiki gangguan koneksi intermiten ke instans PolarDB-X downstream yang disebabkan oleh filtering sisi sumber pada CDC (node log).

Memperbaiki crash JVM yang disebabkan oleh garbage collection (GC) frekuen saat CDC (node log) berjalan pada instans ekstra besar.

Memperbaiki gangguan pada tautan utama CDC (node log) yang terjadi selama operasi ALTER pada nama tabel dengan backtick ``.

Kategori

Deskripsi

Fitur baru

Binlog Dump kini memfilter event delete dari tabel arsip saat menghasilkan Binlog.

Kategori

Deskripsi

Peningkatan

Memperkenalkan fitur tabel virtual untuk memetakan beberapa tabel fisik yang memenuhi syarat ke satu tabel virtual menggunakan aturan pemetaan.

Menambahkan parameter daemon_tso_heartbeat_suspend_enabled untuk mengontrol penangguhan heartbeat layanan TSO dalam kondisi tertentu.

Mengoptimalkan sinkronisasi data dari binlog ke CCI.

Perbaikan

Memperbaiki potensi error OOM pada node log CDC, yang dipicu oleh event binlog berukuran besar selama pemulihan pipeline binlog.

Kategori

Deskripsi

Fitur baru

Anda kini dapat memodifikasi kunci partisi dan kunci pengurutan pada clustered columnstore index (CCI). Fitur ini meningkatkan manajemen data dengan memungkinkan Anda menyesuaikan strategi distribusi dan pengurutan data CCI terhadap perubahan bisnis, sehingga mengoptimalkan performa kueri tanpa perlu membangun ulang indeks.

Menambahkan dukungan untuk pembangunan ulang in-place clustered columnstore index (CCI). Operasi ini memungkinkan Anda mengoptimalkan dan mengorganisasi ulang CCI tanpa memengaruhi kueri aktif atau akses ke data historis.

Perbaikan masalah

Memperbaiki masalah di mana node data (DN) dapat mengganggu aliran data saat menggunakan layanan binary log single-stream.

Kategori

Deskripsi

Fitur baru

Node CDC kini memfilter event delete dari tabel arsip saat menghasilkan binary logs.

Kategori

Deskripsi

Fitur baru

CDC (node CDC): Binary logs multi-stream kini mendukung pemetaan satu-ke-satu antara node penyimpanan dan aliran binary log.

Optimasi fitur

Mengoptimalkan manajemen memori untuk operasi dump pada binary logs.

Meningkatkan laju output binary logs dari node CDC ke sistem downstream.

Mengurangi beban pada layanan meta global (GMS) dengan mengoptimalkan pernyataan SQL dari node CDC.

Kategori

Deskripsi

Fitur baru

Change Data Capture (CDC): Binary log multi-stream pada node log kini mendukung pemetaan satu-ke-satu antara node penyimpanan dan aliran binary log.

Kategori

Deskripsi

Fitur baru dan optimasi

Menambahkan dukungan untuk Konstraint CHECK. Untuk detailnya, lihat Konstraint CHECK.

Mengoptimalkan kebijakan alokasi memori langsung off-heap CDC untuk mencegah OOM akibat alokasi memori langsung yang tidak mencukupi.

Mengoptimalkan mekanisme restart paksa untuk timeout CDC agar memungkinkan restart bahkan saat proses worker CDC diblokir.

Kategori

Deskripsi

Penyempurnaan

Ukuran default file binary log tunggal ditingkatkan menjadi 1 GB dan rotasi otomatis diaktifkan saat nomor file melebihi 999.999.

Memperbaiki logika unduhan untuk file binary log yang dikonsumsi secara transparan.

Kategori

Deskripsi

Optimasi fitur

Mengoptimalkan logika replikasi untuk node primary dan secondary.

Mengoptimalkan logika deteksi timeout heartbeat untuk modul Ketersediaan tinggi (HA) CDC guna mencegah restart proses yang tidak perlu.

Perbaikan

Memperbaiki masalah di mana peningkatan dari versi CDC sebelumnya terganggu karena tidak adanya field RuntimeVersion dalam konfigurasi tabel sistem.

Memperbaiki masalah di mana atribut WITH PARSER NGRAM tidak ada dalam output pernyataan SHOW CREATE TABLE.

Kategori

Deskripsi

Perbaikan

Memperbaiki bug yang menyebabkan gangguan tautan CDC akibat masalah kompatibilitas saat memproses tipe REAL dan DOUBLE dalam metadata CDC.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana satu pernyataan SQL yang memperbarui beberapa tabel menghasilkan TableMapEvents berurutan, menyebabkan TraceID tidak terurut.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana proses CDC gagal dimulai saat satu node komputasi tidak tersedia.

Memperbaiki masalah di mana operasi dump gagal akibat offset yang tidak konsisten antara memori dan file binary log.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana pernyataan SHOW FULL BINARY LOGS mengembalikan informasi yang tidak lengkap.

Memperbaiki masalah di mana file binary log hilang selama rekonstruksi topologi CDC akibat unggahan konkuren file yang sama.

Memperbaiki masalah di mana parser SQL gagal mem-parse pernyataan ALTER dengan kelompok tabel implisit dan gagal memproses pernyataan penandaan dengan benar.

Memperbaiki masalah di mana tautan replikasi tidak dapat pulih secara otomatis. Kegagalan ini disebabkan oleh sistem yang menghapus file lokal pada node master selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

Fitur baru

Mengaktifkan node CDC (change data capture) untuk membangun sync points secara berkala.

Perbaikan masalah

Memperbaiki masalah di mana kegagalan pembaruan kursor binary log menghambat konsumsi data.

Kategori

Deskripsi

Fitur baru dan optimasi

Mengaktifkan node CDC untuk membangun sync points secara berkala.

Memperbaiki validasi data lengkap dalam penilaian peningkatan dari PolarDB-X 1.0 ke PolarDB-X 2.0.

Perbaikan

Memperbaiki kegagalan generasi binary log global yang disebabkan oleh perubahan metadata.

Memperbaiki kegagalan layanan dump binary log yang disebabkan oleh permintaan file binary log kosong.

Kategori

Deskripsi

Fitur baru dan optimasi

Replikasi DDL primary/secondary kini mereplikasi fungsi.

Replikasi DDL primary/secondary kini mereplikasi sequence.

Replikasi DDL primary/secondary kini mereplikasi view.

Replikasi DDL primary/secondary kini mereplikasi prosedur.

Replikasi DDL primary/secondary kini mereplikasi akun, role, dan izin.

Replikasi DDL primary/secondary kini mereplikasi operasi ALTER TABLEGROUP.

Replikasi DDL primary/secondary kini mereplikasi operasi ALTER INDEX.

Replikasi DDL primary/secondary kini mendukung replikasi terkoordinasi konsistensi dan selaras dalam skenario binary log multi-stream.

Replikasi primary/secondary kini memungkinkan Anda membuat tautan replikasi berdasarkan timestamp.

Replikasi primary/secondary kini memungkinkan Anda menggunakan perintah SQL untuk memverifikasi konsistensi data antara sistem upstream dan downstream.

Role instans secondary baru untuk replikasi primary/secondary kini tersedia, memungkinkan kemampuan read-only tingkat instans pada kluster secondary.

Replikasi primary/secondary kini mendukung pencocokan mirror penuh untuk kondisi WHERE pada penulisan DML.

Anda kini dapat mengikat nama aliran binary log multi-stream ke nama pengguna. Hal ini menghilangkan kebutuhan untuk menambahkan opsi 'with' saat mengeksekusi pernyataan SQL terkait binary log dengan akun yang terikat.

Mengoptimalkan replikasi dua arah berbasis server_id untuk replikasi primary/secondary. Anda kini dapat menentukan aturan filter dari command line, dan sistem kini secara otomatis memeriksa anomali server_id.

Perbaikan

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP COLUMN menyebabkan urutan kolom metadata salah, yang mengganggu tautan binary log.

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP/RENAME INDEX dapat menyebabkan metadata indeks hilang, sehingga menghasilkan pernyataan DDL yang salah dalam binary log.

Memperbaiki cacat konfigurasi pada parameter meta_build_physical_ddl_sql_blacklist_regex yang menyebabkan pernyataan ALTER DDL difilter jika mengandung kata kunci 'user'.

Memperbaiki masalah di mana pernyataan DDL DROP INDEX tidak ditulis ke binary log.

Kategori

Deskripsi

Fitur baru

Menambahkan perintah O&M terkait binlog, seperti show full binary logs dan show full master status.

Perbaikan masalah

Memperbaiki kegagalan pencocokan eksak dalam SQL flashback.

Kategori

Deskripsi

Fitur baru

Menambahkan perintah SHOW FULL MASTER STATUS.

Optimasi fitur

Memperbaiki kompatibilitas dump binlog MySQL untuk mendukung parameter seperti checksum dan heartbeat.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk SQL flashback untuk mengembalikan seluruh transaksi.

Perbaikan masalah

Memperbaiki metode pencatatan heartbeat TSO dalam binary log untuk menyelesaikan crash pada konsumen MySQL downstream.

Kategori

Deskripsi

Optimasi

Mengoptimalkan waktu tidur untuk kontrol backpressure gRPC, meningkatkan kecepatan dump binlog eksternal menjadi 130 MB/s.

Perbaikan

Memperbaiki masalah yang mencegah SQL flashback selesai saat tidak ada operasi DML atau DDL dalam rentang waktu yang ditentukan.

Kategori

Deskripsi

Optimasi

Mengoptimalkan pernyataan SHOW BINARY LOGS untuk menyelesaikan kueri lambat saat banyak binlog tersedia.

Perbaikan

Memperbaiki luapan buffer saat membentuk data JSON.

Mencegah thread scan metaDataSource keluar selama alih bencana HA di metaDB selama peningkatan CDC.

Memperbaiki deadlock saat memperbarui binlog_dumper_info.

Kategori

Deskripsi

Fitur baru dan optimasi

Menambahkan dukungan untuk pernyataan FLUSH LOGS.

Mengoptimalkan kecepatan dump eksternal untuk konsumsi transparan.

CDC tidak lagi bergantung pada is_vip untuk koneksi DN.

Menghapus dependensi kontrol untuk mengambil koneksi MetaDB dalam CDC.

Perbaikan

Memperbaiki error sintaks dalam pernyataan pembuatan tabel dengan definisi kolom BIGINT SIGNED.

Memperbaiki masalah di mana algoritma generasi recover tso dapat menyebabkan celah dalam daftar binary log.

Memperbaiki masalah di mana dump tugas gagal menemukan offset awal pada DN instans utama setelah instans read-only diskalakan.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk persistensi objek transaksi guna mengurangi penggunaan memori.

Perbaikan

Memperbaiki masalah di mana recover tso tidak boleh lebih kecil dari TSO transaksi berlabel scaling terbaru saat memulihkan berdasarkan TSO historis.

Memperbaiki bug di mana thread gRPC gagal keluar saat file lokal pada Dumper Master dihapus selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

Perbaikan

Memperbaiki error tautan yang disebabkan oleh konflik jendela heartbeat saat mengonsumsi binary log dari OSS.

Memperbaiki error konversi format data saat membentuk TableMapEvent.

Memperbaiki ketidaksesuaian nilai Sql_Mode antara Event DDL dan nilai aslinya.

Memperbaiki ketidakkonsistenan metadata antara tabel logis dan fisik untuk tipe nchar dan nvarchar.

Memperbaiki masalah yang mencegah pernyataan SQL DDL dengan line feed dikonversi menjadi komentar satu baris.

Kategori

Deskripsi

Fitur baru dan optimasi

Menambahkan dukungan untuk memantau utilisasi CPU proses worker.

Menambahkan dukungan untuk pemantauan Events Per Second (EPS) yang lebih fine-grained untuk operasi INSERT, UPDATE, dan DELETE.

Mengoptimalkan kecepatan unggah file binary log ke Object Storage Service (OSS), meningkatkan laju menjadi 700 MB/s.

Menambahkan perintah Operations and Maintenance (O&M) untuk Change Data Capture (CDC), seperti start master, stop master, restart master, dan reset master.

Perbaikan

Memperbaiki blocking lama selama konsumsi transparan file binary log offline.

Memperbaiki masalah di mana thread dump gagal keluar jika file binary log dihapus saat sedang dibaca.

Memperbaiki kegagalan reset master yang disebabkan oleh metadata DDL fisik yang berlebihan.

Memperbaiki ketidakkonsistenan antara nilai Sql_Mode dalam event DDL dan nilai sql_mode aslinya.

Memperbaiki error MySQL downstream yang disebabkan oleh pernyataan SQL yang mengandung ADD PRIMARY KEY dan DROP PRIMARY KEY secara bersamaan.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana urutan kolom salah setelah pernyataan SQL dieksekusi di SchemaRepository.

Memperbaiki NPE yang dipicu saat membentuk string kosong.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana metadata terpotong saat melebihi panjang tipe data mediumtext.

Kategori

Deskripsi

Perbaikan bug

Memperbaiki kegagalan parsing yang disebabkan oleh charset MySQL yang tidak dikonversi ke charset Java.

Kategori

Deskripsi

Optimasi fitur

Mengurangi RTO tautan sinkronisasi binary log menjadi 15 detik.

Mempercepat pemulihan metadata CDC untuk penerapan dengan ratusan ribu tabel data.

Perbaikan

Memperbaiki potensi error perhitungan offset saat mengonsumsi binary log secara transparan.

Memperbaiki masalah kompatibilitas dengan text(0) selama pemeriksaan konsistensi metadata.

Kategori

Deskripsi

Perbaikan

Memperbaiki gangguan tautan CDC yang disebabkan oleh penambahan dan penghapusan primary key secara terus-menerus.

Memperbaiki pemutusan CDC yang terjadi saat program konsumen gagal mengirim COM_REGISTER_SLAVE sebelum melakukan dump binary logs.

Memperbaiki gangguan tautan data dalam routing data multi-stream saat nilai hash adalah Integer.MIN_VALUE.

Kategori

Deskripsi

Fitur baru dan optimasi

Menambahkan dukungan untuk penggabungan multi-level. Ini memastikan performa tidak menurun secara signifikan saat node DN diskalakan secara linear.

Menambahkan dukungan untuk konsumsi transparan. Program konsumen downstream dapat menggunakan protokol dump untuk langsung mengonsumsi file binary log yang diarsipkan ke OSS tanpa perlu berinteraksi langsung dengan OSS.

Menambahkan dukungan untuk binary log multi-stream. Anda dapat menyesuaikan jumlah stream, masing-masing dengan file binary log independennya sendiri.

Menambahkan dukungan untuk membangun snapshot metadata lengkap secara berkala. Ini mencegah catatan tagging DDL historis tumbuh secara berlebihan.

Menambahkan dukungan untuk mengunduh file binary log dari OSS secara paralel guna meningkatkan kecepatan pemulihan instans.

Perbaikan

Memperbaiki masalah kompatibilitas dan kebenaran dalam pembentukan data event binary log, meningkatkan stabilitas tautan CDC selama perubahan DDL.

Memperbaiki masalah yang dapat menyebabkan timeout dump untuk langganan downstream setelah restart kluster CDC.

Memperbaiki perhitungan latensi yang salah selama startup awal proses Dumper.