PolarDB:Catatan rilis node CDC

Kategori

Deskripsi

Fitur dan peningkatan baru

Meningkatkan CDC (log node) ke versi 5.4.21.

CDC (log node) menambahkan dukungan untuk variabel event kueri DN baru, Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Menambahkan dukungan untuk kompresi binlog.

Memperbaiki performa sinkronisasi data untuk indeks penyimpanan kolom (CCI).

Mempercepat pemulihan CDC (log node) setelah node penyimpanan (DN) diubah ukurannya.

Perbaikan bug

Memperbaiki masalah yang dapat menyebabkan exception pada alat sinkronisasi data downstream, seperti Flink CDC, saat mengurai event binlog bertipe FORMAT_DESCRIPTION_EVENT.

Memperbaiki masalah di mana indeks penyimpanan kolom (CCI) melaporkan error saat mengurai pernyataan DDL yang berisi karakter komentar #.

Memperbaiki bug yang menyebabkan kesalahan sesekali pada pipeline konsumsi binlog ketika binlog dihasilkan dengan laju tinggi.

Memperbaiki bug yang kadang-kadang mengganggu koneksi ke instans PolarDB-X downstream saat fitur filtering sisi sumber diaktifkan pada CDC (log node).

Memperbaiki bug yang kadang-kadang menyebabkan crash JVM akibat GC (garbage collection) yang terlalu sering saat CDC (log node) berjalan pada instans ekstra besar.

Memperbaiki masalah di mana koneksi utama CDC (log node) mungkin terputus saat operasi ALTER dilakukan pada nama tabel yang berisi backtick ``.

Kategori

Deskripsi

Fitur baru

Menambahkan filtering aktif untuk dump log biner guna mengecualikan event delete yang dihasilkan oleh tabel arsip selama pembuatan log biner.

Kategori

Deskripsi

Fitur dan peningkatan baru

Menambahkan dukungan untuk tabel virtual. Anda sekarang dapat mengonfigurasi aturan pemetaan untuk memetakan beberapa tabel fisik yang memenuhi syarat ke satu tabel virtual.

Menambahkan parameter daemon_tso_heartbeat_suspend_enabled untuk mengontrol apakah pemeriksaan heartbeat untuk layanan TSO ditangguhkan dalam kondisi tertentu.

Memperbaiki performa saat menyinkronkan data dari binlog ke indeks penyimpanan kolom (CCI).

Perbaikan

Memperbaiki masalah di mana event binlog yang terlalu besar dapat menyebabkan error OOM pada CDC (log node) selama pemulihan pipeline binlog.

Kategori

Deskripsi

Fitur baru

Anda sekarang dapat memodifikasi kunci partisi dan kunci pengurutan pada clustered columnstore index (CCI). Hal ini memungkinkan Anda menyesuaikan strategi distribusi dan pengurutan data berdasarkan perubahan bisnis, sehingga mengoptimalkan performa kueri tanpa perlu membangun ulang indeks.

Anda sekarang dapat melakukan pembangunan ulang CCI in-place untuk mengoptimalkan dan mengatur ulang indeks tanpa memengaruhi kueri atau akses ke versi data historis.

Perbaikan

Node data (DN) tidak lagi menyebabkan gangguan aliran data dengan layanan log biner single-stream.

Kategori

Deskripsi

Fitur baru

Node CDC sekarang menyaring event delete dari tabel arsip saat menghasilkan log biner.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk pemetaan satu-ke-satu antara node penyimpanan dan aliran binlog dalam konfigurasi CDC multi-stream.

Optimasi

Mengoptimalkan manajemen memori untuk operasi dump binlog.

Meningkatkan throughput node CDC saat mengalirkan binlog ke sistem downstream.

Mengoptimalkan pernyataan SQL yang dikirim dari node CDC ke layanan meta global (GMS) untuk mengurangi beban GMS.

Kategori

Deskripsi

Fitur baru

Binlog multi-stream: Sekarang mendukung pemetaan satu-ke-satu antara node penyimpanan dan aliran binlog.

Kategori

Deskripsi

Fitur dan optimasi baru

Menambahkan dukungan untuk Konstraint CHECK.

Mengoptimalkan kebijakan alokasi memori off-heap langsung CDC untuk mencegah masalah kehabisan memori (OOM).

Mengoptimalkan mekanisme restart paksa CDC agar tetap dipicu meskipun proses worker diblokir.

Kategori

Deskripsi

Peningkatan

Ukuran default file log biner tunggal ditingkatkan menjadi 1 GB dan rotasi otomatis diaktifkan saat nomor urut file log biner melebihi 999.999.

Mengoptimalkan logika unduhan untuk file log biner yang dikonsumsi secara transparan.

Kategori

Deskripsi

Optimasi fitur

Mengoptimalkan logika replikasi untuk node primary dan secondary.

Mengoptimalkan logika deteksi timeout heartbeat untuk modul Ketersediaan tinggi (HA) CDC guna mencegah restart proses yang tidak perlu.

Perbaikan

Memperbaiki masalah di mana peningkatan dari versi CDC sebelumnya terganggu karena tidak adanya field RuntimeVersion dalam konfigurasi tabel sistem.

Hasil pernyataan SHOW CREATE TABLE sekarang mencakup atribut WITH PARSER NGRAM.

Kategori

Deskripsi

Masalah yang diperbaiki

Memperbaiki masalah di mana koneksi CDC terputus karena perbedaan kompatibilitas dalam cara metadata CDC menangani tipe REAL dan DOUBLE.

Kategori

Deskripsi

Masalah yang diperbaiki

Memperbaiki bug di mana satu pernyataan SQL yang memperbarui beberapa tabel menghasilkan TableMapEvent berurutan, menyebabkan TraceID tidak berurutan.

Kategori

Deskripsi

Perbaikan

Memperbaiki kegagalan startup proses CDC yang disebabkan oleh satu node komputasi yang tidak tersedia.

Memperbaiki kegagalan operasi dump pada file log biner yang disebabkan oleh ketidaksesuaian offset antara memori dan file.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana eksekusi pernyataan SHOW FULL BINARY LOGS mengembalikan informasi yang tidak lengkap.

Mencegah kehilangan file binlog akibat unggahan konkuren file yang sama selama rekonstruksi topologi CDC.

Memperbaiki masalah di mana parser SQL gagal mengurai pernyataan ALTER yang berisi kelompok tabel implisit dan tidak memproses pernyataan penanda dengan benar.

Memastikan pemulihan otomatis tautan replikasi dengan mencegah penghapusan file lokal pada node master selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

Fitur baru

Node CDC sekarang dapat membuat sync point secara berkala.

Perbaikan bug

Memperbaiki bug di mana kursor log biner tidak diperbarui sebagaimana mestinya, sehingga menghambat konsumsi.

Kategori

Deskripsi

Fitur dan optimasi baru

Menambahkan dukungan bagi node Change Data Capture (CDC) untuk membuat Sync Point secara berkala.

Mengoptimalkan validasi data penuh untuk penilaian peningkatan dari PolarDB-X 1.0 ke PolarDB-X 2.0.

Perbaikan bug

Memperbaiki kegagalan pembuatan log biner global yang disebabkan oleh perubahan metadata.

Memperbaiki bug yang menyebabkan layanan dump log biner gagal saat file log biner yang diminta kosong.

Kategori

Deskripsi

Fitur dan optimasi baru

Replikasi DDL primary/secondary sekarang mendukung replikasi fungsi.

Replikasi DDL primary/secondary sekarang mendukung replikasi sequence.

Replikasi DDL primary/secondary sekarang mendukung replikasi view.

Replikasi DDL primary/secondary sekarang mendukung replikasi prosedur.

Replikasi DDL primary/secondary sekarang mendukung replikasi akun, role, dan izin.

Replikasi DDL primary/secondary sekarang mendukung operasi ALTER TABLEGROUP.

Replikasi DDL primary/secondary sekarang mendukung operasi ALTER INDEX.

Menyempurnakan replikasi DDL primary/secondary untuk mengoordinasikan konsistensi di beberapa aliran log biner.

Anda sekarang dapat membuat tautan replikasi primary/secondary dari timestamp tertentu.

Menambahkan perintah SQL untuk memverifikasi konsistensi data antara upstream dan downstream.

Memperkenalkan role instans secondary. Role ini memberikan kemampuan read-only tingkat instans kepada kluster secondary.

Replikasi primary/secondary sekarang dapat mencocokkan persis klausa WHERE dari operasi write DML.

Anda sekarang dapat mengikat nama aliran log biner multi-stream ke username. Hal ini menghilangkan kebutuhan untuk menentukan opsi WITH saat mengeksekusi perintah SQL terkait dengan akun yang terikat.

Mengoptimalkan replikasi dua arah berbasis server_id, memungkinkan Anda menentukan aturan filtering dari command line dan menjalankan pemeriksaan otomatis untuk anomali server_id.

Perbaikan

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP COLUMN dapat mengurutkan kolom metadata secara salah, sehingga mengganggu tautan log biner.

Memperbaiki masalah di mana pernyataan MULTI ALTER ADD/DROP/RENAME INDEX dapat menyebabkan kehilangan metadata indeks, mengakibatkan pernyataan DDL yang salah ditulis ke log biner.

Memperbaiki masalah di mana pernyataan ALTER DDL yang berisi kata kunci user difilter karena salah konfigurasi parameter meta_build_physical_ddl_sql_blacklist_regex.

Pernyataan DDL DROP INDEX sekarang ditulis dengan benar ke log biner.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk instruksi O&M terkait log biner, seperti show full binary logs dan show full master status.

Masalah yang diperbaiki

Memperbaiki kegagalan flashback SQL dalam mode pencocokan eksak.

Kategori

Deskripsi

Fitur baru

Menambahkan perintah SHOW FULL MASTER STATUS.

Optimasi fitur

Sekarang mendukung parameter seperti checksum dan heartbeat untuk dumping log biner MySQL, meningkatkan kompatibilitas.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk flashback SQL guna memutar balik seluruh transaksi.

Masalah yang diperbaiki

Memperbaiki masalah di mana pencatatan heartbeat TSO dalam binlog dapat menyebabkan instans MySQL downstream crash.

Kategori

Deskripsi

Peningkatan

Mengoptimalkan waktu tidur untuk kontrol tekanan balik gRPC, meningkatkan kecepatan dump log biner eksternal menjadi 130 MB/s.

Perbaikan Bug

Memperbaiki masalah di mana flashback sql gagal saat tidak ada operasi DML atau DDL dalam rentang waktu yang ditentukan.

Kategori

Deskripsi

Optimasi fitur

Memperbaiki performa pernyataan SHOW BINARY LOGS untuk mengatasi kueri lambat akibat jumlah log biner yang besar.

Perbaikan

Memperbaiki luapan buffer yang terjadi selama pemrosesan data JSON.

Memperbaiki bug yang menyebabkan thread pemindaian metaDataSource keluar selama peningkatan CDC akibat alih bencana HA di metaDB.

Memperbaiki deadlock yang terjadi saat memperbarui binlog_dumper_info.

Kategori

Deskripsi

Fitur dan optimasi baru

Menambahkan dukungan untuk pernyataan FLUSH LOGS.

Mengoptimalkan kecepatan dump eksternal untuk konsumsi transparan.

CDC tidak lagi bergantung pada is_vip untuk mengambil koneksi DN.

CDC tidak lagi bergantung pada komponen kontrol untuk mengambil koneksi MetaDB.

Perbaikan

Memperbaiki error parsing pada pernyataan pembuatan tabel yang mencakup definisi kolom BIGINT SIGNED.

Memperbaiki celah dalam daftar log biner yang disebabkan oleh algoritma generasi recover tso.

Memperbaiki masalah yang mencegah Task dump menemukan offset awal pada DN instans utama setelah penskalaan instans hanya baca.

Kategori

Deskripsi

Fitur baru

Menambahkan dukungan untuk persistensi objek transaksi guna mengurangi penggunaan memori.

Perbaikan

recover tso sekarang dapat lebih kecil daripada TSO dari transaksi berlabel scaling terbaru selama pemulihan berdasarkan TSO historis.

Thread gRPC sekarang keluar dengan benar meskipun file lokal pada Dumper Master dihapus selama sinkronisasi primary-secondary CDC Dumper.

Kategori

Deskripsi

Perbaikan

Memperbaiki konflik jendela heartbeat yang dapat menyebabkan error tautan saat mengonsumsi log biner dari OSS.

Memperbaiki error konversi format data sesekali selama pemrosesan TableMapEvent.

Memperbaiki ketidakkonsistenan antara nilai Sql_Mode dalam event DDL dan nilai Sql_Mode aslinya.

Memperbaiki ketidakkonsistenan metadata antara tabel logis dan fisik untuk tipe nchar dan nvarchar.

Memperbaiki masalah yang mencegah pernyataan DDL yang berisi line feed dikonversi menjadi komentar satu baris.

Kategori

Deskripsi

Fitur dan optimasi baru

Menambahkan dukungan untuk memantau pemanfaatan CPU pada proses worker.

Menambahkan dukungan untuk pemantauan Events Per Second (EPS) yang lebih detail halus untuk operasi INSERT, UPDATE, dan DELETE.

Mengoptimalkan unggahan file log biner ke OSS, mencapai 700 MB/s.

Menambahkan perintah operasi dan maintenance (O&M) Change Data Capture (CDC), seperti start master, stop master, restart master, dan reset master.

Perbaikan

Memperbaiki masalah di mana konsumsi transparan log biner offline dapat menyebabkan blocking berkepanjangan.

Memperbaiki masalah di mana thread dump gagal keluar jika file log biner dihapus selama operasi baca.

Memperbaiki masalah di mana reset master gagal karena metadata DDL fisik yang berlebihan.

Memperbaiki masalah di mana nilai sql_mode dalam event DDL tidak konsisten dengan nilai aslinya.

Memperbaiki masalah di mana pernyataan SQL yang berisi add primary key dan drop primary key secara bersamaan menyebabkan error pada instans MySQL downstream.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah yang mengakibatkan urutan kolom salah di SchemaRepository setelah eksekusi pernyataan SQL.

Memperbaiki masalah di mana shaping data pada string kosong memicu NPE.

Kategori

Deskripsi

Masalah yang diperbaiki

Memperbaiki masalah pemotongan data yang disebabkan oleh metadata yang melebihi panjang tipe data mediumtext.

Kategori

Deskripsi

Masalah yang diperbaiki

Memperbaiki kegagalan parsing yang disebabkan oleh charset MySQL yang tidak dikonversi ke charset Java yang sesuai.

Kategori

Deskripsi

Optimasi

Memperbaiki waktu pemulihan tautan sinkronisasi log biner, mengurangi RTO menjadi 15 detik.

Memperbaiki kecepatan pemulihan metadata CDC saat diskalakan ke ratusan ribu tabel data.

Perbaikan

Memperbaiki potensi error perhitungan offset saat mengonsumsi log biner secara transparan.

Memperbaiki masalah kompatibilitas dengan text(0) selama pemeriksaan konsistensi metadata.

Kategori

Deskripsi

Perbaikan

Memperbaiki masalah di mana tautan CDC terputus akibat penambahan dan penghapusan primary key secara berurutan.

Memperbaiki masalah di mana CDC terputus jika program konsumen tidak mengirim COM_REGISTER_SLAVE sebelum melakukan dump log biner.

Memperbaiki gangguan tautan data selama routing data multi-stream saat nilai hash adalah Integer.MIN_VALUE.

Kategori

Deskripsi

Fitur dan optimasi baru

Mendukung penggabungan multi-level. Hal ini mencegah degradasi performa signifikan saat node DN diskalakan.

Mendukung konsumsi transparan. Konsumen downstream dapat menggunakan protokol dump untuk mengonsumsi file log biner dari OSS tanpa harus terhubung langsung ke OSS.

Mendukung log biner multi-stream. Anda dapat menyesuaikan jumlah stream, dan setiap stream memiliki aliran log independen sendiri.

Mendukung pembuatan snapshot metadata lengkap secara berkala. Hal ini mencegah catatan tagging DDL historis tumbuh secara berlebihan.

Mendukung pengunduhan file log biner dari OSS secara paralel untuk meningkatkan kecepatan pemulihan instans.

Perbaikan

Memperbaiki masalah kompatibilitas dan kebenaran saat shaping data event log biner, lebih lanjut meningkatkan stabilitas tautan CDC selama perubahan DDL.

Memperbaiki masalah di mana restart kluster CDC dapat menyebabkan timeout dump untuk langganan downstream.

Memperbaiki perhitungan latensi yang salah selama startup awal proses Dumper.