Rilis ini mencakup pembaruan platform, pembaruan engine, pembaruan konektor, optimasi kinerja, dan perbaikan bug untuk Realtime Compute for Apache Flink.
Peningkatan diluncurkan secara bertahap menggunakan rencana rilis canary. Fitur baru hanya tersedia setelah peningkatan selesai untuk akun Anda. Untuk meminta akses lebih awal, submit a ticket. Untuk jadwal peningkatan terbaru, lihat pengumuman di sisi kanan Konsol Realtime Compute for Apache Flink.
Ikhtisar
Pembaruan platform
Ingesti data melalui penerapan YAML (pratinjau publik): Flink Change Data Capture (CDC) kini mendukung modul ingesti data khusus berbasis Flink CDC 3.0. Awalnya dikembangkan oleh Alibaba dan disumbangkan ke Apache Software Foundation, Flink CDC telah berkembang dari sumber Flink untuk change data capture menjadi kerangka kerja ekstrak, transformasi, dan muat (ETL) berbasis aliran Flink. Penerapan YAML memungkinkan Anda menentukan pipeline sinkronisasi data end-to-end dengan overhead konfigurasi yang lebih rendah dibandingkan penerapan SQL atau JAR.
Peningkatan orkestrasi tugas: CloudMonitor kini dapat mengirimkan peringatan event alur kerja melalui DingTalk dan panggilan telepon selain saluran yang sudah ada. Variabel dinamis juga didukung, sehingga pekerjaan yang sama dapat dijalankan secara berkala dengan nilai parameter berbeda tanpa perubahan kode.
Manajemen variabel (sebelumnya key hosting): Fitur key hosting diganti namanya menjadi manajemen variabel dan diperluas ke penerapan JAR dan Python. Sebelumnya terbatas pada penerapan SQL, kini Anda dapat menyimpan dan mereferensikan variabel teks biasa maupun ciphertext di semua jenis penerapan.
Navigasi sisi kiri yang ditata ulang: Panel navigasi sisi kiri Konsol pengembangan ditata ulang untuk mengelompokkan modul-modul terkait. Dengan penambahan modul baru seperti ingesti data, tata letak yang diperbarui memudahkan pencarian fitur tanpa harus menggulir daftar datar.
Pembaruan engine
Ververica Runtime (VVR) 8.0.9 kini tersedia, berbasis Apache Flink 1.17.2. Setelah peningkatan canary selesai untuk akun Anda, lakukan upgrade engine VVR untuk penerapan Anda. Untuk informasi selengkapnya, lihat Upgrade the engine version of a deployment.
Pembaruan utama dalam VVR 8.0.9:
MySQL CDC: Parameter thread penguraian Binlog dapat dikonfigurasi untuk meningkatkan throughput penguraian Binlog konkuren.
Konektor Kafka: Algoritma kompresi Zstandard dan format Protobuf bawaan kini didukung.
Konektor Redis: Kinerja penulisan sink ditingkatkan dan parameter kolam koneksi dapat dikonfigurasi untuk manajemen koneksi yang lebih fleksibel.
Konektor Paimon: Aksi Delete didukung untuk sink Paimon, sehingga pembaruan data parsial lebih mudah diimplementasikan.
Fitur
Fitur | Deskripsi | Referensi |
Modul ingesti data (pratinjau publik) | Tentukan pipeline sinkronisasi data end-to-end dalam YAML berdasarkan Flink CDC 3.0, tanpa menulis pekerjaan SQL atau JAR. Mengurangi overhead konfigurasi bagi tim yang mengelola alur kerja CDC volume tinggi. | |
Integrasi Data Lake Formation (DLF) 2.0 | Saat Anda memilih DLF 2.0 sebagai jenis penyimpanan metadata untuk katalog Paimon, konfigurasi Pasangan Kunci Akses tidak lagi diperlukan — izin diselesaikan secara otomatis. | |
Izin akses DLF yang disederhanakan | Izin terkait DLF diberikan secara otomatis saat Anda membuat ruang kerja Realtime Compute for Apache Flink untuk pertama kalinya. Pengguna yang sudah ada menerima izin ini secara default, sehingga menghilangkan langkah penyiapan manual. | |
Pembuatan kluster session cepat | Jika tidak ada kluster session saat Anda menjalankan skrip kueri, konfigurasikan parameter utama secara inline untuk membuat lingkungan eksekusi dan menjalankan skrip segera tanpa keluar dari editor. | N/A |
Peningkatan orkestrasi tugas | Peringatan alur kerja kini mendukung peringatan event CloudMonitor yang dikirimkan melalui DingTalk dan panggilan telepon, memberi Anda lebih banyak opsi notifikasi saat pekerjaan gagal atau melebihi ambang batas. | |
Manajemen variabel (sebelumnya key hosting) | Key hosting diganti namanya menjadi manajemen variabel dan diperluas ke penerapan JAR dan Python. Referensikan variabel teks biasa atau ciphertext di semua jenis penerapan, bukan hanya SQL. | |
Navigasi Konsol pengembangan yang ditata ulang | Panel navigasi sisi kiri ditata ulang untuk mengelompokkan modul baru seperti ingesti data secara logis, sehingga memudahkan pencarian fitur seiring perluasan konsol. | N/A |
Konektor MySQL: thread penguraian Binlog yang dapat dikonfigurasi | Konfigurasikan parameter thread penguraian Binlog untuk meningkatkan throughput penguraian Binlog konkuren pada beban kerja MySQL CDC volume tinggi. | |
Konektor Kafka: kompresi Zstandard dan format Protobuf |
| |
Konektor Redis: peningkatan kinerja sink dan kolam koneksi |
| |
Refaktor konektor Simple Log Service |
| |
Konektor Paimon: dukungan aksi delete | Konfigurasikan semantik untuk pesan retraction (delete atau update) guna meningkatkan kinerja aksi delete pada sink Paimon, sehingga pembaruan data parsial menjadi lebih efisien. | |
Tabel dimensi MongoDB: pencarian ObjectId | Bidang | |
Konektor StarRocks: peningkatan keandalan penulisan | Mekanisme retry penulisan dioptimalkan untuk pengecualian jaringan, dan nilai default | |
Konektor ApsaraDB for HBase: penanganan field null | Field | |
Konektor Lindorm: pembaruan kolom selektif | Tulis data ke tabel hasil dan kecualikan kolom tertentu dari operasi pembaruan, memberi Anda kontrol lebih baik atas bidang mana yang akan ditimpa. |
Isu yang diperbaiki
MySQL CDC: Saat mengonsumsi dari checkpoint tertentu, MySQL CDC gagal pulih setelah alih bencana primary/secondary. Masalah ini kini telah diperbaiki.
Konektor StarRocks: Penggunaan pernyataan CREATE TABLE AS di VVR 8.0.8 menyebabkan error
java.lang.ClassNotFoundException. Masalah ini kini telah diperbaiki.Konektor Elasticsearch: Versi V8 tidak didukung saat terhubung melalui Konsol Realtime Compute for Apache Flink. Masalah ini kini telah diperbaiki.
Konektor Hologres: Konektor melakukan pemeriksaan ID tabel yang tidak perlu selama startup. Pemeriksaan paksa ini kini telah dihapus.