Topik ini menjelaskan pembaruan utama dan perbaikan bug dari versi Realtime Compute for Apache Flink yang dirilis pada 29 Mei 2024.
Peningkatan versi diluncurkan secara bertahap di seluruh jaringan menggunakan strategi rilis canary. Untuk informasi tentang jadwal peningkatan, lihat pengumuman terbaru di sisi kanan Konsol Manajemen Realtime Compute for Apache Flink. Anda hanya dapat menggunakan fitur baru dalam versi ini setelah peningkatan selesai untuk akun Anda. Untuk mengajukan peningkatan pada kesempatan pertama, ajukan tiket.
Ikhtisar
Rilis ini mencakup pembaruan platform dan mesin.
Pembaruan platform
Pembaruan platform dalam rilis ini berfokus pada stabilitas sistem, O&M, dan kemudahan penggunaan.
Fitur ketersediaan tinggi lintas zona dioptimalkan untuk memastikan stabilitas. Anda dapat dengan cepat mengonversi unit komputasi (CU) dari namespace yang ada dari tipe satu zona ke tipe lintas zona tanpa perlu membuat namespace baru atau memigrasikan penerapan yang ada.
TTL status tingkat operator didukung dalam mode ahli konfigurasi sumber daya. Anda dapat mengonfigurasi nilai TTL status secara tepat untuk setiap operator untuk meningkatkan stabilitas sambil menggunakan lebih sedikit sumber daya.
Ekstensi Visual Studio Code untuk Realtime Compute for Apache Flink tersedia. Ekstensi ini memungkinkan Anda mengembangkan, menerapkan, dan menjalankan penerapan di lingkungan lokal. Ini juga memungkinkan Anda menyinkronkan konfigurasi penerapan yang diperbarui dari Konsol Pengembangan Realtime Compute for Apache Flink.
UI terkait garis keturunan data dan penerapan juga dioptimalkan.
Pembaruan mesin
Ververica Runtime (VVR) 8.0.7 secara resmi dirilis untuk menyediakan mesin kelas perusahaan berbasis Apache Flink 1.17.2. VVR 8.0.7 mencakup pembaruan berikut:
Danau Real-Time: SDK konektor Apache Paimon ditingkatkan untuk mendukung format danau data yang digunakan oleh Apache Paimon 0.9.
Optimasi SQL: Petunjuk TTL status diperkenalkan untuk mengonfigurasi nilai TTL status terpisah untuk operator join reguler dan agregasi grup guna mengontrol ukuran status mereka. Parameter bernama didukung dalam fungsi yang ditentukan pengguna (UDF) untuk meningkatkan efisiensi pengembangan dan mengurangi biaya pemeliharaan.
Optimasi Konektor: Konektor MongoDB telah menyelesaikan pratinjau publiknya dan tersedia secara umum. Konektor MongoDB dapat digunakan untuk membuat tabel sumber CDC, tabel dimensi, dan tabel hasil. Fitur MySQL CDC dan konektor ApsaraDB for Redis juga dioptimalkan.
Fitur MySQL CDC:
Kolom virtual op_type didukung untuk meneruskan jenis operasi (+I, +U/-U, -D) dari data yang berubah ke sistem hilir. Ini memungkinkan Anda mengimplementasikan logika bisnis dan kebijakan pembersihan data berdasarkan jenis operasi yang berbeda.
Kinerja baca dioptimalkan untuk tabel MySQL yang kunci primernya bertipe Decimal. Catatan perubahan data (SourceRecords) dalam tabel berukuran besar dapat diproses secara paralel, yang meningkatkan efisiensi.
Fitur penggunaan ulang sumber diperkenalkan. Jika fitur ini diaktifkan untuk penerapan Flink yang berisi beberapa tabel sumber MySQL CDC, penerapan tersebut akan menggabungkan tabel yang memiliki konfigurasi identik (tidak termasuk nama database, nama tabel, dan ID server). Ini secara signifikan mengurangi beban yang disebabkan oleh banyak koneksi database dan pemantauan perubahan pada server MySQL.
Eksekusi berbuffer didukung untuk meningkatkan kinerja pemrosesan hingga beberapa kali lipat. Untuk mengaktifkan eksekusi berbuffer, konfigurasikan parameter sink.ignore-null-when-update.
Konektor ApsaraDB for Redis: Pernyataan DDL yang berbeda didukung untuk kunci non-primer saat Anda menggunakan konektor untuk membuat tabel dimensi atau tabel hasil yang berisi data bertipe HashMap. Ini meningkatkan keterbacaan kode. Awalan dan pemisah dapat dikonfigurasi untuk kunci untuk memenuhi persyaratan tata kelola data.
Manajemen Katalog: Informasi tampilan tidak lagi ditampilkan untuk katalog MySQL. Ini mencegah kesalahan operasi data karena tampilan MySQL adalah struktur logis dan tidak dapat membaca serta menulis data.
Keamanan: Hadoop 2.x didukung untuk kluster Hadoop yang memiliki autentikasi Kerberos diaktifkan. Informasi sensitif, seperti konfigurasi konektor, disembunyikan dalam log.
Untuk informasi tentang pembaruan utama dalam rilis ini dan referensi terkait, lihat bagian berikutnya dari topik ini. Peningkatan versi diluncurkan secara bertahap di seluruh jaringan menggunakan strategi rilis canary. Setelah peningkatan selesai untuk akun Anda, kami sarankan Anda meningkatkan mesin VVR ke versi ini. Untuk informasi lebih lanjut, lihat Tingkatkan Versi Mesin Penerapan. Kami menantikan masukan Anda.
Fitur
Fitur | Deskripsi | Referensi |
Optimasi ketersediaan tinggi lintas zona | CU dari namespace yang ada dapat dikonversi antara tipe satu zona dan tipe lintas zona. | |
Optimasi garis keturunan data | Jika beberapa kecocokan ditemukan selama pencarian bidang berdasarkan nama, Anda dapat menekan tombol atas dan bawah untuk dengan cepat menemukan hasil untuk melihat informasi garis keturunan data.
| Lihat garis keturunan data berdasarkan nama node atau nama bidang |
Bidang Pembuat di halaman Penerapan | Bidang Pembuat dapat ditampilkan di halaman Deployments. Untuk menampilkan bidang Pembuat, klik ikon
| N/A |
Manajemen izin yang dioptimalkan | Secara default, pembuat ruang kerja, seperti akun Alibaba Cloud, Pengguna Resource Access Management (RAM), atau Peran RAM, diberi peran pemilik di namespace yang termasuk dalam ruang kerja tersebut. | |
Pemeriksaan kompatibilitas status yang dioptimalkan untuk penerapan SQL | Jika Anda memulai penerapan SQL dengan melanjutkan dari status terbaru, sistem secara otomatis mendeteksi perubahan penerapan. Kami sarankan Anda mengklik Click to detect di sebelah State Compatibility untuk melakukan pemeriksaan kompatibilitas status dan menentukan tindakan selanjutnya berdasarkan hasil kompatibilitas. | |
Ekstensi Visual Studio Code | Ekstensi ini memungkinkan Anda mengembangkan, menerapkan, dan menjalankan penerapan SQL, JAR, dan Python di lingkungan lokal. Ini juga memungkinkan Anda menyinkronkan konfigurasi penerapan yang diperbarui dari konsol pengembangan Realtime Compute for Apache Flink. | |
TTL status tingkat operator | Fitur ini cocok untuk skenario di mana hanya operator tertentu yang memerlukan nilai TTL status besar. Anda dapat menggunakan beberapa metode untuk mengonfigurasi nilai TTL status untuk operator guna mengontrol ukuran statusnya. Ini mengurangi konsumsi sumber daya penerapan dengan status besar.
| |
Parameter bernama dalam UDF | Fitur ini meningkatkan efisiensi pengembangan dan mengurangi biaya pemeliharaan. | |
Konektor MySQL yang ditingkatkan |
| |
Konektor ApsaraDB for Redis yang ditingkatkan |
| |
Pembacaan berbuffer untuk instance ApsaraMQ for RocketMQ | Fitur ini meningkatkan efisiensi pemrosesan dan mengurangi biaya sumber daya. | |
Penghapusan informasi tampilan dalam katalog MySQL | Informasi tampilan tidak lagi ditampilkan untuk katalog MySQL karena tampilan MySQL adalah struktur logis dan tidak menyimpan data. | |
Kompatibilitas yang ditingkatkan untuk kluster Hadoop yang memiliki autentikasi Kerberos diaktifkan. | Hadoop 2.x didukung untuk kluster Hadoop yang memiliki autentikasi Kerberos diaktifkan. | |
Konektor Apache Iceberg yang ditingkatkan | Apache Iceberg 1.5 didukung. |
di sudut kanan atas halaman dan ikuti petunjuk di layar. Bidang Pembuat membantu Anda memfilter penerapan dan memfasilitasi pemecahan masalah dan kolaborasi. 
Masalah yang diperbaiki
Jika konektor Hologres digunakan di VVR 8.0.5 atau 8.0.6, dorongan klausa WHERE dapat memengaruhi kebenaran data.
Jika konektor Layanan Log Sederhana digunakan untuk membuat tabel sumber, kehilangan data mungkin terjadi selama failover karena tabel sumber terus mengirimkan data pada offset konsumen.
Jika TTL dikonfigurasi untuk objek ValueState tetapi tidak dikonfigurasi untuk objek MapState, status yang disimpan dalam objek ValueState mungkin hilang.
Hasil deserialisasi untuk parameter WithinType.PREVIOUS_AND_CURRENT dalam pemrosesan peristiwa kompleks dinamis (CEP) mungkin tidak konsisten.
Nilai metrik currentEmitEventTimeLag yang ditampilkan di UI web Realtime Compute for Apache Flink tidak konsisten dengan yang ditampilkan di halaman pemantauan konsol.
Semua masalah di Apache Flink 1.17.2. Untuk informasi lebih lanjut, lihat Pengumuman Rilis Apache Flink 1.17.2.