Topik ini menjelaskan pembaruan utama dan perbaikan bug dari versi Realtime Compute for Apache Flink yang dirilis pada 11 September 2024.
Peningkatan versi diluncurkan secara bertahap di seluruh jaringan menggunakan rencana rilis canary. Untuk informasi tentang jadwal peningkatan, lihat pengumuman terbaru di sisi kanan Konsol Realtime Compute for Apache Flink. Anda hanya dapat menggunakan fitur baru dalam versi ini setelah peningkatan selesai untuk akun Anda. Untuk mengajukan peningkatan pada kesempatan pertama, submit a ticket.
Ikhtisar
Rilis ini mencakup pembaruan platform, pembaruan mesin, pembaruan konektor, optimasi kinerja, dan perbaikan bug.
Pembaruan Platform
Pembaruan platform dalam rilis ini berfokus pada kemudahan penggunaan, stabilitas sistem, keamanan, dan efisiensi O&M. Berikut adalah pembaruan platform utama:
Dukungan penerapan YAML untuk pengambilan data oleh Flink Change Data Capture (CDC): Sebagai solusi sinkronisasi database real-time, Flink CDC telah mendapatkan dukungan luas dan aplikasi oleh pengembang serta pengguna perusahaan. Donasi resmi program Flink CDC oleh Alibaba kepada Yayasan Perangkat Lunak Apache menandai evolusi Flink CDC dari sumber Flink untuk penangkapan data perubahan menjadi kerangka kerja streaming extract, transform, dan load (ETL) berbasis Flink. Evolusi ini mencakup modul pengambilan data baru untuk meningkatkan kemampuan keseluruhan Flink CDC.
Kemampuan orkestrasi tugas yang dioptimalkan: Kemampuan peringatan diperkaya untuk orkestrasi tugas. CloudMonitor dapat melaporkan peringatan menggunakan beberapa metode seperti DingTalk dan panggilan telepon. Selain itu, variabel dinamis dapat digunakan dalam orkestrasi tugas untuk menjalankan kode yang sama secara berkala untuk perhitungan pada interval yang telah ditentukan. Kemampuan orkestrasi tugas terus dioptimalkan untuk kemudahan penggunaan yang lebih tinggi.
Kemampuan hosting kunci yang diperluas: Kemampuan hosting kunci yang banyak digunakan dalam penerapan SQL diperluas ke penerapan JAR yang semakin meningkat. Oleh karena itu, Realtime Compute for Apache Flink mendukung hosting kunci untuk penerapan JAR dan Python. Beberapa informasi selain kunci, seperti alamat IP, mungkin digunakan oleh beberapa penerapan. Untuk menyelesaikan masalah ini, hosting kunci secara resmi diubah nama menjadi manajemen variabel untuk mencakup kemampuan manajemen variabel teks biasa.
Reorganisasi menu konsol tingkat-1: Jika sejumlah besar modul baru ditampilkan dalam mode ubin, Anda tidak dapat dengan mudah menemukan modul yang diperlukan. Oleh karena itu, tata letak item menu di panel navigasi sisi kiri konsol pengembangan dioptimalkan untuk meningkatkan intuitif dan kemudahan penggunaan. Dengan cara ini, Anda dapat dengan mudah menemukan fitur yang diperlukan.
Pembaruan Mesin
Ververica Runtime (VVR) 8.0.9 secara resmi dirilis untuk menyediakan mesin kelas perusahaan berdasarkan Apache Flink 1.17.2. VVR 8.0.9 mencakup pembaruan berikut:
Parameter thread parsing Binlog didukung untuk konektor MySQL CDC untuk membantu Anda meningkatkan kemampuan parsing Binlog konkuren sesuai kebutuhan.
Algoritma kompresi Zstandard didukung untuk konektor Kafka untuk meningkatkan efisiensi transmisi data. Format Protobuf bawaan didukung untuk memfasilitasi pemrosesan data terstruktur.
Kinerja sink dan kecepatan pemrosesan konektor Redis ditingkatkan. Parameter kolam koneksi dapat dikonfigurasi untuk memungkinkan manajemen koneksi yang lebih fleksibel.
Tindakan hapus didukung untuk sink Paimon, yang memudahkan pembaruan data sebagian.
Untuk informasi lebih lanjut tentang pembaruan utama dalam rilis ini dan referensi terkait, lihat bagian berikutnya dari topik ini. Peningkatan versi diluncurkan secara bertahap di seluruh jaringan menggunakan rencana rilis canary. Setelah peningkatan selesai untuk akun Anda, kami sarankan Anda meningkatkan mesin VVR ke versi ini. Untuk informasi lebih lanjut, lihat Tingkatkan versi mesin penerapan. Kami menantikan umpan balik Anda.
Fitur
Fitur | Deskripsi | Referensi |
Modul pengambilan data ditambahkan | Draf YAML dapat dikembangkan berdasarkan Flink CDC 3.0 untuk menyinkronkan data dari sumber ke tujuan. | |
Interkoneksi dengan Data Lake Formation (DLF) 2.0 | Jika Anda memilih DLF 2.0 sebagai jenis penyimpanan metadata saat membuat katalog Paimon, Anda tidak perlu menentukan konfigurasi, seperti pasangan AccessKey. | |
Optimasi izin akses | Saat Anda membuat ruang kerja Realtime Compute for Apache Flink untuk pertama kalinya, izin operasi terkait DLF diberikan kepada Anda untuk mengakses katalog terkait DLF. Ini meningkatkan pengalaman pengguna DLF 2.0. Secara default, izin DLF secara otomatis diberikan kepada pengguna yang ada. | |
Pembuatan cepat cluster sesi | Jika tidak ada cluster sesi yang tersedia saat Anda menjalankan skrip kueri, Anda dapat membuat lingkungan eksekusi dengan mengonfigurasi parameter utama untuk langsung menjalankan skrip. | N/A |
Kemampuan orkestrasi tugas yang dioptimalkan | Kemampuan peringatan alur kerja diperkaya. CloudMonitor dapat melaporkan peringatan acara menggunakan beberapa metode, seperti DingTalk dan panggilan telepon. | |
Kemampuan hosting kunci yang diperluas | Hosting kunci diubah namanya menjadi manajemen variabel. Anda dapat mereferensikan variabel teks biasa atau sandi dalam penerapan JAR dan Python. | |
Reorganisasi menu konsol tingkat-1 | Modul baru seperti pengambilan data ditambahkan. Tata letak item menu di panel navigasi sisi kiri konsol pengembangan dioptimalkan. Dengan cara ini, Anda dapat dengan mudah menemukan modul yang diperlukan. | N/A |
Peningkatan kinerja konektor MySQL | Thread parsing Binlog dapat dikonfigurasi untuk meningkatkan kemampuan parsing asinkron. | |
Peningkatan kinerja konektor Kafka |
| |
Peningkatan kinerja konektor Redis |
| |
Refaktor konektor Layanan Log Sederhana |
| |
Konektor Paimon yang ditingkatkan | Semantik pesan retraksi yang diterima (hapus atau perbarui) dapat dikonfigurasi untuk meningkatkan kinerja tindakan hapus. | |
Kemampuan pencarian tabel dimensi yang ditingkatkan di MongoDB | Bidang | |
Stabilitas konektor StarRocks yang ditingkatkan | Mekanisme ulang coba tulis dioptimalkan untuk pengecualian jaringan dan nilai default parameter | |
Konektor HBase yang dioptimalkan | Bidang | |
Konektor Lindorm yang dioptimalkan | Data dapat ditulis ke tabel hasil. Data di kolom tertentu dapat dikecualikan untuk operasi pembaruan. |
Masalah yang Diperbaiki
Jika MySQL CDC mengonsumsi data dari checkpoint yang ditentukan, MySQL CDC tidak dapat pulih dari checkpoint setelah pergantian primer/sekunder.
Saat konektor StarRocks menggunakan pernyataan CREATE TABLE AS di VVR 8.0.8, kesalahan java.lang.ClassNotFoundException dilaporkan.
Saat konsol Realtime Compute for Apache Flink terhubung ke konektor Elasticsearch, versi konektor V8 tidak didukung.
Konektor Hologres secara paksa memeriksa ID tabel saat startup.