Kemampuan HA lintas zona VVR 8.0.7 & Flink 1.17.2 - Realtime Compute for Apache Flink

Topik ini menjelaskan pembaruan utama dan perbaikan bug dalam rilis Realtime Compute for Apache Flink pada 29 Mei 2024.

Penting

Versi ini diluncurkan secara bertahap menggunakan strategi rilis canary. Periksa pengumuman terbaru di sisi kanan Konsol pengelolaan Realtime Compute for Apache Flink untuk jadwal peningkatan. Fitur baru hanya tersedia setelah peningkatan selesai untuk akun Anda. Untuk meminta peningkatan lebih awal, submit a ticket.

Ikhtisar

Rilis ini mencakup pembaruan platform dan pembaruan engine dalam Ververica Runtime (VVR) 8.0.7.

Pembaruan platform

Rilis ini meningkatkan stabilitas sistem, operasi dan maintenance (O&M), serta kemudahan penggunaan:

Optimasi ketersediaan tinggi lintas zona: Konversi unit komputasi (CUs) namespace yang sudah ada dari tipe single-zone ke tipe cross-zone secara langsung—tanpa perlu membuat namespace baru atau melakukan migrasi deployment.
TTL state tingkat operator: Konfigurasikan nilai time-to-live (TTL) state yang terpisah untuk setiap operator dalam mode expert konfigurasi resource. Fitur ini didukung di VVR 8.0.7 dan versi setelahnya hanya untuk deployment SQL.
Ekstensi Visual Studio Code: Kembangkan, terapkan, dan jalankan deployment SQL, JAR, dan Python di lingkungan lokal Anda. Sinkronkan konfigurasi deployment yang diperbarui dari Konsol pengembangan Realtime Compute for Apache Flink.

UI alur data (data lineage) dan halaman Deployments juga telah dioptimalkan.

Pembaruan engine

VVR 8.0.7 dibangun di atas Apache Flink 1.17.2 dan mencakup pembaruan berikut:

Lakehouse real-time: SDK connector Apache Paimon ditingkatkan untuk mendukung format data lake yang digunakan oleh Apache Paimon 0.9.

Optimasi SQL:

*Petunjuk TTL state*: Tetapkan nilai TTL state per operator untuk operator regular join dan group aggregation langsung dalam kueri SQL Anda, tanpa mengubah konfigurasi deployment.
*Parameter bernama dalam user-defined functions (UDFs)*: Parameter bernama kini didukung dalam UDF untuk meningkatkan efisiensi pengembangan dan mengurangi biaya maintenance.

Pembaruan connector:

*Connector MongoDB*: Kini tersedia secara umum (GA). Mendukung tabel sumber change data capture (CDC), tabel dimensi, dan tabel hasil.
*Connector MySQL*: Empat peningkatan dalam rilis ini:
- Kolom virtual op_type meneruskan jenis operasi (+I, +U/-U, -D) ke sistem downstream, memungkinkan logika bisnis dan pembersihan data berdasarkan jenis operasi.
- Kinerja pembacaan ditingkatkan untuk tabel MySQL dengan kunci primer bertipe Decimal. SourceRecords dari tabel besar diproses secara paralel.
- Reuse sumber CDC: ketika sebuah deployment berisi beberapa tabel sumber CDC MySQL dengan konfigurasi identik (kecuali nama database, nama tabel, dan server ID), tabel-tabel tersebut digabung menjadi satu koneksi. Hal ini secara signifikan mengurangi jumlah koneksi dan beban pendengaran binlog pada server MySQL.
- Eksekusi ter-buffer: konfigurasikan parameter sink.ignore-null-when-update untuk mengaktifkan eksekusi ter-buffer, meningkatkan kinerja pemrosesan hingga beberapa kali lipat.
*Connector ApsaraDB for Redis*: Dua peningkatan:
- Pernyataan DDL (Data Definition Language) yang berbeda didukung untuk kolom non-primary key saat membuat tabel dimensi atau tabel hasil bertipe HashMap. Hal ini meningkatkan keterbacaan kode.
- Awalan (prefix) dan pembatas (delimiter) kunci kini dapat dikonfigurasi untuk memenuhi persyaratan tata kelola data.
*Connector ApsaraMQ for RocketMQ*: Pembacaan ter-buffer didukung, meningkatkan throughput dan mengurangi biaya resource.
*Connector Apache Iceberg*: Apache Iceberg 1.5 kini didukung.

Pengelolaan katalog: Informasi view tidak lagi ditampilkan untuk katalog MySQL. View MySQL adalah struktur logis yang tidak dapat membaca atau menulis data, dan keberadaannya sebelumnya menyebabkan error operasi data.

Keamanan:

Hadoop 2.x kini didukung untuk kluster Hadoop dengan autentikasi Kerberos yang diaktifkan.
Informasi sensitif seperti konfigurasi connector disembunyikan (masked) dalam log.

Catatan peningkatan

Setelah peningkatan selesai untuk akun Anda, tingkatkan engine VVR ke versi ini. Untuk petunjuknya, lihat Peningkatan versi engine deployment.

Fitur

Fitur	Deskripsi	Referensi
Optimasi ketersediaan tinggi lintas zona	CUs namespace yang sudah ada dapat dikonversi antara tipe single-zone dan tipe cross-zone.	Aktifkan/Nonaktifkan HA lintas zona
Optimasi alur data	Jika ditemukan beberapa kecocokan selama pencarian bidang berdasarkan nama, Anda dapat menekan tombol panah atas dan bawah untuk dengan cepat menemukan hasil guna melihat informasi alur data.	Lihat alur data berdasarkan nama node atau nama bidang
Bidang Creator di halaman Deployments	Bidang Creator dapat ditampilkan di halaman Deployments. Untuk menampilkan bidang Creator, klik ikon di pojok kanan atas halaman dan ikuti petunjuk di layar. Bidang Creator membantu Anda menyaring deployment serta mempermudah troubleshooting dan kolaborasi. Untuk melihat semua deployment yang dibuat oleh akun saat ini dalam namespace saat ini, klik ikon filter di kolom Creator. Untuk melihat semua deployment yang dibuat oleh anggota tertentu dalam namespace saat ini, pilih Creator dari daftar drop-down di samping kotak pencarian di atas daftar deployment dan masukkan nama anggota tersebut.	N/A
Pengelolaan izin yang dioptimalkan	Secara default, pembuat ruang kerja—seperti Akun Alibaba Cloud, pengguna Resource Access Management (RAM), atau Peran RAM—ditetapkan sebagai Pemilik di namespace yang termasuk dalam ruang kerja tersebut.	Berikan izin namespace
Pemeriksaan kompatibilitas state yang dioptimalkan untuk deployment SQL	Jika Anda memulai deployment SQL dengan melanjutkan dari state terbaru, sistem secara otomatis mendeteksi perubahan deployment. Kami menyarankan Anda mengklik Click to detect di samping State Compatibility untuk melakukan pemeriksaan kompatibilitas state dan menentukan tindakan selanjutnya berdasarkan hasil kompatibilitas.	Mulai pekerjaan
Ekstensi Visual Studio Code	Ekstensi ini memungkinkan Anda mengembangkan, menerapkan, dan menjalankan deployment SQL, JAR, dan Python di lingkungan on-premises. Ekstensi ini juga memungkinkan Anda menyinkronkan konfigurasi deployment yang diperbarui dari Konsol pengembangan Realtime Compute for Apache Flink.	Gunakan ekstensi Visual Studio Code
TTL state tingkat operator	Fitur ini cocok untuk skenario di mana hanya operator tertentu yang memerlukan nilai TTL state yang besar. Anda dapat menggunakan beberapa metode untuk mengonfigurasi nilai TTL state untuk suatu operator guna mengontrol ukuran statenya. Hal ini mengurangi konsumsi resource pada deployment dengan state besar. Gunakan mode expert konfigurasi resource di halaman Deployments. Catatan Metode ini hanya didukung di VVR 8.0.7 dan versi setelahnya. Metode ini hanya berlaku untuk deployment SQL. Gunakan petunjuk TTL state. Metode ini hanya berlaku untuk operator regular join dan group aggregation.	Konfigurasikan parallelism, chaining strategy, dan TTL operator Hints Pernyataan JOIN reguler
Parameter bernama dalam UDF	Fitur ini meningkatkan efisiensi pengembangan dan mengurangi biaya maintenance.	Ikhtisar
Connector MySQL yang ditingkatkan	Kolom virtual op_type dapat digunakan untuk meneruskan jenis operasi data. Kinerja pembacaan dioptimalkan untuk tabel MySQL yang kunci primernya bertipe Decimal. Catatan perubahan data (SourceRecords) pada tabel berukuran besar dapat diproses secara paralel. Fitur reuse sumber CDC diperkenalkan. Parameter sink.ignore-null-when-update ditambahkan untuk mendukung eksekusi ter-buffer.	Connector MySQL
Connector ApsaraDB for Redis yang ditingkatkan	Pernyataan DDL yang berbeda didukung untuk kunci non-primary saat Anda menggunakan connector untuk membuat tabel dimensi atau tabel hasil yang berisi data bertipe HashMap. Hal ini meningkatkan keterbacaan kode. Awalan dan pembatas dapat dikonfigurasi untuk kunci guna memenuhi persyaratan tata kelola data.	Connector ApsaraDB for Redis
Pembacaan ter-buffer untuk instance ApsaraMQ for RocketMQ	Fitur ini meningkatkan efisiensi pemrosesan dan mengurangi biaya resource.	Connector ApsaraMQ for RocketMQ
Penghapusan informasi view dalam katalog MySQL	Informasi view tidak lagi ditampilkan untuk katalog MySQL karena view MySQL adalah struktur logis dan tidak menyimpan data.	Kelola katalog MySQL
Kompatibilitas yang ditingkatkan untuk kluster Hadoop yang memiliki autentikasi Kerberos yang diaktifkan.	Hadoop 2.x didukung untuk kluster Hadoop yang memiliki autentikasi Kerberos yang diaktifkan.	Daftarkan kluster Hive yang mendukung autentikasi Kerberos
Connector Apache Iceberg yang ditingkatkan	Apache Iceberg 1.5 didukung.	Apache Iceberg Kelola katalog DLF-Legacy

Masalah yang diperbaiki

Connector Hologres (VVR 8.0.5 atau 8.0.6): Pushdown klausa WHERE dapat menghasilkan hasil kueri yang salah.
Connector Simple Log Service: Kehilangan data dapat terjadi selama failover karena tabel sumber terus melakukan commit data pada offset konsumen.
Pengelolaan state: Jika TTL dikonfigurasi untuk objek ValueState tetapi tidak untuk objek MapState, state yang disimpan dalam objek ValueState dapat hilang.
Pemrosesan Peristiwa Kompleks (CEP) dinamis: Hasil deserialisasi untuk parameter WithinType.PREVIOUS_AND_CURRENT dapat tidak konsisten.
Metrik pemantauan: Nilai currentEmitEventTimeLag yang ditampilkan di UI web Realtime Compute for Apache Flink tidak konsisten dengan nilai yang ditampilkan di halaman pemantauan Konsol.
Semua masalah yang diperbaiki dalam Apache Flink 1.17.2. Untuk detailnya, lihat pengumuman rilis Apache Flink 1.17.2.