Catatan Rilis Realtime Compute for Apache Flink (21 November 2024) - Realtime Compute for Apache Flink

Rilis Realtime Compute for Apache Flink tanggal 21 November 2024 mencakup fitur utama dan perbaikan bug penting.

Penting

Peningkatan ini diluncurkan secara bertahap. Untuk jadwal peningkatan terbaru, lihat pengumuman di sisi kanan Konsol Realtime Compute for Apache Flink. Fitur baru tersedia setelah akun Anda ditingkatkan. Jika Anda memerlukan peningkatan yang dipercepat, silakan submit a ticket, dan kami akan meninjau permintaan Anda.

Ikhtisar

Rilis Realtime Compute for Apache Flink tanggal 21 November 2024 mencakup peningkatan platform, pembaruan engine, pembaruan konektor, optimasi kinerja, serta perbaikan bug.

Pembaruan platform

Pembaruan platform ini meningkatkan pengalaman pengguna, stabilitas sistem, dan efisiensi operasional. Poin utamanya meliputi:

Penagihan hibrid: Mode ini menggabungkan keunggulan langganan dan pay-as-you-go, memungkinkan Anda menambahkan batas sumber daya elastis di atas sumber daya tetap Anda. Pendekatan ini membantu Anda menghindari over-provisioning untuk lonjakan jangka pendek dan mengurangi risiko gagal mendapatkan sumber daya jika hanya mengandalkan elastisitas. Saat digunakan bersama kemampuan auto-tuning platform, mode ini mengubah penghematan sumber daya menjadi manfaat biaya.
Desain ulang halaman utama Konsol: Halaman utama yang telah didesain ulang kini menyediakan gambaran umum sumber daya dan penerapan, serta akses cepat ke fitur yang sering digunakan.
Penggantian nama draft: Anda sekarang dapat mengubah nama draft yang sudah ada.
Manajemen versi yang ditingkatkan: Seiring dirilisnya versi Flink baru, versi-versi lama secara bertahap mencapai masa akhir dukungan (EOS). Untuk memastikan peningkatan penerapan berjalan lancar, platform kini menyimpan versi EOS terakhir yang Anda gunakan, sehingga memungkinkan rollback jika diperlukan.

Pembaruan engine

Rilis ini memperkenalkan VVR 8.0.10, sebuah engine Flink tingkat enterprise berbasis Apache Flink 1.17.2. Engine ini mencakup optimasi dan peningkatan yang dibangun di atas perbaikan bug komunitas terbaru. Perubahan utamanya meliputi:

Kemampuan baru

Dukungan JDK 11: Engine kini mendukung JDK 11, memperluas opsi lingkungan runtime Anda. Kompatibilitas antar versi minor VVR yang berjalan di JDK 8 dan JDK 11 tidak dijamin.
Konektor SelectDB (pratinjau publik): Memungkinkan Anda menulis data ke tabel hasil ApsaraDB for SelectDB.

Catatan

Fitur-fitur baru ini bersifat eksperimental dan tidak dicakup oleh perjanjian tingkat layanan (SLA). Gunakan dengan hati-hati di lingkungan produksi.

Peningkatan

Semantik SQL yang ditingkatkan: Anda kini dapat melakukan temporal join berbasis processing time. Ini memungkinkan Anda menggabungkan setiap record dalam tabel fakta dengan data terbaru di tabel dimensi. Berbeda dengan event time yang didasarkan pada waktu kejadian sebenarnya, processing time didasarkan pada saat data tiba di sistem pemrosesan.
Fungsi SQL bawaan baru: Memperkenalkan fungsi PERCENTILE(expr, percentage[, frequency]).
Ingesti data CDC yang ditingkatkan untuk penerapan YAML: Anda kini dapat menggunakan konektor sumber Kafka dalam penerapan YAML, dengan dukungan format Debezium JSON dan Canal JSON. Konektor Apache Paimon dan StarRocks kini menangani event TRUNCATE TABLE dan DROP TABLE dari MySQL di hulu. Engine kini mendukung penggabungan bidang Decimal dan Timestamp dengan presisi berbeda dalam skenario database dan tabel terbagi (sharded).
Otorisasi yang ditingkatkan untuk CTAS/CDAS: Anda kini dapat menggunakan Apache Paimon dengan DLF 2.0 sebagai metastore untuk pernyataan CREATE TABLE AS (CTAS) dan CREATE DATABASE AS (CDAS).
Konektor StarRocks yang ditingkatkan: Konektor StarRocks kini mendukung tipe data BIGINT UNSIGNED dan VARBINARY.

Perbaikan kinerja

Ingesti data CDC penuh dan inkremental yang terintegrasi dan dioptimalkan: Engine kini menggunakan pemrosesan batch dan stream terpadu untuk mengoptimalkan ingesti data real-time—baik penuh maupun inkremental—dari MySQL CDC ke Apache Paimon, sehingga secara signifikan meningkatkan kinerja ingesti data lake.
Penyimpanan fully managed yang dioptimalkan: Perbaikan ini mengurangi waktu dan biaya yang diperlukan untuk memulihkan dari titik simpan (savepoint) serta meningkatkan efisiensi penyimpanan.

Peningkatan pengalaman pengguna

Konektor: Platform kini menyembunyikan parameter konfigurasi Debezium yang tidak diperlukan untuk mencegah penyalahgunaan. Kami telah mengoptimalkan parameter timeout untuk konektor Hologres guna mengurangi jumlah retry selama penerapan, sehingga meningkatkan keandalan penulisan.
SQL: Kami telah memperbaiki tips dan saran untuk operator SinkMaterializer dalam pemeriksaan awal (precheck) SQL agar lebih jelas.

Peningkatan keamanan

Peningkatan keamanan katalog Apache Paimon: Setelah Anda membuat katalog, platform menyembunyikan nilai parameter fs.oss.accessKeySecret untuk melindungi kredensial Anda.

Tabel berikut merinci fitur-fitur utama dan dokumentasi terkait. Rilis ini diluncurkan secara bertahap. Setelah tersedia di wilayah Anda, kami mendorong Anda untuk meningkatkan engine untuk penerapan Anda. Untuk petunjuknya, lihat Upgrade the engine version of a deployment. Kami menantikan masukan Anda.

Fitur utama

Fitur	Deskripsi	Referensi
Engine support for JDK 11	Engine sepenuhnya mendukung JDK 11, memungkinkan developer menggunakan fitur-fitur baru untuk mengoptimalkan aplikasi Java, memperluas opsi lingkungan runtime, serta meningkatkan fleksibilitas dan kompatibilitas platform.	Develop a JAR draft Develop a Python draft UDSF
Keyed-Ordered mode for dimension table joins	Kami memperkenalkan mode Key-Ordered untuk memenuhi kebutuhan bisnis dalam mengambil data secara asinkron dari sistem eksternal dan memprosesnya dalam urutan UpsertKey. Mode ini mengatasi keterbatasan mode Ordered dan Unordered yang ada.	Key parameters
Enhanced CDC data ingestion for YAML deployments	Penerapan YAML kini mendukung Kafka sebagai sumber, yang memungkinkan penerapan Flink memproses aliran data Kafka yang dikonfigurasi melalui YAML secara lebih fleksibel.	Kafka connector Develop a YAML draft for CDC data ingestion (public preview)
Optimized SLS connector	Strategi backoff kini meningkatkan stabilitas dan keandalan konektor SLS.	N/A
Enhanced StarRocks connector	Mendukung tipe data `BIGINT UNSIGNED` dan `VARBINARY`. Konektor dapat secara otomatis memperluas panjang tipe `CHAR` hingga tiga kali lipat dari ukuran aslinya untuk mengakomodasi perbedaan encoding antara MySQL dan StarRocks.	StarRocks connector
Enhanced SQL semantics	Engine kini mendukung temporal join menggunakan processing time, yang mengaitkan data tabel fakta dengan data terbaru di tabel dimensi.	Processing-time temporal join
New built-in SQL function	Rilis ini menambahkan fungsi `PERCENTILE`.	Supported functions
Optimized Hive catalog	Anda kini dapat membuat katalog Hive di ruang kerja yang menggunakan penyimpanan fully managed, mengunggah langsung file konfigurasi terkait saat pembuatan, serta mengelola siklus hidup file tersebut.	Manage Hive catalogs
Enhanced authorization for CTAS/CDAS	Anda kini dapat menggunakan Apache Paimon dengan DLF 2.0 dalam pernyataan CTAS dan CDAS.	CREATE TABLE AS (CTAS) CREATE DATABASE AS (CDAS)
Console homepage redesign	Halaman utama Konsol yang telah didesain ulang menyediakan ikhtisar sumber daya dan penerapan, akses cepat ke fitur-fitur yang sering digunakan, serta tautan ke dokumentasi umum, sehingga Anda dapat dengan cepat memeriksa status penerapan, mengakses fitur inti, dan menemukan dokumentasi yang diperlukan.	N/A
New hybrid billing mode	Menggabungkan fleksibilitas pay-as-you-go dengan efisiensi biaya langganan untuk memberikan strategi penagihan yang lebih optimal.	Hybrid billing
Optimized log archiving	Platform secara berkala membersihkan log arsip yang telah kedaluwarsa untuk suatu penerapan guna mengurangi biaya penyimpanan tambahan.	View the logs of a historical deployment
Support for SelectDB connector	ApsaraDB for SelectDB adalah layanan gudang data real-time generasi berikutnya yang cloud-native berbasis Apache Doris. Anda dapat menggunakan konektor SelectDB untuk menulis data ke ApsaraDB for SelectDB.	SelectDB connector

Perbaikan masalah

Masalah konektor

Sinkronisasi data CDC MySQL: Memperbaiki masalah yang dapat menyebabkan kehilangan data saat beralih dari pembacaan penuh ke pembacaan inkremental berbasis binlog dari OSS.
Penulisan data Tair: Memperbaiki cacat pada buffered writer konektor Tair di VVR 8.0.9 yang menyebabkan tidak ada output data.
Kinerja penulisan OSS: Meningkatkan kinerja penulisan OSS di VVR 8.0.7 dan versi setelahnya.
Timestamp penerapan YAML: Memperbaiki masalah konversi zona waktu untuk tipe timestamp saat menulis data ke Apache Paimon dalam penerapan YAML.
Pencocokan data tabel dimensi: Memperbaiki kegagalan pencocokan data pada tabel dimensi untuk konektor seperti MaxCompute dan Table Store (OTS), ketika tabel dimensi dengan primary key menggunakan strategi SHUFFLE_HASH, REPLICATED_SHUFFLE_HASH, atau SKEW dengan kebijakan Cache All.

Masalah SQL

Konfigurasi Source Merge: Memperbaiki kegagalan startup yang terjadi ketika table.optimizer.source-merge.enabled diatur ke true.
Konfigurasi Minibatch Interval: Memperbaiki masalah di VVR 8.0.7 di mana konfigurasi interval minibatch tidak berlaku.

Masalah kompatibilitas dan dependensi

Pemuatan kelas konektor: Memperbaiki pengecualian connector class not found saat startup untuk penerapan yang menggunakan konektor bawaan dengan dependensi JAR tambahan.
Jalankan lokal di IntelliJ IDEA: Memperbaiki error ClassNotFoundException MySqlSourceReaderMetrics yang terjadi saat menjalankan paket JAR CDC MySQL secara lokal di IntelliJ IDEA.

Masalah konfigurasi dinamis

Memperbaiki masalah di mana pembaruan konfigurasi dinamis kadang-kadang gagal berlaku.