21 November 2024 - Realtime Compute for Apache Flink

Topik ini menjelaskan pembaruan utama dan perbaikan bug dari versi Realtime Compute for Apache Flink yang dirilis pada 21 November 2024.

Penting

Peningkatan versi diluncurkan secara bertahap di seluruh jaringan menggunakan rencana rilis canary. Untuk informasi tentang jadwal peningkatan, lihat pengumuman terbaru di sisi kanan Konsol Realtime Compute for Apache Flink. Anda hanya dapat menggunakan fitur baru dalam versi ini setelah peningkatan selesai untuk akun Anda. Untuk mengajukan peningkatan pada kesempatan pertama, ajukan tiket.

Ikhtisar

Rilis ini mencakup pembaruan platform, mesin, dan konektor, serta optimasi kinerja dan perbaikan bug.

Pembaruan platform

Pembaruan platform dalam rilis ini berfokus pada kemudahan penggunaan, stabilitas sistem, dan efisiensi O&M. Sorotan utamanya adalah sebagai berikut:

Dukungan untuk penagihan hibrid: Metode penagihan baru ini menggabungkan manfaat penagihan berlangganan dan bayar sesuai pemakaian. Ini memungkinkan Anda mengonfigurasi sumber daya tetap dan elastis untuk ruang kerja Flink Anda. Penagihan hibrid tidak hanya mengurangi kebutuhan untuk mengalokasikan sumber daya berlebih untuk lonjakan beban kerja yang tidak terduga atau sementara, tetapi juga memastikan jumlah sumber daya tetap tersedia dengan andal. Anda dapat menggunakan metode penagihan ini bersama dengan fitur penyetelan otomatis platform untuk optimasi biaya lebih lanjut.
Redesain halaman utama konsol: Halaman utama yang diperbarui memberikan akses mudah ke fitur yang sering digunakan dan gambaran umum sumber daya serta penyebaran.
Dukungan untuk mengganti nama draf yang ada.
Manajemen versi yang ditingkatkan: Saat Flink merilis versi baru, versi lama secara bertahap mencapai Akhir Dukungan (EOS). Untuk memastikan peningkatan versi yang stabil dan lancar, versi EOS mesin yang paling baru digunakan disimpan. Ini memungkinkan Anda melakukan rollback jika diperlukan.

Pembaruan mesin

Ververica Runtime (VVR) 8.0.10 secara resmi dirilis untuk menyediakan mesin kelas perusahaan berbasis Apache Flink 1.17.2. Ini juga menyediakan optimasi dan peningkatan melebihi perbaikan bug terbaru di Apache Flink. VVR 8.0.10 mencakup pembaruan berikut:

Kemampuan baru

Dukungan JDK 11: Versi JDK baru tersedia. Namun, kompatibilitas tidak dijamin antara penggunaan JDK 11 atau JDK 8 di versi VVR minor yang berbeda.
Konektor SelectDB (pratinjau publik): Konektor ini memungkinkan penulisan data ke ApsaraDB for SelectDB.

Catatan

Kemampuan ini saat ini berada pada tahap eksperimental, dan oleh karena itu, Service Level Agreements (SLA) mereka tidak dijamin. Berhati-hatilah saat mempertimbangkan penggunaannya dalam sistem produksi.

Kemampuan yang ditingkatkan

Semantik SQL yang ditingkatkan: Join temporal waktu-pemrosesan didukung untuk menghubungkan baris dalam tabel fakta dengan versi terbaru dari kunci yang sesuai dalam tabel dimensi. Tidak seperti join temporal waktu-kejadian yang menghubungkan baris berdasarkan waktu kejadian terjadi, join temporal waktu-pemrosesan menghubungkan baris berdasarkan waktu kedatangan data.
Fungsi SQL bawaan yang baru didukung: PERCENTILE(expr, persentase[, frekuensi]) didukung.
Ingest CDC dalam penyebaran YAML: Konektor Kafka sekarang dapat digunakan sebagai sumber dalam penyebaran YAML, mendukung format JSON Debezium dan JSON Canal. Konektor Paimon dan StarRocks dapat menangani pernyataan TRUNCATE dan DROP TABLE upstream. Kolom DECIMAL atau TIMESTAMP dengan presisi berbeda dapat digabungkan dalam database yang di-shard.
Peningkatan kontrol akses untuk CREATE TABLE AS SELECT (CTAS) / CREATE DATABASE AS SELECT (CDAS): Pernyataan CTAS/CDAS mendukung katalog Apache Paimon tipe penyimpanan metadata DLF 2.0, yang meningkatkan kontrol akses.
Konektor StarRocks yang ditingkatkan: Tipe data BIGINT UNSIGNED dan VARBINARY didukung.

Peningkatan kinerja

Ingest data basis data dan inkremental yang lebih cepat: Pemrosesan batch dan aliran terpadu secara signifikan meningkatkan kinerja ingest real-time data penuh dan inkremental dari MySQL CDC ke Paimon.
Optimasi penyimpanan terkelola sepenuhnya: Dalam ruang kerja yang dikonfigurasi dengan penyimpanan terkelola sepenuhnya, melanjutkan dari titik simpan memerlukan waktu dan sumber daya lebih sedikit, yang mengarah pada peningkatan optimasi biaya.

Optimasi pengalaman

Pengalaman konfigurasi konektor: Konfigurasi sistem untuk opsi tertentu terkait Debezium dalam konektor MySQL CDC mengambil alih konfigurasi pengguna untuk mencegah potensi salah guna. Opsi timeout konektor Hologres dioptimalkan untuk mengurangi upaya ulang selama penyebaran draf, memfasilitasi penulisan data ke Hologres.
Pengalaman pengembangan draf SQL: Selama validasi draf SQL, tips dan saran tentang penggunaan operator SinkMaterializer dioptimalkan.

Peningkatan keamanan

Katalog Apache Paimon: Setelah katalog Apache Paimon dibuat, nilai parameter fs.oss.accessKeySecret ditampilkan sebagai ciphertext untuk melindungi keamanan data.

Untuk informasi lebih lanjut tentang pembaruan utama dalam rilis ini dan referensi terkait, lihat bagian berikutnya dari topik ini. Peningkatan versi diluncurkan secara bertahap menggunakan rencana rilis canary. Setelah peningkatan selesai untuk akun Anda, kami sarankan Anda meningkatkan mesin VVR ke versi ini. Untuk informasi lebih lanjut, lihat Tingkatkan versi mesin penyebaran. Kami menantikan masukan Anda.

Fitur

Fitur	Deskripsi	Referensi
Dukungan JDK 11	VVR 8.0.10 sepenuhnya mendukung JDK 11. Ini membantu pengembang mengoptimalkan aplikasi Java mereka dengan fitur baru dan memberi pengembang lebih banyak pilihan untuk lingkungan runtime, meningkatkan fleksibilitas dan kompatibilitas platform.	Kembangkan draf JAR Kembangkan draf API Python UDSF
Join tabel dimensi dalam mode Keyed-Ordered	Mode Key-Ordered diperkenalkan untuk kasus penggunaan di mana data diambil secara asinkron dari sistem eksternal dan diproses dalam urutan UpsertKey. Mode ini secara efektif menutupi kekurangan mode Ordered dan Unordered.	Parameter kunci
Ingest data CDC yang ditingkatkan dalam penyebaran YAML	Penyebaran YAML sekarang mendukung penggunaan konektor Kafka sebagai sumber, meningkatkan fleksibilitas sistem atau aplikasi Flink yang menggunakan penyebaran YAML untuk memproses aliran data Kafka.	Konektor Kafka Kembangkan draf YAML untuk ingest data (pratinjau publik)
Konektor SLS yang dioptimalkan	Kebijakan backoff diadopsi untuk meningkatkan stabilitas dan keandalan konektor SLS.	N/A
Konektor StarRocks yang ditingkatkan	Tipe data BIGINT UNSIGNED dan VARBINARY didukung. Panjang kolom CHAR dapat diperpanjang secara otomatis menjadi tiga kali panjang sebelum pemetaan. Ini beradaptasi dengan perbedaan encoding antara MySQL dan StarRocks.	StarRocks
Semantik SQL yang ditingkatkan	Join temporal waktu-pemrosesan didukung. Ini menggunakan atribut waktu-pemrosesan untuk menghubungkan baris dalam tabel fakta dengan versi terbaru dari kunci yang sesuai dalam tabel dimensi.	Pernyataan join temporal waktu-pemrosesan
Fungsi SQL bawaan baru	Fungsi PERCENTILE sekarang didukung.	Fungsi yang didukung
Katalog Hive yang dioptimalkan	Anda dapat membuat katalog Hive dalam ruang kerja dengan penyimpanan terkelola sepenuhnya, mengunggah file konfigurasi, dan mengelola siklus hidup mereka.	Kelola katalog Hive
Kontrol akses yang ditingkatkan untuk CTAS/CDAS	CTAS/CDAS mendukung katalog Apache Paimon tipe metastore DLF 2.0.	CREATE TABLE AS (CTAS) CREATE DATABASE AS (CDAS)
Optimasi UI konsol	Halaman utama konsol didesain ulang untuk memberikan gambaran umum sumber daya dan penyebaran, akses mudah ke fitur yang sering digunakan, dan navigasi ke dokumentasi terkait.	N/A
Penagihan hibrid	Penagihan hibrid memberikan fleksibilitas bayar sesuai pemakaian dan efektivitas biaya berlangganan.	Penagihan hibrid
Optimasi pengarsipan log	Log arsip yang kedaluwarsa secara berkala dibersihkan untuk menghemat biaya penyimpanan.	Lihat log pekerjaan historis
Konektor SelectDB	ApsaraDB for SelectDB adalah layanan gudang data real-time generasi berikutnya. Ini sepenuhnya dikelola dan di-hosting di Alibaba Cloud dan 100% kompatibel dengan Apache Doris. Data dapat ditulis ke ApsaraDB for SelectDB melalui konektor SelectDB.	SelectDB

Masalah yang diperbaiki

Masalah konektor

MySQL CDC: Memperbaiki masalah di mana kehilangan data mungkin terjadi selama transisi dari pembacaan data penuh ke pembacaan inkremental berbasis binlog melalui Object Storage Service (OSS).
Tair (Redis OSS-compatible): Memperbaiki masalah di mana data tidak dapat ditulis ke Redis karena defisit dalam Buffered Writer konektor Tair (Redis OSS-compatible) di VVR 8.0.9.
OSS: Memperbaiki masalah kinerja penulisan data ke OSS di VVR 8.0.7 atau lebih baru.
Paimon: Memperbaiki masalah di mana zona waktu tipe timestamp tidak dikonversi dengan benar dalam penyebaran YAML.
MaxCompute dan OTS: Memperbaiki masalah di mana baris dalam tabel dimensi tidak dapat dikaitkan dengan baris dalam tabel fakta jika tabel dimensi memiliki kunci primer dan dikonfigurasi dengan kebijakan SHUFFLE_HASH, REPLICATED_SHUFFLE_HASH, atau SKEW, serta dengan kebijakan Cache ALL.

Masalah SQL

Penggabungan sumber: Memperbaiki masalah di mana penyebaran tidak dapat dimulai ketika table.optimizer.source-merge.enabled diatur ke true.
Interval minibatch: Memperbaiki masalah di VVR 8.0.7 di mana konfigurasi interval minibatch tidak berlaku.

Masalah kompatibilitas dan dependensi

Pemuatan kelas konektor: Memperbaiki masalah di mana pengecualian kelas konektor tidak ditemukan dilaporkan saat memulai penyebaran yang menggunakan konektor bawaan dengan dependensi JAR.
Jalankan lokal IntelliJ IDEA: Memperbaiki masalah di mana kesalahan ClassNotFoundException MySqlSourceReaderMetrics dilaporkan saat menjalankan penyebaran yang menggunakan paket JAR MySQL CDC secara lokal di IntelliJ IDEA.

Masalah konfigurasi dinamis

Memperbaiki masalah di mana pembaruan dinamis kadang-kadang tidak berlaku.