Topik ini menjelaskan catatan rilis untuk Realtime Compute for Apache Flink dan menyediakan tautan ke referensi terkait. Catatan rilis mencakup pembaruan utama dan perbaikan bug di Realtime Compute for Apache Flink dalam versi yang dirilis pada 1 April 2024.
Rilis canary akan dilakukan secara bertahap di seluruh jaringan, dengan peningkatan direncanakan selesai dalam tiga hingga empat minggu. Untuk mengetahui rencana peningkatan, lihat pengumuman terbaru di sisi kanan halaman utama Konsol Realtime Compute for Apache Flink. Jika Anda tidak dapat menggunakan fitur baru di Realtime Compute for Apache Flink, versi ini belum tersedia untuk akun Anda. Jika Anda ingin melakukan peningkatan sesegera mungkin,
ajukan tiket untuk mengajukan peningkatan.
Ikhtisar
Versi mesin baru 8.0.6 dari Ververica Runtime (VVR) dari Realtime Compute for Apache Flink secara resmi dirilis pada 1 April 2024. Versi ini adalah mesin Flink tingkat perusahaan berdasarkan Apache Flink 1.17.2. Versi ini mencakup perubahan dalam aspek berikut:
Danau waktu nyata: Data Apache Paimon dapat ditulis ke OSS-HDFS. Saat mengeksekusi pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk menulis data ke Apache Paimon, tabel Apache Paimon yang menggunakan mode bucket dinamis dapat dibuat.
Konektor: Masalah adanya perbedaan waktu saat data disinkronkan dari tabel sumber MySQL CDC ke Hologres diperbaiki dalam versi ini. Konektor Hologres mendukung tipe data TIMESTAMP_LTZ. Konektor MongoDB CDC mendukung pernyataan CREATE TABLE AS dan CREATE DATABASE AS. Kemampuan untuk menyinkronkan data dari semua tabel dalam database MongoDB ditingkatkan. Konektor MaxCompute memungkinkan Anda menggunakan MaxCompute Upsert Tunnel untuk menulis data ke tabel Transaction Table 2.0. Anda dapat menentukan kolom sebagai kunci routing untuk pengindeksan Elasticsearch waktu nyata. Saat menggunakan konektor Kafka untuk menulis data, nilai kosong dari kolom tidak ditulis sebagai nilai null ke string JSON, mengoptimalkan penggunaan penyimpanan Kafka. Selain itu, data Kafka dapat difilter berdasarkan header selama penulisan data untuk memfasilitasi distribusi data. Anda dapat menggunakan katalog Hive untuk menulis data Hive ke OSS-HDFS. Data dapat dibaca dari tabel sumber OceanBase dengan menggunakan konektor OceanBase CDC, membantu Anda membangun gudang data waktu nyata berbasis OceanBase.
Peningkatan SQL: Operator agregat baru WindowAggregate dari fungsi CUMULATE mendukung aliran pembaruan. Dalam versi VVR ini, fungsi jendela TUMBLE, HOP, CUMULATE, dan SESSION mendukung aliran pembaruan. Di Apache Flink 1.18 dan versi sebelumnya, fungsi jendela tidak mendukung agregasi jendela untuk aliran pembaruan.
Perbaikan Bug: Masalah berikut telah diperbaiki: Konfigurasi parameter shardWrite untuk tabel hasil ClickHouse tidak berlaku. Savepoint dari deployment tidak dapat dihasilkan dalam kasus ekstrem. Perbaikan bug ini meningkatkan stabilitas dan keandalan sistem.
Tabel berikut menjelaskan fitur utama dari versi ini. Rilis canary akan segera selesai di seluruh jaringan. Setelah rilis canary selesai, Anda dapat meningkatkan mesin yang digunakan oleh deployment Anda ke versi ini. Untuk informasi lebih lanjut, lihat Tingkatkan versi mesin deployment. Kami menantikan umpan balik Anda.
Fitur
Fitur | Deskripsi | Referensi |
Dukungan untuk tipe data TIMESTAMP_LTZ oleh konektor Hologres | Tipe data TIMESTAMP_LTZ didukung oleh konektor Hologres, memfasilitasi pemrosesan dan analisis data berbasis waktu serta meningkatkan akurasi data. | |
Peningkatan konektor MaxCompute |
| |
Kolom tertentu digunakan sebagai kunci routing untuk tabel hasil Elasticsearch | Anda diizinkan menentukan kolom sebagai kunci routing untuk membantu Anda menggunakan Elasticsearch lebih efisien. | |
Aliran pembaruan didukung oleh operator agregat baru WindowAggregation dari fungsi CUMULATE | Kemampuan agregasi jendela untuk aliran data CDC ditingkatkan. | |
Nilai kolom kosong tidak ditulis sebagai nilai null ke string JSON dengan menggunakan konektor Kafka dan penyaringan data berdasarkan header | Penggunaan penyimpanan Kafka dioptimalkan dan distribusi data ditingkatkan. | |
Pembacaan data dari tabel sumber menggunakan konektor OceanBase CDC | Gudang data waktu nyata bertingkat dapat dibangun berbasis OceanBase. | |
OSS-HDFS digunakan sebagai penyimpanan untuk data Hive berbasis katalog Hive | Setelah katalog Hive dikonfigurasi, Anda dapat menggunakan katalog Hive untuk menulis data Hive ke OSS-HDFS. Dengan cara ini, data Hive disimpan di OSS-HDFS, membantu Anda membangun gudang data Hive berbasis OSS-HDFS. | |
Pembuatan tabel non-Hive menggunakan katalog Hive berbasis DLF | Saat Data Lake Formation (DLF) digunakan sebagai pusat manajemen metadata untuk katalog Hive, Anda dapat menggunakan katalog Hive untuk membuat tabel non-Hive, membantu Anda mengelola berbagai jenis tabel. | |
Kemampuan yang ditingkatkan dari Apache Paimon |
| Tidak tersedia |
Pernyataan CREATE TABLE AS dan CREATE DATABASE AS didukung oleh konektor MongoDB CDC | Pernyataan CREATE TABLE AS atau CREATE DATABASE AS dapat dieksekusi untuk menyinkronkan data dan perubahan skema dari database MongoDB ke tabel hilir secara real-time menggunakan konektor MongoDB Change Data Capture (CDC). | |
Pembacaan penuh data secara bersamaan dari tabel sumber Postgres CDC | Data penuh dapat dibaca secara bersamaan dari tabel sumber Postgres CDC, mempercepat sinkronisasi data penuh. | |
Otentikasi yang ditingkatkan untuk akses ke bucket OSS | Setelah jalur sistem file ditentukan, informasi otentikasi Object Storage Service (OSS) bucket harus dikonfigurasi untuk memastikan bahwa data dapat dibaca dari atau ditulis ke jalur tertentu dari sistem file. | |
Tipe JSON didukung oleh konektor StarRocks | Data tipe JSON dapat ditulis ke StarRocks menggunakan konektor StarRocks untuk memenuhi persyaratan bisnis tertentu. | Tidak tersedia |
Nilai null ditulis sebagai string kosong ke log menggunakan konektor Layanan Log Sederhana | Konektor Layanan Log Sederhana dapat digunakan untuk menulis nilai null sebagai string kosong ke log, membantu Anda dengan mudah memproses bidang yang berisi nilai null. |
Perbaikan Bug
Masalah bahwa konfigurasi parameter shardWrite untuk tabel hasil ClickHouse tidak berlaku telah diperbaiki.
Masalah bahwa savepoint dari deployment tidak dapat dihasilkan dalam kasus ekstrem telah diperbaiki.
Semua masalah di Apache Flink 1.17.2 telah diperbaiki. Untuk informasi lebih lanjut, kunjungi Pengumuman Rilis Apache Flink 1.17.2.