Topik ini menjelaskan catatan rilis untuk Realtime Compute for Apache Flink dan menyediakan tautan ke referensi terkait. Catatan rilis mencakup pembaruan utama dan perbaikan bug dalam Realtime Compute for Apache Flink pada versi yang dirilis tanggal 20 Februari 2023.
Ikhtisar
Versi resmi baru dari Realtime Compute for Apache Flink dirilis pada 20 Februari 2023. Versi ini dikembangkan berdasarkan Ververica Runtime (VVR) 6.0.5 dari Apache Flink 1.15.3. Semua cacat dalam Apache Flink 1.15.3 telah diperbaiki dalam versi ini dari Realtime Compute for Apache Flink. Dalam versi ini, konektor StarRocks diluncurkan secara resmi untuk memfasilitasi pembacaan data dari tabel sumber dan penulisan data ke tabel hasil di database StarRocks.
Fitur
Fitur | Deskripsi | Referensi |
Pemetaan tipe data dalam pengambilan data real-time ke danau data dan gudang data menggunakan konektor Flink Change Data Capture (CDC) | Saat menggunakan pernyataan CREATE DATABASE AS atau CREATE TABLE AS untuk mengambil data ke danau data atau gudang data, tipe data kolom dalam tabel penyimpanan data hulu dan hilir dapat berbeda jika tipe datanya kompatibel. Hal ini membantu mencegah kesalahan yang tidak perlu. Penyimpanan data hilir hanya bisa Hologres. | |
Pencocokan ganda elemen tunggal dalam pola grup atau pola NO SKIP yang didukung oleh Flink SQL complex event processing (CEP) | Flink SQL CEP mendukung pola grup seperti A(B C)+ dan pola NO SKIP seperti A B{4,10}?. | |
Konfigurasi bucket dan konsumsi log dari titik pemeriksaan yang disimpan dalam kelompok konsumen tertentu menggunakan konektor Layanan Log | Konektor Layanan Log memungkinkan Anda menentukan jumlah bucket untuk Logstore yang berisi lebih dari 64 shard. Konektor ini juga dapat mengonsumsi log dari titik pemeriksaan yang disimpan dalam kelompok konsumen tertentu. | |
Konektor StarRocks | Konektor StarRocks dapat digunakan untuk tabel hasil dan tabel sumber. | Tidak tersedia |
Penambahan metadata, seperti op_ts, ke proses sinkronisasi selama eksekusi pernyataan CREATE TABLE AS | Saat pernyataan CREATE TABLE AS dieksekusi, metadata seperti op_ts dapat disinkronkan. |
Masalah yang diperbaiki
Masalah berikut telah diperbaiki: Setelah memodifikasi parameter dalam klausa WITH dari konektor Message Queue for Apache Kafka dalam suatu deployment, deployment tersebut mungkin gagal dimulai.
Masalah berikut telah diperbaiki: Saat Flink CDC menggunakan driver Java Database Connectivity (JDBC) untuk membaca data dari database dalam thread asinkron, penyebab kesalahan out of memory (OOM) tidak dapat ditampilkan.
Masalah bahwa pesan kesalahan
Program tabel tidak dapat dikompilasi.muncul karena kesalahan dalam Codegen telah diperbaiki.