Ververica Runtime (VVR) 4.0.13, berbasis Apache Flink V1.13, dirilis pada 16 Mei 2022. Rilis ini memperluas kemampuan konektor—meliputi katalog Kafka, sinkronisasi penuh+inkremental Hologres, dan MaxCompute Streaming Tunnel—meningkatkan sinkronisasi multi-tabel dari database terbagi (sharded), serta menyempurnakan pengalaman pengembang di konsol.
Fitur baru
Ringkasan
| Feature | Category |
|---|---|
| Dukungan katalog Kafka | Konektor baru |
| Sinkronisasi multi-tabel dari database terbagi melalui CREATE DATABASE AS | Peningkatan SQL |
| Konektor Hologres: konsumsi data penuh dan inkremental | Peningkatan konektor |
| Tabel hasil ApsaraDB for Redis: TTL untuk kunci | Peningkatan konektor |
| MaxCompute Streaming Tunnel dan kompresi data | Peningkatan konektor |
| Konektor DataStream Hologres | Konektor baru |
Konektor Elasticsearch: parameter retry_on_conflict | Peningkatan konektor |
| Kompatibilitas Flink CDC 2.2 untuk konektor MySQL CDC dan Postgres CDC | Peningkatan konektor |
| Event heartbeat untuk pelacakan posisi log biner | Peningkatan konektor |
| Tipe data UNSIGNED FLOAT, DOUBLE, dan DECIMAL untuk konektor MySQL CDC | Peningkatan konektor |
| Parameter JDBC untuk konektor MySQL CDC | Peningkatan konektor |
| Penghentian paksa kluster session | Konsol |
| Analisis cerdas terhadap exception JobManager | Konsol |
| Dokumentasi Alibaba Cloud bawaan | Konsol |
| Pemberitahuan layanan | Konsol |
| Optimalisasi UI | Konsol |
Dukungan katalog Kafka
Katalog Kafka secara otomatis mengurai pesan Kafka untuk menginferensi skema tabel, sehingga Anda dapat mengakses topik di kluster Kafka langsung dalam Flink SQL tanpa menulis pernyataan DDL. Pesan berformat JSON didukung untuk inferensi skema.
Apa artinya bagi Anda: Menghilangkan kebutuhan untuk mendefinisikan secara manual tabel sumber atau tabel hasil untuk topik Kafka, mengurangi boilerplate dan risiko ketidaksesuaian skema.
Referensi: Kelola katalog Kafka JSON
Sinkronisasi multi-tabel dari database terbagi melalui CREATE DATABASE AS
Pernyataan CREATE DATABASE AS kini mendukung ekspresi reguler untuk nama database, mencocokkan tabel sumber di berbagai shard database. Setelah data shard digabungkan, Realtime Compute for Apache Flink menyinkronkannya ke tabel tujuan hilir yang namanya sesuai dengan masing-masing tabel sumber—menghilangkan konfigurasi manual per tabel.
Apa artinya bagi Anda: Secara signifikan mengurangi upaya penyiapan saat menyinkronkan data dari database terbagi berskala besar ke satu tujuan seperti Hologres.
Referensi: Pernyataan CREATE DATABASE AS
Konektor Hologres: konsumsi data penuh dan inkremental
Konektor Hologres kini mendukung mode sinkronisasi gabungan penuh-kemudian-inkremental dalam satu pekerjaan. Pekerjaan pertama kali melakukan snapshot data penuh dari tabel sumber Hologres, lalu beralih lancar ke konsumsi log biner inkremental.
Apa artinya bagi Anda: Menyederhanakan pembuatan pipeline gudang data real-time. Sebelumnya, sinkronisasi penuh dan inkremental memerlukan pekerjaan terpisah atau pergantian manual.
Referensi: Buat tabel sumber Hologres
Tabel hasil ApsaraDB for Redis: TTL untuk kunci
Saat menulis ke tabel hasil ApsaraDB for Redis, Anda dapat mengonfigurasi masa hidup data (TTL) untuk kunci secara langsung melalui parameter konektor. Hal ini memastikan data kedaluwarsa secara otomatis sesuai kebijakan retensi Anda.
Referensi: Buat tabel hasil ApsaraDB for Redis
MaxCompute Streaming Tunnel dan kompresi data
Dua peningkatan tersedia untuk konektor MaxCompute:
-
Streaming Tunnel: Menulis data ke MaxCompute dalam mode streaming. Untuk pekerjaan yang tidak memerlukan semantik tepat-sekali, Streaming Tunnel menghindari masalah performa yang terjadi saat checkpoint dibuat dengan kecepatan rendah.
-
Kompresi data: Baik Streaming Tunnel maupun Batch Tunnel kini mendukung kompresi data untuk meningkatkan efisiensi transmisi.
Referensi:
Konektor DataStream Hologres
Konektor DataStream Hologres kini didukung.
Konektor Elasticsearch: parameter retry_on_conflict
Anda dapat mengonfigurasi parameter retry_on_conflict untuk menentukan jumlah maksimum percobaan ulang saat terjadi konflik versi selama pembaruan data ke tabel hasil Elasticsearch.
Referensi: Buat tabel hasil Elasticsearch
Kompatibilitas Flink CDC 2.2 untuk konektor MySQL CDC dan Postgres CDC
Konektor MySQL Change Data Capture (CDC) dan konektor Postgres CDC kini sepenuhnya kompatibel dengan Flink CDC 2.2. Semua perbaikan bug dari rilis Flink CDC 2.2 telah disertakan.
Event heartbeat untuk pelacakan posisi log biner
Konektor MySQL CDC kini menggunakan event heartbeat untuk melacak posisi file log biner terbaru yang dibaca dari sumber. Untuk tabel yang jarang diperbarui, konektor memajukan posisi log biner berdasarkan event heartbeat alih-alih menunggu event pembaruan—mencegah posisi log biner kedaluwarsa saat volume tulis tabel rendah.
Referensi: Buat tabel sumber MySQL CDC
Tipe data UNSIGNED FLOAT, DOUBLE, dan DECIMAL untuk konektor MySQL CDC
Tipe data UNSIGNED FLOAT, DOUBLE, dan DECIMAL kini didukung oleh konektor MySQL CDC dan katalog MySQL.
Referensi: Buat tabel sumber MySQL CDC
Parameter JDBC untuk konektor MySQL CDC
Parameter Java Database Connectivity (JDBC) kini dapat dikonfigurasi langsung pada konektor MySQL CDC untuk mengontrol cara koneksi ke instans MySQL.
Referensi: Buat tabel sumber MySQL CDC
Penghentian paksa kluster session
Kluster session kini dapat dihentikan secara paksa dari konsol. Karena kluster session berbagi sumber daya antar pekerjaan, kluster session yang tidak normal dapat memengaruhi semua pekerjaan yang berjalan di dalamnya.
Jangan menjalankan pekerjaan produksi di kluster session. Jika pekerjaan gagal karena exception kluster session, hentikan paksa kluster session tersebut untuk memulihkan.
Referensi: Konfigurasikan lingkungan pengembangan dan pengujian (kluster session)
Analisis cerdas terhadap exception JobManager
Saat pekerjaan gagal, JobManager mencatat exception Pengelola Tugas (TaskManager) ke dalam log, yang dapat Anda lihat di tab Logs di konsol pengembangan Realtime Compute for Apache Flink. Waktu penyimpanan log exception telah diperpanjang dan log kini diklasifikasikan berdasarkan jenis—mempercepat identifikasi akar penyebab sebenarnya saat pekerjaan gagal secara berulang.
Referensi: Lihat log exception suatu penerapan
Dokumentasi Alibaba Cloud bawaan
Dokumentasi dari Alibaba Cloud Documentation Center kini dapat diakses langsung di dalam konsol Flink yang sepenuhnya dikelola, menghilangkan kebutuhan untuk beralih jendela browser selama pengembangan dan operasi & pemeliharaan (O&M) pekerjaan.
Pemberitahuan layanan
Pemberitahuan layanan—termasuk pembaruan produk dan pengumuman maintenance—kini ditampilkan di konsol Realtime Compute for Apache Flink. Hal ini menghindari masalah gagal terkirimnya pemberitahuan kepada pengguna melalui SMS, pesan internal, atau grup DingTalk.
Optimalisasi UI
-
Gaya tema Alibaba Cloud baru diterapkan di seluruh konsol.
-
Deskripsi status pekerjaan diperbarui agar lebih jelas.
Referensi:
Optimalisasi performa
Tidak ada optimalisasi performa dalam rilis ini.
Masalah yang diperbaiki
Konektor Log Service: daftar shard tidak diperbarui setelah jumlah shard berubah
Sebelumnya, jika jumlah shard berubah, konektor Log Service gagal memperoleh daftar shard terbaru, menyebabkan pembacaan data berhenti. Masalah ini kini telah diperbaiki.
Error optimasi agregasi: `[J cannot be cast to [Ljava.lang.Object;`
Sebelumnya, fitur optimasi agregasi seperti miniBatch memicu error [J cannot be cast to [Ljava.lang.Object; dalam kasus tertentu. Masalah ini kini telah diperbaiki.
Tabel hasil ApsaraDB for HBase: data tidak terurut saat penulisan asinkron
Sebelumnya, data yang ditulis ke tabel hasil ApsaraDB for HBase menjadi tidak terurut saat pemrosesan asinkron diaktifkan. Masalah ini kini telah diperbaiki.
Pointer null dalam operasi join dua aliran
Sebelumnya, operasi join antara dua aliran data dapat memicu exception pointer null. Masalah ini kini telah diperbaiki.
Kegagalan checkpoint saat menggunakan konektor MySQL CDC dengan Apache Hudi
Sebelumnya, checkpoint secara konsisten gagal saat pekerjaan menggunakan konektor MySQL CDC untuk menulis data ke Apache Hudi. Masalah ini kini telah diperbaiki.
Metrik pendingRecords untuk tabel sumber Message Queue for Apache Kafka
Logika komputasi yang digunakan untuk melaporkan metrik pendingRecords untuk tabel sumber Message Queue for Apache Kafka telah dioptimalkan.
Nama anggota tidak ditampilkan di konsol pengembangan
Sebelumnya, nama anggota tertentu tidak ditampilkan di konsol pengembangan Realtime Compute for Apache Flink. Masalah ini kini telah diperbaiki.
Error validasi sintaks DDL untuk pernyataan yang valid
Sebelumnya, pernyataan DDL tertentu yang valid memicu error selama validasi sintaks. Masalah ini kini telah diperbaiki.