Realtime Compute for Apache Flink merilis versi VVR 6.0.7 pada 21 Juni 2023, mencakup pembaruan platform, pembaruan konektor, dan perbaikan bug.
Versi ini sedang diluncurkan sebagai rilis canary dan akan tersedia di seluruh jaringan dalam waktu dua minggu. Jika fitur baru belum terlihat di Konsol, platform Anda masih menggunakan versi sebelumnya. Untuk meminta peningkatan lebih awal, submit a ticket. Untuk jadwal peningkatan terbaru, periksa pengumuman di sisi kanan halaman beranda Konsol Realtime Compute for Apache Flink.
Ikhtisar
Ververica Runtime (VVR) 6.0.7 didasarkan pada Apache Flink 1.15.4.
Fitur unggulan:
-
Dukungan katalog: Katalog MaxCompute dan katalog Log Service kini secara resmi didukung, memungkinkan Anda mendefinisikan tabel permanen tanpa perlu menulis pernyataan DDL untuk setiap penerapan SQL.
-
Apache Paimon 0.4.0 (pratinjau undangan): Ingesti data real-time ke data lake melalui Flink Change Data Capture (CDC), evolusi skema, serta peningkatan urutan baca/tulis streaming.
-
Peningkatan konektor MySQL: Kemampuan tabel hasil dan tabel dimensi ditingkatkan, serta mendukung tabel sumber CDC tanpa primary key.
-
Peningkatan peringatan: Sakelar No Data Warning dan Alarm Noise Reduction baru untuk peringatan yang lebih dapat ditindaklanjuti.
-
VVR 4.0.18 dirilis: Pembaruan rekomendasi terakhir untuk pengguna VVR 4.X.
Setelah rilis canary selesai, versi engine baru akan muncul dalam daftar drop-down Engine Version pada panel Configurations draft Anda.
Catatan peningkatan
Perubahan berikut memerlukan tindakan sebelum atau setelah peningkatan.
Migrasi konektor MySQL
Konektor MySQL kini mencakup semua kemampuan konektor ApsaraDB RDS for MySQL untuk tabel hasil dan tabel dimensi. Mulailah migrasi penerapan Anda dari konektor ApsaraDB RDS for MySQL ke konektor MySQL. Untuk panduan, lihat MySQL connector.
Akhir pembaruan rekomendasi VVR 4.X
VVR 4.0.18 adalah versi terakhir yang direkomendasikan untuk VVR 4.X. Jika penerapan Anda masih menggunakan VVR 4.X, lakukan peningkatan ke versi engine Stable atau Recommend. Versi engine kini diklasifikasikan sebagai Recommend, Stable, Normal, atau Deprecated dalam daftar drop-down Engine Version.
Fitur baru
Platform
| Fitur | Perubahan | Referensi |
|---|---|---|
| Audit logs | Realtime Compute for Apache Flink kini terhubung ke ActionTrail. Lihat catatan operasi pengguna langsung dari Konsol ActionTrail. | View resource operation events by using ActionTrail |
| Akses ke kluster Hive dengan otentikasi Kerberos | Penerapan JAR dan Python kini dapat menulis data ke kluster Hive yang menggunakan otentikasi Kerberos. | Register a Hive cluster that supports Kerberos authentication, Create a deployment |
| Klasifikasi versi engine | Versi engine dalam daftar drop-down Engine Version kini dikelompokkan menjadi empat kategori: Recommend, Stable, Normal, dan Deprecated. | Develop an SQL draft, Create a deployment |
| Diagnostik penerapan cerdas | Tab Diagnosis ditambahkan ke halaman Deployments, menggantikan kotak dialog sebelumnya. Skor kesehatan dan diagnostik kini terlihat dalam satu tampilan. | Perform intelligent deployment diagnostics |
| Kolom Modifier | Kolom Modifier ditambahkan ke halaman Deployments, menampilkan siapa yang terakhir memodifikasi setiap penerapan. | — |
| Peningkatan peringatan | Dua sakelar baru ditambahkan ke aturan peringatan: No Data Warning mendeteksi exception sumber data lebih awal; Alarm Noise Reduction menekan peringatan berulang dan tidak valid. | Configure alert rules |
| API manajemen anggota | API manajemen anggota kini tersedia untuk alur kerja otorisasi otomatis. | — |
| Peningkatan pengalaman halaman | Halaman Deployments mendukung tata letak dan penyaringan yang dapat disesuaikan. Gaya UI dan tata letak halaman tertentu diperbarui, serta bagian seperti bagian log diperluas. | — |
Katalog
| Fitur | Perubahan | Referensi |
|---|---|---|
| Katalog MaxCompute | Katalog MaxCompute kini secara resmi didukung. Daftarkan metadata sekali menggunakan katalog MaxCompute, dan buat penerapan SQL tanpa menulis pernyataan DDL untuk setiap tabel sumber MaxCompute. | Manage MaxCompute catalogs |
| Katalog Log Service | Katalog Log Service kini secara resmi didukung. Daftarkan metadata sekali, dan lewati pernyataan DDL berulang saat membuat tabel sumber Log Service dalam penerapan SQL. | Manage Log Service catalogs |
| DLF sebagai pusat manajemen metadata katalog Hive | Pada Hive 3.X, Data Lake Formation (DLF) kini dapat berfungsi sebagai pusat manajemen metadata untuk katalog Hive. | Manage Hive catalogs |
| Katalog Apache Paimon | Konektor Apache Paimon ditingkatkan ke Apache Paimon 0.4.0 (pratinjau undangan). Gunakan katalog Apache Paimon untuk mengingesti data ke Apache Paimon secara real-time melalui pernyataan CREATE TABLE AS dan CREATE DATABASE AS. Evolusi skema, pembersihan snapshot, penghapusan partisi otomatis, dan format file Parquet didukung. Urutan baca/tulis streaming serta kinerja keseluruhan juga ditingkatkan. | CREATE TABLE AS statement, Manage Apache Paimon catalogs |
Konektor
| Fitur | Perubahan | Referensi |
|---|---|---|
| Peningkatan konektor MySQL | Kemampuan tabel hasil dan tabel dimensi ditingkatkan. Lihat Catatan peningkatan untuk panduan migrasi. | MySQL connector |
| Tabel sumber MySQL CDC tanpa primary key | Tabel sumber MySQL CDC tanpa primary key kini dapat digunakan untuk pembacaan inkremental, memperluas dukungan untuk lebih banyak jenis tabel MySQL. | — |
| Konektor Tair: waktu kedaluwarsa dan pengaturan increment | Konektor Tair untuk tabel hasil mendukung penentuan waktu kedaluwarsa dan konfigurasi pengaturan increment. | Tair connector |
| Konektor MaxCompute: kelompok sumber daya Exclusive Tunnel | Konektor MaxCompute kini mendukung kelompok sumber daya Exclusive Tunnel, sehingga transfer data menjadi lebih stabil dan efisien. | MaxCompute connector |
| Konektor DataHub: kinerja tabel sumber | Dalam skenario tertentu, kinerja tabel sumber konektor DataHub meningkat sekitar 290%. | — |
| Konektor Tablestore: data deret waktu | Konektor Tablestore kini mendukung penulisan data deret waktu menggunakan model deret waktu Tablestore. | — |
| Peningkatan konektor Hudi | Konektor Hudi ditingkatkan ke Apache Hudi 0.13.1. | — |
Isu yang diperbaiki
-
Memperbaiki overflow memori yang terjadi saat menggunakan konektor MySQL dengan pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk mengonsumsi data tabel sumber MySQL CDC.
-
Memperbaiki null pointer exception yang terjadi saat menggunakan konektor Hologres untuk tabel dimensi.
-
Memperbaiki overflow memori yang terjadi saat menggunakan konektor Hologres untuk tabel sumber.