Topik ini menjelaskan catatan rilis untuk Realtime Compute for Apache Flink dan menyediakan tautan ke referensi terkait. Catatan rilis mencakup pembaruan utama serta perbaikan bug di Realtime Compute for Apache Flink dalam versi yang dirilis pada 21 Juni 2023.
Rilis canary telah dimulai untuk versi ini dan akan selesai dalam dua minggu. Jika Anda tidak dapat menemukan fitur baru di Konsol Realtime Compute for Apache Flink, versi baru belum tersedia untuk platform Anda. Untuk mempercepat peningkatan platform Anda, ajukan Tiket. Informasi lebih lanjut tentang rencana peningkatan dapat ditemukan di pengumuman terbaru di sisi kanan halaman beranda Konsol Realtime Compute for Apache Flink.
Ikhtisar
Versi resmi baru dari Realtime Compute for Apache Flink dirilis pada 21 Juni 2023. Versi ini mencakup pembaruan platform, pembaruan mesin, pembaruan konektor, optimasi performa, dan perbaikan bug.
Ververica Runtime (VVR) 6.0.7 dirilis, berbasis Apache Flink 1.15.4. Versi ini mendukung katalog MaxCompute dan Log Service secara resmi. Anda dapat mendefinisikan tabel permanen menggunakan katalog tersebut. Apache Paimon sedang dalam pratinjau undangan dengan pembaruan ke versi 0.4.0, termasuk ingest data ke data lake menggunakan konektor Flink Change Data Capture (CDC) dan evolusi skema melalui pernyataan CREATE TABLE AS dan CREATE DATABASE AS. Urutan operasi baca-tulis data streaming ditingkatkan, fleksibilitas konsumsi data dan performa baca-tulis dioptimalkan. Fitur kontrol data seperti pembersihan snapshot dan penghapusan partisi otomatis juga diperbaiki. Format file Parquet didukung. VVR 4.0.18 dirilis sebagai versi terakhir yang direkomendasikan untuk pembaruan VVR 4.X.
Beberapa fitur umum di platform dioptimalkan, seperti log audit, akses ke kluster Hive yang mendukung autentikasi Kerberos, serta pemantauan dan peringatan. Tampilan halaman tertentu dan pengalaman pengguna di halaman tersebut dioptimalkan.
Rilis canary akan selesai dalam dua minggu di seluruh jaringan. Setelah itu, kemampuan platform ditingkatkan dan Anda dapat melihat versi mesin baru di daftar drop-down Engine Version di draft Anda. Anda dapat meningkatkan mesin yang digunakan oleh draft Anda ke versi baru. Kami menantikan masukan Anda.
Fitur
Fitur | Deskripsi | Referensi |
Eksekusi pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk ingest data real-time ke Apache Paimon menggunakan katalog Apache Paimon | Katalog Apache Paimon dapat digunakan untuk mengingest data ke Apache Paimon secara real-time. | |
Peningkatan konektor MySQL untuk tabel hasil dan tabel dimensi | Kemampuan konektor MySQL yang digunakan untuk tabel hasil dan tabel dimensi ditingkatkan. Mulai versi ini, kami merekomendasikan migrasi bertahap dari konektor ApsaraDB RDS for MySQL ke konektor MySQL. | |
Tabel sumber MySQL CDC tanpa kunci primer untuk pembacaan tambahan | Tabel sumber MySQL CDC tanpa kunci primer dapat digunakan untuk pembacaan tambahan, memungkinkan lebih banyak jenis tabel MySQL digunakan sebagai tabel sumber CDC. | |
Pengaturan waktu kedaluwarsa dan penambahan yang didukung oleh konektor Tair untuk tabel hasil | Konektor Tair yang digunakan untuk tabel hasil memungkinkan Anda menentukan waktu kedaluwarsa data di tabel hasil Tair dan mengonfigurasi pengaturan penambahan. | |
Akses ke kluster Hive yang mendukung autentikasi Kerberos | Data penyebaran Flink JAR atau Flink Python dapat ditulis ke kluster Hive yang mendukung autentikasi Kerberos. | |
Log audit | Realtime Compute for Apache Flink terhubung ke layanan ActionTrail. Dengan cara ini, di Konsol ActionTrail, Anda dapat melihat catatan operasi pengguna di Realtime Compute for Apache Flink. | |
Optimasi tampilan untuk informasi diagnostik penyebaran cerdas | Tab Diagnosis ditambahkan ke halaman Penyebaran untuk menampilkan lebih banyak informasi diagnosis. Kotak dialog tentang diagnostik penyebaran cerdas tidak lagi digunakan. Skor kesehatan dan diagnosis penyebaran membantu Anda mempelajari status penyebaran dengan lebih mudah. | |
Penambahan kolom Modifier | Kolom Modifier ditambahkan ke halaman Penyebaran untuk membantu Anda mempelajari informasi operasi penyebaran. | Tidak ada |
Klasifikasi versi mesin | Semua versi mesin di daftar drop-down Engine Version di panel Configurations diklasifikasikan menjadi empat jenis: Rekomendasi, Stabil, Normal, dan Usang. Kami merekomendasikan agar Anda meningkatkan mesin Anda ke versi stabil atau versi yang direkomendasikan. | |
API manajemen anggota | API manajemen anggota tersedia untuk menyelesaikan otorisasi otomatis. | Tidak ada |
Optimasi pengalaman terkait halaman |
| Tidak ada |
Kemampuan peringatan yang ditingkatkan |
| |
Peningkatan konektor Hudi | Konektor Hudi ditingkatkan ke Apache Hudi 0.13.1. | Tidak ada |
Peningkatan konektor Apache Paimon | Konektor Apache Paimon ditingkatkan ke Apache Paimon 0.4.0. | |
Grup sumber daya Exclusive Tunnel yang didukung oleh konektor MaxCompute | Grup sumber daya Exclusive Tunnel dari MaxCompute didukung oleh konektor MaxCompute untuk membuat transfer data lebih stabil dan efisien. | |
Optimasi performa konektor DataHub untuk tabel sumber | Dalam skenario tertentu, performa konektor DataHub yang digunakan untuk tabel sumber meningkat sekitar 290%. | Tidak ada |
Penulisan data deret waktu menggunakan konektor Tablestore | Model deret waktu Tablestore dirancang berdasarkan karakteristik data deret waktu. Anda dapat menggunakan konektor Tablestore untuk menulis data deret waktu ke Tablestore. | Tidak ada |
Dukungan untuk DLF sebagai pusat manajemen metadata katalog Hive di Hive 3.X | Di Hive 3.X, Data Lake Formation (DLF) dapat digunakan sebagai pusat manajemen metadata katalog Hive. | |
Katalog Layanan Log | Katalog Layanan Log didukung. Setelah Anda mendaftarkan metadata menggunakan katalog Layanan Log, Anda tidak perlu sering menggunakan pernyataan DDL untuk membuat tabel sumber Layanan Log saat membuat penyebaran SQL. | |
Katalog MaxCompute | Katalog MaxCompute didukung. Setelah Anda mendaftarkan metadata menggunakan katalog MaxCompute, Anda tidak perlu sering mengeksekusi pernyataan DDL untuk membuat tabel sumber MaxCompute saat membuat penyebaran SQL. |
Masalah yang Diperbaiki
Masalah berikut telah diperbaiki: Overflow memori terjadi ketika konektor MySQL digunakan dengan pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk mengonsumsi data dari tabel sumber MySQL CDC.
Masalah pengecualian pointer null yang terjadi ketika konektor Hologres digunakan untuk tabel dimensi telah diperbaiki.
Masalah overflow memori yang terjadi ketika konektor Hologres digunakan untuk tabel sumber telah diperbaiki.