Realtime Compute for Apache Flink：23 Oktober 2023

Fitur

Deskripsi

Referensi

Optimalisasi penyetelan otomatis

Strategi stabil didukung untuk membantu mengidentifikasi konfigurasi sumber daya optimal untuk keseluruhan waktu proses penyebaran. Sistem secara otomatis menyesuaikan konfigurasi sumber daya penyebaran hanya jika sistem menemukan opsi yang lebih baik untuk keseluruhan waktu proses penyebaran. Ini mencegah modifikasi yang tidak perlu karena lonjakan lalu lintas mendadak dan memungkinkan penyebaran berjalan dengan stabil dan mencapai keadaan konvergen.

Konfigurasikan penyetelan otomatis

Rencana penyetelan terjadwal

Beberapa rencana penyetelan terjadwal dapat dikonfigurasikan untuk penyebaran, dan rencana yang sedang digunakan dapat diubah tanpa perlu membatalkan penyebaran. Satu rencana penyetelan terjadwal dapat berisi beberapa strategi penyetelan terjadwal.

Konfigurasikan penyetelan otomatis

Data lineage dari penyebaran Flink SQL

Data lineage dari penyebaran Flink SQL dapat dilihat. Fitur ini memungkinkan Anda menemukan penyebaran yang menggunakan bidang tertentu dalam tabel dan mengidentifikasi hubungan tingkat bidang antara tabel sumber dan tabel hasil dalam penyebaran. Dengan cara ini, Anda dapat mengelola penyebaran dan aset data secara efisien.

Lihat data lineage

Pembaruan dinamis konfigurasi parameter

Konfigurasi parameter Parallelism dan parameter runtime tertentu dari penyebaran Flink dapat dimodifikasi secara dinamis tanpa perlu membatalkan penyebaran.

Perbarui konfigurasi parameter secara dinamis untuk penskalaan dinamis

Saran optimasi SQL

Saran optimasi dan risiko potensial dapat dilihat saat Anda melakukan pemeriksaan sintaks pada penyebaran SQL. Anda dapat mengoptimalkan pernyataan SQL berdasarkan informasi ini.

Kembangkan draf SQL

Pencarian berbasis label

Label dapat ditentukan saat Anda membuat penyebaran SQL, JAR, atau Python. Setelah Anda menentukan label untuk penyebaran, Anda dapat mencari semua penyebaran yang menggunakan kunci label atau nilai label yang sama di halaman Penyebaran di konsol pengembangan Realtime Compute for Apache Flink. Ini membantu Anda mengelola penyebaran secara efisien.

Buat penyebaran

Penyortiran dan penyaringan penyebaran yang ditingkatkan

Penyebaran dapat diurutkan berdasarkan skor kesehatan atau latensi dan disaring berdasarkan pengguna yang melakukan modifikasi. Fitur ini tersedia di halaman Penyebaran di konsol pengembangan Realtime Compute for Apache Flink.

Tidak tersedia

Dukungan login untuk peran RAM, anggota direktori sumber daya, dan Pengguna CloudSSO

Konsol manajemen dan pengembangan Realtime Compute for Apache Flink terintegrasi dengan mulus dengan sistem akun Alibaba Cloud. Anda dapat masuk ke konsol menggunakan akun Alibaba Cloud, pengguna RAM, peran RAM, anggota direktori sumber daya, atau Pengguna CloudSSO. Ini menyederhanakan manajemen identitas dan kontrol akses serta meningkatkan otorisasi dan manajemen sumber daya.

• Manajemen izin

• Otorisasi akun untuk melakukan operasi di namespace

• Otorisasi Akses ke Konsol Manajemen

Dukungan untuk tipe data kompleks MaxCompute dan Tunnel eksklusif MaxCompute

Data tipe JSON, ARRAY, MAP, dan STRUCT yang digunakan di MaxCompute dapat dibaca dan ditulis oleh konektor MaxCompute. Tunnel eksklusif dapat ditentukan untuk konektor MaxCompute untuk memfasilitasi koneksi antara MaxCompute dan Realtime Compute for Apache Flink.

Konektor MaxCompute

Kebijakan caching data baru di tabel dimensi ApsaraDB for Redis

Parameter cache dapat diatur ke ALL saat Anda menggunakan konektor ApsaraDB for Redis untuk membuat tabel dimensi. Ini meningkatkan kinerja.

Konektor ApsaraDB for Redis

Kompatibilitas yang ditingkatkan dengan ApsaraDB RDS for MySQL

Instans ApsaraDB RDS for MySQL yang memiliki enkripsi data transparan (TDE) diaktifkan didukung oleh katalog MySQL.

Tidak tersedia

Dukungan untuk titik akhir OSS-HDFS di katalog Data Lake Formation (DLF)

Parameter oss.endpoint dapat diatur ke titik akhir OSS-HDFS untuk katalog DLF.

• Hudi

• Kelola katalog DLF

Dukungan normalisasi tipe untuk perubahan skema saat tabel hasil dibuat menggunakan konektor StarRocks dalam pernyataan CREATE TABLE AS

Mode normalisasi tipe untuk perubahan skema didukung saat Anda menggunakan konektor StarRocks dalam pernyataan CREATE TABLE AS untuk menyinkronkan data ke tabel hasil. Setelah Anda mengaktifkan fitur ini, jika bidang di tabel sumber diubah menjadi tipe data yang memiliki panjang berbeda tetapi kompatibel dengan tipe data bidang yang sesuai di tabel hasil, sinkronisasi tidak terpengaruh.

Tidak tersedia

Kolom DATE sebagai kunci partisi di tabel hasil Hologres

Kolom dengan tipe data DATE dapat digunakan sebagai kunci partisi. Tabel partisi dibuat secara otomatis.

Hologres

Dukungan untuk ApsaraMQ for RocketMQ 5.x

Konektor ApsaraMQ for RocketMQ dapat digunakan untuk membaca data dari dan menulis data ke tabel ApsaraMQ for RocketMQ 5.x.

ApsaraMQ for RocketMQ konektor

miniBatch yang ditingkatkan dan kinerja join

Fitur miniBatch dan kinerja operasi join dioptimalkan. Jika Anda melakukan operasi join dalam skenario Change Data Capture (CDC) atau setelah operasi seperti deduplikasi dan agregasi, throughput dapat meningkat hingga 130%.

Tidak tersedia