Realtime Compute for Apache Flink:Versi 2023-04-13

Fitur

Detail

Referensi

Dukungan data lake streaming Apache Paimon

Sebagai fitur pratinjau, engine mendukung pembacaan dari dan penulisan ke Paimon pada Alibaba Cloud Object Storage Service (OSS).

Paimon

Dukungan Catalog Apache Paimon

Gunakan Catalog Apache Paimon bawaan untuk membangun solusi data lake real-time dengan Flink SQL.

Manage Paimon Catalog

Dukungan penulisan streaming OSS-HDFS

Tulis data streaming langsung ke OSS-HDFS untuk memperluas pilihan penyimpanan data.

Object Storage Service (OSS)

Pembaruan metrik pemantauan

• Perubahan metrik CPU

  • Tambahkan metrik JM CPU Usage.

  • Hapus metrik TM CPU Load dan JM CPU Load.

    Catatan

    CPU Load tidak mencerminkan penggunaan CPU. CPU Usage akan menjadi satu-satunya metrik pemantauan untuk pemanfaatan CPU.

• Perubahan metrik konektor

  • Tambahkan metrik numRecordsOut dan numRecordsOutPerSecond ke konektor Elasticsearch untuk meningkatkan observabilitas.

  • Tambahkan metrik Enumerator ke konektor MySQL CDC.

• Elasticsearch

• View monitoring metrics

• Enable or disable monitoring metrics

Dukungan tabel sink Tair

Tambahkan Tair sebagai opsi tabel sink untuk memperluas pilihan penyimpanan data.

-

Peningkatan EXPLAIN Stream SQL

Tambahkan mode plan_advice untuk memberikan saran optimasi yang lebih rinci.

None

Optimasi CEP Dinamis

Dukung ekspresi Groovy untuk kondisi. Optimalkan implementasi NFA dan SharedBuffer. Kurangi pembuatan timer dan tingkatkan kinerja.

JSON format definition of rules in dynamic CEP

Dukungan Flink ML

Sebagai fitur pratinjau, engine mendukung Flink ML untuk menyederhanakan pembelajaran mesin real-time.

-

Optimasi alur kerja pengembangan pekerjaan

Optimalkan halaman pengembangan pekerjaan menjadi halaman pengembangan SQL. Halaman ini menyediakan platform pengembangan SQL khusus:

• Tambahkan isolasi deployment untuk mencegah pengembangan SQL memengaruhi pekerjaan produksi. Pekerjaan Jar dan Python secara alami terisolasi dari produksi. Mereka tidak menggunakan UDF, konektor, atau katalog dari SQL, sehingga tidak memerlukan isolasi deployment.

• Optimalkan pembuatan pekerjaan Jar dan Python. Halaman pengembangan SQL tidak lagi mendukung pembuatan pekerjaan Jar dan Python. Deploy langsung dari halaman O&M pekerjaan. Draf pekerjaan Jar dan Python yang dibuat sebelumnya di antarmuka pengembangan tetap tersedia di arsip pekerjaan.

Job Development

Optimasi deployment pekerjaan Jar dan Python

Optimalkan alur pembuatan. Deploy pekerjaan Jar dan Python langsung dari halaman O&M pekerjaan.

• Deploy JAR Jobs

• Deploy Python Jobs (merged into Deploy Jobs; international site English localization pending before deprecation and relocation)

Mengoptimalkan alur kerja inisiasi pekerjaan

Pindahkan konfigurasi resource dan Flink Conf ke halaman detail deployment. Sesuaikan resource tanpa menghentikan pekerjaan. Saat startup, atur hanya Offset awal.

Start a Job

Halaman metadata baru

Komunitas Flink tidak menganjurkan penggunaan tabel temporary. Gunakan katalog sebagai gantinya untuk membuat pekerjaan SQL dan hindari pernyataan DDL berulang. Versi ini meningkatkan kemampuan metadata. Gunakan metadata lebih sering dalam pekerjaan SQL untuk menyederhanakan manajemen.

None

Optimasi alur kerja debugging pekerjaan SQL

Optimalkan debugging pekerjaan SQL. Anda tidak perlu lagi mengonfigurasi kluster sesi debug. Sebagai gantinya, pilih kluster sesi saat debugging. Ini menghindari pergantian kluster yang sering ketika terdapat beberapa versi pekerjaan.

Debug a Job

Halaman keamanan baru

Gabungkan otorisasi pengguna dan hosting kunci (sebelumnya substitusi variabel) ke dalam satu halaman keamanan. Konfigurasikan semua pengaturan keamanan platform di sini.

Manage Variables

Halaman konektor baru

Tampilkan pekerjaan konektor di halaman khusus. Lihat jenis dan versi konektor yang didukung per engine. Kelola konektor kustom.

Manage Custom Connectors

Alert kegagalan pekerjaan

dengan alert telepon dan pencarian kontak

Tingkatkan Pemantauan Peringatan:

• Konfigurasikan alert telepon. Cari kontak.

• Alert untuk pekerjaan yang gagal kini didukung.

Configure Monitoring and Alerts

Login akun berbasis role

Login ke Konsol Flink menggunakan akun berbasis role. Akun role tidak dapat diberikan izin. Mereka menggunakan izin Pemilik secara default.

-

Pengujian konektivitas jaringan

Uji konektivitas jaringan antara lingkungan pekerjaan Flink Anda dan sistem hulu atau hilir dengan memasukkan alamat IP atau Nama domain.

None

Dukungan katalog kustom

Daftarkan metadata melalui katalog. Hindari pernyataan DDL berulang untuk membuat tabel temporary saat membangun pekerjaan SQL. Konsol pengembangan Realtime Compute mencakup katalog bawaan. Anda juga dapat mendaftarkan dan menggunakan JAR katalog kustom.

-

Diagnostik cerdas yang ditingkatkan

Analisis log error dari pengembangan dan waktu proses pekerjaan. Saat melihat log, sistem secara otomatis menganalisis konten dan memberikan langkah-langkah tindakan.

Diagnostik Job Cerdas

Peningkatan client konektor SLS

Tingkatkan kinerja dan stabilitas konektor SLS.

None

Ekstensi CEP SQL

CEP SQL mendukung deklarasi kontinuitas loop dengan sintaksis UNTIL.

None