Realtime Compute for Apache Flink：13 April 2023

Fitur

Deskripsi

Referensi

Apache Paimon danau data streaming

Apache Paimon danau data streaming sedang dalam pratinjau undangan. Realtime Compute for Apache Flink mendukung pembacaan data dari dan penulisan data ke Apache Paimon berdasarkan Alibaba Cloud Object Storage Service (OSS).

Konektor Apache Paimon

Katalog Apache Paimon

Katalog Apache Paimon bawaan dapat digunakan bersama dengan Flink SQL untuk mengembangkan solusi danau data real-time berbasis Flink.

Kelola Katalog Apache Paimon

Penulisan data ke OSS-HDFS dalam mode streaming

Data dapat ditulis ke OSS-HDFS dalam mode streaming. Ini memungkinkan Anda menggunakan beberapa jenis penyimpanan data.

Konektor OSS

Penyesuaian metrik

• Metrik CPU

  • Metrik JM CPU Usage ditambahkan.

  • Metrik TM CPU Load dan JM CPU Load dihapus.

    Catatan

    Metrik TM CPU Load dan JM CPU Load tidak dapat mencerminkan pemanfaatan CPU. Hanya metrik JM CPU Usage dan TM CPU Usage yang digunakan untuk memantau pemanfaatan CPU.

• Metrik konektor

  • Metrik numRecordsOut dan numRecordsOutPersecond ditambahkan untuk konektor Elasticsearch untuk meningkatkan observabilitas operasional.

  • Metrik Enumerator ditambahkan untuk konektor MySQL Change Data Capture (CDC).

• Elasticsearch

• Lihat metrik

• Buang atau pulihkan metrik

Tabel hasil Tair

Tabel hasil Tair didukung. Ini memungkinkan Anda menggunakan beberapa jenis penyimpanan data.

-

Peningkatan pernyataan EXPLAIN dalam SQL streaming

Pernyataan EXPLAIN PLAN_ADVICE didukung untuk memberikan saran optimasi yang lebih rinci.

Tidak ada

Optimasi pemrosesan event kompleks dinamis Flink (CEP)

Kondisi berdasarkan ekspresi Groovy didukung. Implementasi otomata finit nondeterministik (NFA) dan SharedBuffer dioptimalkan untuk mengurangi jumlah pembuatan timer dan meningkatkan kinerja.

Definisi aturan dalam format JSON dalam CEP Flink dinamis

Flink machine learning (ML)

Flink ML yang didukung oleh mesin sedang dalam pratinjau undangan dan menyediakan fitur pembelajaran mesin real-time.

-

Optimasi proses pengembangan draf

Halaman Draft Editor diubah menjadi halaman SQL Editor untuk menyediakan platform pengembangan SQL, yang mengoptimalkan proses pengembangan draf dalam aspek berikut:

• Menyediakan mekanisme isolasi antara draf dan penerapan untuk mencegah penerapan online terpengaruh oleh pengembangan SQL. Pengembangan draf JAR dan Python secara alami terisolasi dari penerapan JAR dan Python online. Pengembangan draf JAR dan Python tidak memerlukan komponen SQL, seperti fungsi yang ditentukan pengguna (UDF), konektor, dan katalog. Oleh karena itu, mekanisme isolasi tidak diperlukan untuk draf JAR dan Python.

• Mengoptimalkan proses pembuatan penerapan JAR dan Python. Penerapan JAR dan Python tidak lagi dapat dibuat di halaman SQL Editor. Anda dapat langsung membuat penerapan JAR dan Python di halaman Deployments. Anda dapat menemukan draf JAR dan Python yang dibuat di halaman Draft Editor di arsip draf.

Kembangkan draf SQL

Optimasi proses pembuatan penerapan JAR dan Python

Proses pembuatan penerapan JAR dan Python dioptimalkan. Anda dapat mengklik Buat Penerapan di halaman Deployments untuk membuat penerapan JAR atau Python.

• Buat penerapan JAR

• Buat penerapan Python

Optimasi proses startup penerapan

Informasi tentang sumber daya penerapan dan konfigurasi Flink terkait ditampilkan di tab Konfigurasi halaman Deployments. Anda dapat menyesuaikan konfigurasi sumber daya tanpa perlu membatalkan penerapan. Anda hanya perlu menentukan offset awal saat memulai penerapan.

Mulai penerapan

Penambahan Halaman Katalog

Halaman Katalog ditambahkan. Komunitas Apache Flink tidak merekomendasikan penggunaan tabel sementara. Untuk menghindari penggunaan ulang pernyataan DDL, kami sarankan Anda menggunakan katalog untuk membuat draf SQL. Versi ini menyediakan kemampuan katalog yang ditingkatkan untuk mendukung penggunaan katalog dalam draf SQL dan memungkinkan Anda mengelola draf SQL secara efisien.

Tidak ada

Optimasi proses debugging penerapan SQL

Proses debugging penerapan SQL dioptimalkan. Jika Anda ingin men-debug penerapan SQL, Anda dapat memilih kluster sesi yang ada untuk debugging alih-alih mengonfigurasi kluster sesi baru. Dengan cara ini, Anda tidak perlu sering mengubah kluster selama debugging penerapan jika penerapan memiliki beberapa versi.

Debug draf

Penambahan Halaman Keamanan

Fitur otorisasi pengguna dan hosting kunci diintegrasikan ke dalam Halaman Keamanan. Anda dapat menyelesaikan pengaturan terkait keamanan platform di Halaman Keamanan. Di versi sebelumnya, fitur hosting kunci disediakan di tab Penggantian Kunci.

Kelola kunci

Penambahan Halaman Konektor

Halaman Konektor disediakan untuk memungkinkan Anda melihat jenis dan versi konektor yang didukung oleh berbagai versi mesin dan mengelola konektor kustom.

Kelola konektor kustom

Peringatan untuk penerapan gagal,

pengiriman notifikasi peringatan melalui telepon, dan pencarian kontak

Fitur pemantauan dan peringatan dioptimalkan dalam aspek berikut:

• Mengizinkan Anda mengatur parameter Notifikasi ke Telepon untuk mengirim notifikasi peringatan melalui telepon dan mengizinkan Anda mencari kontak.

• Mendukung peringatan untuk penerapan gagal.

Konfigurasi pemantauan dan peringatan

Login menggunakan akun peran

Akun peran dapat digunakan untuk masuk ke konsol manajemen Realtime Compute for Apache Flink. Secara default, izin pemilik digunakan. Anda tidak dapat mengonfigurasi izin untuk akun peran.

-

Deteksi jaringan

Alamat IP atau nama domain dapat digunakan untuk memeriksa apakah lingkungan runtime dari penerapan Realtime Compute for Apache Flink terhubung ke sistem upstream dan downstream.

Tidak ada

Katalog kustom

Katalog bawaan disediakan di konsol Realtime Compute for Apache Flink. Setelah Anda mendaftarkan metadata menggunakan katalog, Anda tidak perlu sering menggunakan pernyataan DDL untuk membuat tabel sementara saat membuat draf SQL. Anda juga dapat membuat katalog kustom dan menggunakan paket JAR dari katalog kustom tersebut.

-

Kemampuan diagnostik penerapan cerdas yang ditingkatkan

Fitur diagnostik penerapan cerdas ditingkatkan. Fitur ini membantu Anda menganalisis log kesalahan yang dihasilkan selama pengembangan draf dan pelaksanaan penerapan. Saat Anda melihat informasi di halaman log, sistem secara otomatis menganalisis log dan memberikan saran operasi yang dapat dieksekusi.

Lakukan diagnostik penerapan cerdas

Peningkatan klien konektor Log Service

Kinerja dan stabilitas konektor Log Service ditingkatkan.

Tidak ada

SQL CEP yang diperluas

Deklarasi kelanjutan loop dapat digunakan bersama dengan sintaks UNTIL dalam SQL CEP.

Tidak ada