Realtime Compute for Apache Flink:Dokumen

Fitur

Deskripsi

Referensi

Peran kustom

Buat peran kustom dan tetapkan izin detail halus sesuai kebutuhan bisnis Anda. Hal ini memberikan kontrol tepat atas siapa yang dapat melakukan operasi terkait pekerjaan tertentu, sehingga mengurangi risiko akun dengan izin berlebihan.

Berikan otorisasi akun untuk melakukan operasi dalam namespace

Optimasi UI: detail pekerjaan

Lihat konfigurasi parameter yang digunakan untuk memulai pekerjaan langsung dari halaman detail deployment: klik tab Status, lalu klik Job Details di bagian Actions. Hal ini menghilangkan kebutuhan untuk mencari riwayat konfigurasi saat melakukan debugging pekerjaan yang sedang berjalan.

N/A

Optimasi UI: konfigurasi resource

Nilai maksimum yang diizinkan untuk parameter resource kini ditampilkan di bagian Resources pada tab Configuration. Hal ini mencegah kesalahan konfigurasi akibat melebihi batas parameter.

N/A

Pembuatan katalog MaxCompute di Konsol

Katalog MaxCompute dapat dibuat melalui antarmuka grafis (GUI), yang mempermudah konfigurasi dan manajemen pekerjaan Flink serta meningkatkan efisiensi pengembangan dan manajemen data.

N/A

Konektor StarRocks: dukungan JSON

Konektor StarRocks kini mendukung tipe data JSON. Hal ini mengatasi exception yang terjadi saat menulis data JSON dari MySQL ke StarRocks.

Konektor StarRocks

Peningkatan konektor Elasticsearch

• Konfigurasikan jumlah maksimum dokumen yang dikembalikan per lookup (parameter queryMaxdocs) untuk mendukung skenario join tabel dimensi dengan throughput tinggi.

• Konfigurasikan kebijakan penanganan event RETRACT untuk mengontrol cara konektor merespons pesan retraction dari operator hulu.

Konektor Elasticsearch

Konektor Simple Log Service (SLS): mode startup

Konsumsi data SLS mulai dari offset terbaru atau paling awal. Hal ini memberi Anda kendali atas apakah pekerjaan baru hanya mengambil data baru atau memproses ulang data historis.

Konektor Simple Log Service

Peningkatan image Docker PyFlink

Image dasar Docker untuk PyFlink ditingkatkan untuk meningkatkan kompatibilitas dengan berbagai versi Python dan glibc. Hal ini mengurangi hambatan saat menjalankan pekerjaan PyFlink di lingkungan berbasis kontainer.

N/A

Fungsi URL_DECODE dan URL_ENCODE

Dua fungsi bawaan SQL untuk encoding dan decoding URL telah ditambahkan. Hal ini menghilangkan kebutuhan akan UDF kustom saat memproses string berformat URL-encoded dalam pekerjaan SQL Anda.

• URL_DECODE

• URL_ENCODE

Konektor MySQL: dukungan endpoint ApsaraDB RDS untuk MySQL

Konfigurasikan endpoint ApsaraDB RDS untuk MySQL di konektor MySQL. MySQL Change Data Capture (CDC) kini dapat membaca log biner yang disimpan di bucket Object Storage Service (OSS) terkait.

Konektor MySQL

Konektor Hologres: kebijakan penghapusan per kolom

Konfigurasikan kebijakan penghapusan secara independen untuk setiap kolom dalam tabel sink Hologres. Misalnya, hapus seluruh baris, atau atur nilai kolom non-primary-key menjadi null tanpa memengaruhi kolom lain dalam skenario pembaruan parsial.

Konektor Hologres

Partitioner kustom untuk join tabel dimensi

Konfigurasikan strategi shuffle untuk operasi join tabel dimensi. Hal ini memungkinkan Anda mengoptimalkan distribusi data di seluruh tugas paralel dan meningkatkan throughput join secara keseluruhan.

Pernyataan JOIN untuk tabel dimensi

Konektor MaxCompute: format Arrow dan alokasi shard dinamis

Baca data sumber MaxCompute dalam format Arrow dengan alokasi shard dinamis. Hal ini secara signifikan meningkatkan throughput baca dan mengurangi beban kerja penulisan data pada kluster Flink.

Konektor MaxCompute