Realtime Compute for Apache Flink:Rilis 9 April 2026

Kemampuan multimodal AI Function

• Pemrosesan data multimodal: Rilis ini menambahkan fungsi bawaan untuk konversi PDF ke gambar, mengambil konten file dari OSS atau MNS, deteksi definisi gambar berbasis OpenCV, kompresi gambar, dan transmisi langsung gambar Base64. Fungsi-fungsi ini mendukung pemanggilan Vision Large Models (VLMs), seperti Qwen-VL, untuk melakukan inferensi pada data modalitas gambar.

• Konektor MNS: Rilis ini menambahkan konektor Message Service (MNS), yang mendukung langganan terhadap event perubahan OSS untuk mengaktifkan pipeline pemrosesan AI real-time.

Peningkatan SQL

• Dukungan tipe Variant: Menambahkan tipe Variant dan sintaks akses bidangnya (variant.field dan variant['key']). Tipe Variant mendukung konversi ke dan dari tipe dasar serta penulisan ke sink Paimon.

• Fungsi bawaan baru: Dukungan untuk fungsi hash, seperti MD5, kini tersedia dalam transformasi data ingestion. Fungsi parse_json telah ditambahkan ke CDC YAML untuk mengonversi string JSON ke tipe Variant.

Data ingestion (CDC YAML)

Fitur data ingestion kini tidak lagi dalam status pratinjau publik dan telah tersedia secara umum.

Konektor YAML Paimon, StarRocks, Hologres, MySQL, dan Kafka tidak lagi dalam pratinjau publik.

Konektor Doris, OceanBase, MaxCompute, SLS, MongoDB, dan Postgres kini dalam pratinjau publik.

• Menggabungkan beberapa kolom ke dalam data lake: Anda kini dapat menggabungkan beberapa bidang dari sumber JSON hulu ke dalam satu kolom target. Fitur ini berguna ketika bidang berbeda karena variasi kapitalisasi atau penamaan. Fitur ini menyediakan aturan untuk pencocokan ekspresi reguler, normalisasi kapitalisasi, dan pemetaan kustom.

• Menambahkan data ke partisi: Sink Paimon kini mendukung penulisan ke tabel partisi yang tidak memiliki primary key, yang ideal untuk skenario append-only. Anda tidak lagi diwajibkan menambahkan kunci partisi ke primary key.

• Peningkatan transformasi:

  • Anda kini dapat sepenuhnya purge PrimaryKey atau PartitionKey dengan meneruskan nilai kosong.

  • Anda juga dapat mengatur logika routing nama tabel yang kompleks menggunakan ekspresi reguler.

• Dukungan Variant end-to-end: CDC YAML kini mendukung akses bidang dan konversi tipe untuk tipe Variant, serta menulis data Variant ke Paimon.

• Ekstensi sumber:

  • Menambahkan sumber polardbx-cdc. Sumber ini mendukung langganan tingkat tabel ke log biner dan memungkinkan beberapa langganan konkuren.

  • Sumber SLS kini mendukung pemaksaan tipe parsing tertentu untuk bidang.

  • Sumber Kafka kini mendukung pemisahan satu pesan menjadi beberapa catatan berdasarkan bidang dan menulisnya ke tabel target berbeda (field routing). Fitur ini juga mendukung partitioner kustom.

• Ekstensi sink:

  • Sink Paimon kini memungkinkan Anda mengonfigurasi konkurensi node commit secara terpisah.

  • Sink MaxCompute kini mendukung pemetaan tipe DATETIME dan mencakup logika commit yang dioptimalkan untuk mengurangi konsumsi query per second (QPS).

  • Sink Iceberg kini mendukung referensi ke katalog bawaan dan secara otomatis mengambil informasi koneksi, seperti URL dan kredensial. Fitur ini memungkinkan penggunaan ulang konfigurasi.

Konektor

• Kafka:

  • Sink kini mendukung penulisan ID tabel tiga bagian (Database.Schema.Table) dalam format Debezium JSON.

  • Rilis ini memperbaiki masalah di mana restart stateful setelah perubahan topik menyebabkan konsumsi dari topik lama dan baru sekaligus. Sistem kini melemparkan exception ketidakcocokan state.

• MySQL CDC:

  • Pesan error untuk Global Transaction Identifier (GTID) yang kedaluwarsa diperbaiki agar lebih jelas menunjukkan akar penyebabnya.

  • ID server consumer kini ditambahkan ke log untuk mempermudah troubleshooting.

• PolarDB-X: Konektor ini kini secara resmi didukung sebagai sumber CDC YAML dan berada dalam pratinjau publik.

• OceanBase: Logika penulisan sink Java Database Connectivity (JDBC) telah direfaktor untuk mendukung rollback transaksi manual dan penggunaan ulang kolam koneksi. Pembaruan ini juga memperbaiki masalah pemutusan koneksi yang disebabkan oleh wait_timeout.

• Elasticsearch: Tabel sumber dan dimensi kini secara resmi mendukung versi 8.x dan kompatibel dengan klien ES7.

• Doris: Pesan error untuk konfigurasi port yang salah diperbaiki.

Integrasi Lakehouse

• Iceberg:

  • Sink kini melaporkan metrik numRecordsOutOfSinkPerSecond (OUT RPS).

  • Anda kini dapat mengonfigurasi parameter terkait Hadoop untuk fleksibilitas koneksi yang lebih besar.

  • Pekerjaan data ingestion kini mendukung penulisan ke DLF Iceberg.

• Hologres:

  • Tabel sumber log biner dapat mengonsumsi data dari offset LATEST.

  • Katalog konektor kini mendukung informasi indeks, seperti indeks sekunder dan kunci pemindaian awalan.

  • Anda dapat membaca tipe array varchar[].

  • Cache parameter probe dioptimalkan untuk mencegah timeout inisialisasi saat banyak tabel hadir.

  • Konkurensi dapat lebih besar daripada jumlah shard ketika parameter sink.reshuffle-by-holo-distribution-key.enabled dikonfigurasi.

• MaxCompute:

  • Katalog kini mendukung kueri terpaginasi untuk mengatasi kelambatan di Pusat Metadata.

  • Sink YAML mencakup logika commit yang dioptimalkan untuk mengurangi error kehabisan memori (OOM) yang disebabkan oleh melebihi batas QPS.

• Hive: Katalog kini mendukung penentuan format penyimpanan, seperti Parquet, saat Anda membuat tabel.

• Paimon: Rilis ini menambahkan dukungan untuk format file Lance.

Observabilitas

• Menambahkan metrik penggunaan disk lokal (geminiDB.disk_space_*).

• Menambahkan metrik geminiDB.native_memory_usage dan limit untuk memori native Gemini.

• Menambahkan metrik batas konkurensi untuk operator Auto-pilot (seperti sourceParallelismUpperBound).

• Log WARN yang tidak perlu, seperti prompt yang muncul ketika suatu format tidak mendukung snapshot, kini disembunyikan untuk mengurangi kebisingan.