Realtime Compute for Apache Flink：9 Januari 2026

Peningkatan SQL

Dukungan tipe Bitmap: Rilis ini menambahkan tipe Bitmap native beserta serangkaian fungsi awal, seperti konstruksi bitmap dan statistik kardinalitas. Hal ini mendukung skenario deduplikasi yang efisien, real-time, dan presisi, seperti penghitungan unique visitor (UV).

Ingesti Data melalui YAML (Flink CDC)

• Referensi metadata: Referensikan langsung tabel sumber dan tabel sink yang terdaftar di Catalog dalam skrip YAML pekerjaan Flink CDC.

• Logika routing kompleks: Konfigurasikan nama tabel dalam Route menggunakan ekspresi reguler standar. Hal ini mendukung skenario penggabungan tabel ter-shard.

• Penanganan data kotor: Penguraian format JSON kini mendukung mekanisme penanganan data kotor untuk meningkatkan ketahanan pekerjaan.

• Ekspansi presisi otomatis: StarRocks kini sebagian mendukung ekspansi presisi otomatis untuk tipe Decimal.

• Toleransi kesalahan skema kosong: Sumber Kafka kini mendukung pembuatan tabel dengan skema kosong ketika sumber tidak memiliki data. Hal ini mencegah kegagalan startup pekerjaan.

• Dukungan sumber Paimon: Apache Paimon kini secara resmi didukung sebagai sumber Flink CDC.

Konektor

• MySQL:

  • Pembatasan kecepatan: Fitur pembatasan kecepatan data ditambahkan untuk mencegah beban berlebih pada database sumber.

  • Ekstensi metadata: Mendukung bidang metadata binary logging file dan pos. Anda dapat menggunakan bidang metadata ini untuk menentukan urutan modifikasi data yang sama.

  • Optimasi performa: Proses dalam mode snapshot-only dioptimalkan dengan tidak lagi mengeksekusi perintah apa pun yang terkait binary logging.

• PolarDB-X CDC (pratinjau publik):

  • Mendukung berlangganan aliran binary logging dengan beberapa koneksi bersamaan, yang secara signifikan meningkatkan throughput ingesti.

  • Mendukung berlangganan binary logging pada tingkat tabel.

• OceanBase (pratinjau publik): Mendukung fitur penulisan bypass import baru, yang secara signifikan meningkatkan performa penulisan untuk batch data besar.

• MongoDB: Tabel sink kini mendukung Partial Update.

• Elasticsearch:

  • Mendukung konfigurasi eksplisit parameter doc_as_upsert.

  • Mendukung parameter timeout koneksi.

• Apache Kafka: Kelompok konsumen berlebih yang dibuat oleh konektor Kafka dapat dihapus secara otomatis.

Integrasi danau data terpadu (Iceberg)

Konektor Iceberg: Anda kini dapat mengonfigurasi parameter terkait Hadoop untuk meningkatkan fleksibilitas koneksi di lingkungan Hadoop yang kompleks.