13 Oktober 2025 - Realtime Compute for Apache Flink

Topik ini menjelaskan pembaruan fitur utama dan perbaikan bug dalam rilis Realtime Compute for Apache Flink pada 13 Oktober 2025.

Penting

Peningkatan versi diluncurkan secara bertahap kepada pengguna. Untuk informasi lebih lanjut, lihat pengumuman terbaru di Konsol Realtime Compute for Apache Flink. Anda dapat menggunakan fitur baru dalam versi ini hanya setelah peningkatan selesai untuk akun Anda. Untuk mengajukan peningkatan dipercepat, ajukan tiket.

Ikhtisar

Versi baru dari Realtime Compute for Apache Flink dirilis pada 13 Oktober 2025. Rilis ini mencakup pembaruan platform, mesin, dan konektor, serta optimasi performa dan perbaikan bug.

Mesin

Mesin terus berkembang, meningkatkan dukungan untuk tipe data kompleks, kemampuan AI, dan berbagai sumber data yang lebih luas.

Ingesti data

Sumber Kafka: Format Canal-JSON sekarang mendukung penguraian MySQL_TYPE.

Konektor

Konektor Hologres: Mendukung pembacaan jenis log biner tertentu.
Konektor StarRocks: Konektor StarRocks ditingkatkan agar sesuai dengan StarRocks Connector for Flink rilis 1.2.11.
Konektor Lindorm: Tabel dimensi sekarang mendukung join satu-ke-banyak.
Konektor MaxCompute: Mendukung pengaturan zona waktu kustom.
Konektor SLS: Menambahkan parameter processor untuk memfilter data dari SLS sebelum dikonsumsi, mengurangi biaya dan meningkatkan kecepatan pemrosesan.

Kemampuan AI

Pencarian vektor: Memperkenalkan fungsi VECTOR_SEARCH untuk pencarian kesamaan real-time menggunakan Milvus.
Fungsi AI: Menambahkan parameter konfigurasi lebih banyak untuk fleksibilitas yang lebih besar.

SQL dan manajemen data

Konversi JSON: Flink SQL sekarang mendukung konversi array dalam string JSON menjadi ARRAY<STRING>.
Catalog StarRocks: Anda tidak perlu lagi secara eksplisit melewati URL saat menggunakan Catalog StarRocks.

Optimasi performa

Konektor MySQL: Mengoptimalkan penurunan predikat untuk tipe boolean.
Konektor Hologres: Menambahkan dukungan untuk proyeksi pushdown dan kompresi data saat mengonsumsi log biner.
Konektor MaxCompute: Meningkatkan performa tulis untuk tipe kompleks seperti array ke dalam tabel reguler.

Platform

Kemampuan baru

Workflows (pratinjau publik) sekarang tersedia di AS (Silicon Valley).
Penagihan hibrid sekarang tersedia untuk ruang kerja YITIAN ARM di China (Ulanqab).

Peningkatan pengalaman platform

Pengalaman pembelian yang ditingkatkan
- Batas CU dihapus: Batas 1.000 CU untuk ruang kerja langganan telah dihapus untuk skalabilitas vertikal, pembelian baru, dan konversi dari bayar sesuai penggunaan ke langganan. Ini memungkinkan skalabilitas elastis pekerjaan skala besar dan menawarkan fleksibilitas lebih besar untuk pembelian baru.
Observabilitas yang ditingkatkan
- Tampilan metrik GC terpadu: Menambahkan dukungan untuk jenis Pengumpulan Sampah (GC) seperti ParallelGC dan CMS. Ini memungkinkan pemantauan dan manajemen terpadu, meningkatkan konsistensi operasional dan observabilitas.
- Metrik baru busyTimePerSecond: Metrik ini memberikan wawasan tepat tentang beban pekerjaan untuk membantu Anda mengidentifikasi hambatan performa, mengalokasikan sumber daya secara efektif, dan memastikan stabilitas pekerjaan.
Model izin dioptimalkan
Izin folder sekarang disatukan dengan izin draf pekerjaan dan kueri data. Pengguna sekarang dapat membuat folder tanpa kesalahan izin, meningkatkan kejelasan sistem dan pengalaman pengguna.
Fitur tabel materialisasi ditingkatkan
Menambahkan dukungan untuk meningkatkan versi VVR saat Anda mengedit tabel materialisasi. Ini juga mendukung perbandingan versi dan pembaruan penerapan pekerjaan otomatis, secara signifikan meningkatkan kemudahan penggunaan dan konsistensi konfigurasi.
Konfigurasi pengiriman pesan yang fleksibel
Mendukung penyesuaian cakupan pengiriman untuk pesan, untuk kontrol lebih granular dan optimasi biaya.

Rangkuman fitur

Fitur	Deskripsi	Referensi
Hologres penulisan batch bersamaan	Memungkinkan penulisan bersamaan ke tabel Hologres dengan kunci utama setelah reshuffle, untuk meningkatkan throughput tulis.	Parameter konfigurasi (untuk VVR 11 dan lebih baru)
Optimasi konsumsi log biner Hologres	Mendukung penurunan proyeksi dan kompresi data saat mengonsumsi log biner untuk mengurangi overhead jaringan dan komputasi.
Tentukan jenis log biner Hologres	Memungkinkan pengguna menentukan jenis log biner untuk dibaca, memungkinkan sinkronisasi data lebih granular.
Kafka Canal-JSON `MySQL_TYPE` parsing	Format Canal-JSON untuk sumber Kafka sekarang mendukung penguraian tipe asli MySQL.	Kafka
JSON `String` ke `ARRAY<STRING>` konversi	Flink SQL sekarang mendukung fungsi `JSON_QUERY` yang mengonversi array dalam string JSON langsung menjadi `ARRAY<STRING>`.	Fungsi JSON
Pencarian vektor AI	Menambahkan fungsi AI baru untuk pencarian vektor.	VECTOR_SEARCH
Pengaturan zona waktu MaxCompute	Konektor MaxCompute sekarang mendukung zona waktu kustom untuk pemrosesan data lintas zona waktu yang lebih mudah.	MaxCompute
Prosesor konsumsi SLS	Menggunakan parameter `processor` untuk memfilter data dari SLS sebelum dikonsumsi, mengurangi beban komputasi pada Flink.	Simple Log Service (SLS)

Perbaikan penting

Rilis ini menyelesaikan bug utama berikut:

Perbaikan konektor

Memperbaiki masalah deadlock yang terjadi saat membaca data dengan PostgreSQL CDC.
Memperbaiki masalah di mana konektor Kafka akan menjatuhkan informasi zona waktu saat mengonversi timestamp yang memiliki atribut zona waktu.
Menyelesaikan NullPointerException yang terjadi selama join dengan tabel dimensi Lindorm.
Memperbaiki masalah di mana melihat atau menghapus tabel Paimon setelah salah konfigurasi parameter akan menghasilkan kesalahan Could not find any factory for identifier 'last_not_null_value'.

Perbaikan SQL

Memperbaiki masalah format dengan klausa RETURNING ARRAY<STRING> dalam fungsi JSON_QUERY.