Catatan rilis fitur Flink (4 Juni 2025) - Realtime Compute for Apache Flink

Topik ini menjelaskan perubahan fitur utama dan perbaikan bug dalam Realtime Compute for Apache Flink yang dirilis pada 4 Juni 2025.

Penting

Peningkatan versi diluncurkan secara bertahap kepada pengguna. Untuk informasi lebih lanjut, lihat pengumuman terbaru di Konsol Realtime Compute for Apache Flink. Anda hanya dapat menggunakan fitur baru setelah peningkatan selesai untuk akun Anda. Untuk meminta peningkatan dipercepat, ajukan tiket.

Ikhtisar

Rilis ini mencakup pembaruan platform, mesin, dan konektor, serta optimalisasi kinerja dan perbaikan bug.

Pembaruan platform

Pembaruan platform berfokus pada pengalaman pengguna dan efisiensi operasional. Sorotan:

Integrasi Git: Dukungan integrasi dengan repositori jarak jauh GitHub, GitLab, dan Gitee untuk mengoptimalkan manajemen versi kode dan meningkatkan kolaborasi tim.
Integrasi SLS: Penyimpanan log startup pekerjaan, log acara runtime, dan data penggunaan sumber daya ke Layanan Log Sederhana Alibaba Cloud (SLS) untuk kueri historis dan audit.
Optimasi Pengalaman Log Pekerjaan: Konfigurasi output log dioptimalkan dengan dukungan operasi visual, mengurangi risiko kesalahan operasi.
Optimasi Peringatan CloudMonitor: Notifikasi peringatan menampilkan nama pekerjaan untuk memudahkan identifikasi pekerjaan abnormal.

Pembaruan mesin

Ververica Runtime (VVR) versi 11.1 resmi dirilis, dibangun di atas Apache Flink 1.20.1. VVR 11.1 menyediakan optimalisasi dan peningkatan tambahan. Sorotan:

Sebelum Anda meningkatkan

Lihat Tingkatkan versi mesin dari suatu deployment dan Strategi penomoran versi VVR.

Perubahan tidak kompatibel

Java SDK: JDK 11 menjadi lingkungan runtime standar. Dukungan untuk JDK 8 diakhiri. Untuk pekerjaan JAR yang dikompilasi dengan JDK 8, kompilasi ulang dan repaketkan program menggunakan JDK 11. Pekerjaan SQL tidak terpengaruh.
Konektor Hologres: Konektor Hologres telah dioptimalkan arsitekturnya, dengan beberapa opsi dimodifikasi atau dihapus.

Fitur baru

Vektorisasi Waktu Nyata dan Inferensi Didukung oleh LLM
- Konstruksi Vektor: Integrasi dengan Alibaba Cloud Model Studio untuk memvektorisasi data streaming secara real-time, mendukung komputasi fitur waktu nyata untuk sistem rekomendasi dan pencarian cerdas.
- Inferensi Teks: Menghasilkan ringkasan, terjemahan, dan konten lainnya secara dinamis menggunakan model pra-latih, mendukung pemrosesan teks cerdas untuk kasus penggunaan bisnis.

Peningkatan kemampuan

Pengisian Ulang Data Historis di Tabel Materialized Secara Terjadwal: Mendukung pengisian ulang data di tabel materialized sesuai jadwal.
Join Lookup Waktu Nyata dengan Tabel Dimensi StarRocks
SLS CDC dan Evolusi Skema SLS-Paimon: YAML CDC menambahkan dukungan untuk sumber data SLS dan evolusi skema otomatis dari SLS ke Paimon, menyederhanakan manajemen metadata dalam skenario data lakehouse.
Mesin Ingest Data Ditingkatkan ke Flink CDC Versi 3.4: Mendukung kemampuan inti Flink CDC versi 3.4 dengan peningkatan penangkapan data.
Ingest Data dari SLS melalui YAML: Mendukung ingest data dan evolusi skema dari SLS ke Paimon.
Ingest Data ke MaxCompute melalui YAML: Mengingest hingga satu terabyte data ke MaxCompute.
Optimasi Operasi Set Flink SQL: Mendukung retensi alias bidang dalam hasil debugging draft yang berisi UNION ALL.

Peningkatan kinerja

Peningkatan Kinerja Pembacaan Snapshot untuk Konektor PostgreSQL CDC: Implementasi mekanisme segmentasi data dioptimalkan dengan pembacaan paralel dan segmentasi asinkron, meningkatkan kinerja pembacaan snapshot secara signifikan.
Peningkatan Kebijakan Cache untuk Konektor Tair (Redis OSS-compatible): Mendukung fungsi penonaktifan cache berbasis waktu, membantu mencegah persaingan sumber daya selama jam sibuk dan meningkatkan stabilitas cache.

Optimasi pengalaman

Pelacakan Volume Input/Output: Memantau volume input dan output di operator sumber dan sink, memungkinkan pengguna memverifikasi integritas data dan mengoptimalkan kinerja pekerjaan.

Peningkatan keamanan

Peningkatan Keamanan untuk Konektor Tair (Redis OSS-compatible): Konektor Tair (Redis OSS-compatible) mendukung koneksi TLS/SSL, memungkinkan komunikasi data aman. Ini bermanfaat untuk industri dengan persyaratan keamanan ketat seperti keuangan dan layanan pemerintah.
Perbaikan Kerentanan Apache Parquet: Apache Parquet diperbarui ke versi 1.15.1 untuk memperbaiki kerentanan eksekusi kode jarak jauh (RCE) terkait deserialisasi data dalam format Parquet, mengurangi risiko keamanan potensial.
Pelaporan Identitas MaxCompute: Layanan ini mendukung pelaporan applicationName ke server MaxCompute, memungkinkan layanan pihak ketiga melacak penggunaan sumber daya oleh pekerjaan Flink secara akurat, meningkatkan auditabilitas akses lintas sistem.

Fitur

Fitur	Deskripsi	Referensi
Mengintegrasikan dengan repositori Git	Mendukung sinkronisasi dua arah kode SQL dan konfigurasi pekerjaan dengan repositori Git jarak jauh (GitHub, GitLab, dan Gitee), dengan mekanisme resolusi konflik bawaan.	Integrasi dengan Git (pratinjau publik)
Mengirim pesan ke SLS	Mengirim log startup pekerjaan, acara runtime, dan data penggunaan sumber daya ke SLS.	Kirim pesan
Optimasi pengalaman halaman konfigurasi log	Mengekspor log pekerjaan ke datastore lain (seperti SLS, OSS, dan Kafka) di konsol.	Konfigurasikan parameter untuk mengekspor log deployment
Ingest data ke MaxCompute melalui YAML	Mendukung penggunaan konektor MaxCompute sebagai sink ingest data untuk pekerjaan yang dikembangkan dalam YAML.	Konektor MaxCompute
Optimalkan ingest data	Opsi `converter-after-transform` sekarang mendukung tipe konverter `FIELD_NAME_LOWER_CASE`, yang secara otomatis mengonversi nama bidang huruf besar di tabel sumber menjadi huruf kecil, menyederhanakan pra-pemrosesan data selama fase pembersihan.	Referensi pengembangan ingest data
Optimasi konektor Elasticsearch	Mendukung mengabaikan nilai null saat memperbarui tabel Elasticsearch, meningkatkan keandalan penulisan data.	Konektor Elasticsearch
Optimasi konektor Hologres	Menyesuaikan dan menghapus beberapa opsi konektor untuk mengoptimalkan arsitektur sistem dan meningkatkan efisiensi pemeliharaan. Implementasi fungsionalitas dan penggunaan bervariasi berdasarkan versi VVR yang Anda gunakan. Untuk memastikan kompatibilitas pekerjaan dan stabilitas operasional, lihat dokumen spesifik untuk versi VVR Anda.	Konektor Hologres Opsi konektor (VVR 11 atau lebih baru) Opsi konektor (VVR 8 dan lebih lama)
Optimasi konektor MongoDB	Menambahkan opsi `ignore.delete-events.enabled` untuk mendukung penyaringan acara `delete` MongoDB selama penangkapan data perubahan, mengurangi beban sinkronisasi data dan meningkatkan efisiensi sinkronisasi inkremental.	Konektor MongoDB
Optimasi konektor MySQL	Nilai default opsi property-version diubah menjadi 1.	Kelola Katalog MySQL
Optimasi konektor Kafka	Mendukung opsi `canal-json.infer-schema.strategy`, yang memungkinkan Anda mengonfigurasi kebijakan penguraian skema. Anda dapat memilih untuk menguraikan skema berdasarkan data JSON atau bidang sqlType dalam data JSON Canal. Menambahkan opsi `json.decode.parser-table-id.fields` untuk mendukung pembuatan bidang skema tabel dengan menguraikan data JSON. Mendukung opsi `debezium-json.include-schema.enabled` spesifik sink untuk ingest data, yang memeriksa apakah pesan JSON Debezium berisi informasi skema.	Konektor Kafka
Optimasi konektor ApsaraMQ untuk RocketMQ	Menambahkan opsi konektor `deliveryTimestampMode` dan lainnya yang memungkinkan Anda mengirim pesan sesuai jadwal dan mengonfigurasi aturan pemicu secara fleksibel. Ini memberikan kontrol granular atas penggunaan sistem antrian pesan untuk tugas berbasis waktu.	ApsaraMQ untuk RocketMQ
Optimasi konektor Tair (Redis OSS-compatible)	Mendukung membaca hashmap dengan beberapa nilai untuk sebuah kunci saat `cache` disetel ke `ALL`. Menambahkan opsi `cacert.filepath` untuk mendukung enkripsi TLS/SSL untuk tautan data. Menambahkan opsi `cacheReloadTimeBlackList` untuk menonaktifkan caching selama periode waktu tertentu setiap hari.	Konektor Tair (Redis OSS-compatible)
Optimasi konektor StarRocks	Mendukung konversi tipe kolom yang kompatibel. Mendukung join lookup waktu nyata dengan tabel dimensi StarRocks, memungkinkan skenario analitik waktu nyata yang kompleks.	Konektor StarRocks Konektor yang didukung
Optimasi konektor Paimon	Mendukung penulisan dan konsumsi data `VARIANT` melalui fungsi bawaan PARSE_JSON dan TRY_PARSE_JSON, meningkatkan kinerja kueri dan pemrosesan data JSON.	Tulis data ke dan konsumsi data dari tabel Paimon
Optimasi konektor AnalyticDB untuk PostgreSQL	Opsi `writeMode` mendukung mode `COPY`.	Konektor AnalyticDB untuk PostgreSQL
Optimasi tabel materialized	Mendukung modifikasi kueri SQL dan opsi konektor tabel materialized. Mendukung pembuatan alur kerja untuk tabel materialized untuk penjadwalan periodik dan pengisian ulang data.	Buat dan gunakan tabel materialized Kelola alur kerja
Dukungan Flink SQL untuk autentikasi Kerberos Hive	Mengakses data Hive secara aman di kluster yang menggunakan Kerberos melalui SQL. Ini memastikan verifikasi identitas dua arah dan transmisi terenkripsi antara klien dan server, secara efektif mencegah pencurian data dan akses tidak sah.	Daftarkan kluster Hive dengan Kerberos Mulai dengan deployment SQL
Peningkatan Docker image PyFlink	Image Docker dasar PyFlink ditingkatkan untuk meningkatkan kompatibilitas dengan berbagai versi Python dan glibc.
Optimasi fungsi jendela	Mendukung perilaku SESSION WINDOW yang ditingkatkan di Apache Flink versi 1.20, yang menawarkan fleksibilitas lebih dibandingkan SESSION WINDOW di VVR versi 8.x yang memerlukan penggabungan dengan pernyataan agregasi. Kami merekomendasikan peningkatan ke versi terbaru untuk memanfaatkan peningkatan ini.	Agregasi jendela
Dukungan bawaan untuk konektor SelectDB	Konektor SelectDB telah menyelesaikan pratinjau publiknya dan sekarang menjadi konektor bawaan dari Realtime Compute for Apache Flink.	SelectDB
Optimasi pekerjaan Table API	Mendukung pemanggilan fungsi bawaan dalam kueri Table API.	Fungsi yang didukung
Vektorisasi waktu nyata dan inferensi yang didukung oleh LLM	Memperkenalkan pernyataan bahasa definisi data (DDL) untuk model AI. Menambahkan fungsi `ML_PREDICT`, yang menggunakan model AI untuk inferensi dalam komputasi waktu nyata. Mengintegrasikan dengan Alibaba Cloud Model Studio.	Model DDL ML_PREDICT Integrasi dengan Alibaba Cloud Model Studio

Perbaikan bug utama

Konektor

Memperbaiki masalah berikut:

Null dikembalikan saat konektor SLS menggunakan arsitektur baru untuk mengonsumsi karakter escape.
Pesan hilang dalam topik ApsaraMQ untuk RocketMQ yang tertunda.
Konflik terjadi selama penulisan bersamaan ke dua database Tair (Redis OSS-compatible).
Kesalahan NullPointerException terjadi selama join lookup dengan tabel dimensi Hologres.
Kesalahan IllegalStateException terjadi saat data ditulis ke tabel Paimon dengan kunci utama.
Hanya satu baris yang cocok selama join lookup dengan tabel dimensi Lindorm.

SQL dan transformasi

Memperbaiki masalah berikut:

Masalah dengan operator transformasi YAML, yaitu kesalahan kompilasi yang disebabkan oleh parser Calcite tidak mengenali operator perbandingan string.
Konflik terjadi selama konsolidasi skema melalui CTAS.
Akses ke tabel non-Hive dalam katalog Hive ditolak.

Stabilitas dan kinerja

Memperbaiki masalah berikut:

Sink Paimon membutuhkan waktu terlalu lama untuk ditutup.
Pengecualian penyaringan tabel. Ini dapat dilewati menggunakan opsi debezium.table.exclude.list.
Data tidak konsisten karena MiniBatch.
Masalah ketidakcocokan antara PyFlink Table API dan fungsi bawaan Realtime Compute for Apache Flink.