All Products
Search

This Product

    Realtime Compute for Apache Flink:Versi 8 Agustus 2025

    Document Center

    Realtime Compute for Apache Flink:Versi 8 Agustus 2025

    Last Updated:Mar 27, 2026

    Rilis ini menyediakan VVR 11.2 (dibangun di atas Apache Flink 1.20.2) dengan fungsi SQL yang diperluas, kemampuan konektor baru, serta enam fitur platform yang meningkatkan efisiensi sumber daya dan kontrol akses.

    Penting

    Peningkatan dilakukan secara bertahap. Periksa Konsol Realtime Compute for Apache Flink untuk status peningkatan terbaru. Fitur baru hanya tersedia setelah peningkatan selesai untuk akun Anda. Untuk meminta percepatan peningkatan, submit a ticket.

    Ikhtisar

    Area Highlight
    Engine (VVR 11.2) 13 fungsi Flink SQL baru, tipe Variant, dialek Hive untuk Table API, kontrol overflow fungsi AI
    Konektor Optimisasi bidang VARCHAR MySQL CDC, dukungan Canal-JSON, INSERT IGNORE untuk AnalyticDB for MySQL, otorisasi berbasis RAM untuk Paimon dan OSS, join lookup asinkron untuk Tair, penguraian oplog konkuren untuk MongoDB CDC
    Platform Pekerjaan batch multi-pernyataan, penyegaran terjadwal tabel materialized, pelepasan otomatis kluster sesi menganggur, periode blackout untuk tuning otomatis, integrasi Git yang diperluas, kontrol akses kueri data granular
    API Dua API baru, dua API yang ditinggalkan — tingkatkan dependensi pom ke versi 1.8.0

    Engine: Ververica Runtime (VVR) 11.2

    Flink SQL: 13 fungsi bawaan baru

    VVR 11.2 menambahkan 13 fungsi skalar bawaan, mengurangi kebutuhan akan UDF kustom.

    Pemrosesan string: PRINTF, TRANSLATE, ELT, BTRIM, STARTSWITH, ENDSWITH

    Pemrosesan JSON: JSON_QUOTE, JSON_UNQUOTE

    Ekspresi reguler: REGEXP_SUBSTR, REGEXP_INSTR, REGEXP_COUNT, REGEXP_EXTRACT_ALL

    Aritmetika: UNHEX

    Untuk referensi lengkap fungsi, lihat Fungsi yang didukung.

    Flink SQL: Tipe Variant

    Flink SQL kini mendukung tipe data Variant. Gunakan tipe ini ketika skema kolom bersifat semi-terstruktur atau berkembang seiring waktu—misalnya, saat melakukan ingesti JSON dari sumber heterogen. Variant menyediakan wadah fleksibel tanpa memerlukan skema kaku di awal.

    Untuk aturan konversi tipe, lihat Konversi tipe data.

    Table API: Dialek SQL Hive

    Pekerjaan Table API kini dapat menggunakan dialek SQL Hive. Jika tim Anda sudah terbiasa dengan sintaks HiveQL, Anda dapat menulis pekerjaan Table API tanpa perlu mempelajari varian SQL khusus Flink.

    Lihat Memulai dengan penerapan Hive SQL.

    Fungsi AI: Perilaku overflow yang dapat dikonfigurasi

    Saat sebuah pesan melebihi jendela konteks model AI, Anda dapat memilih cara menanganinya: Discard pesan tersebut atau Truncate agar sesuai. Ini menggantikan perilaku tetap sebelumnya dan memungkinkan Anda menyesuaikan pertukaran antara kelengkapan data dan stabilitas pekerjaan.

    Konfigurasikan strategi tersebut dalam DDL model. Lihat DDL Model.

    Konektor

    MySQL CDC: Optimisasi bidang VARCHAR

    Konektor MySQL CDC kini menangani bidang VARCHAR secara lebih efisien, meningkatkan throughput dan stabilitas sinkronisasi untuk skema yang banyak menggunakan VARCHAR.

    Lihat MySQL.

    Flink CDC: Format Canal-JSON dan ekstraksi timestamp

    Pekerjaan CDC kini dapat mengonsumsi data berformat Canal-JSON dari Apache Kafka. Konektor mengekstraksi baik timestamp event (ts) maupun urutan event (es), memungkinkan pengurutan dan deduplikasi yang akurat dalam pipeline downstream.

    Lihat MySQL dan Sinkronkan data binary logging MySQL ke Kafka.

    AnalyticDB for MySQL: Dukungan INSERT IGNORE

    Konektor AnalyticDB for MySQL kini mendukung sintaks INSERT IGNORE. Catatan duplikat selama operasi tulis tidak lagi menyebabkan kegagalan pekerjaan—konektor melewati baris yang bentrok dan melanjutkan pemrosesan.

    Lihat Konektor AnalyticDB for MySQL V3.0.

    Paimon dan OSS: Otorisasi berbasis RAM

    Konektor Paimon dan konektor Object Storage Service (OSS) kini mendukung otorisasi melalui peran Resource Access Management (RAM), menggantikan pasangan AccessKey. Peran RAM memberikan kontrol izin yang lebih granular dan menghilangkan kebutuhan untuk menyematkan kredensial jangka panjang dalam konfigurasi konektor.

    Lihat Kelola katalog Paimon.

    Tair (Redis OSS-compatible): Join lookup asinkron

    Konektor Tair kini mendukung join lookup asinkron. Permintaan join lookup tidak lagi memblokir pipeline pemrosesan, meningkatkan efisiensi akses cache dan throughput pekerjaan secara keseluruhan.

    Lihat ApsaraDB for Tair (Redis Open-Source Edition).

    MongoDB CDC: Penguraian oplog konkuren

    Konektor MongoDB CDC kini mengurai oplog secara konkuren, bukan sekuensial. Hal ini meningkatkan stabilitas dan keandalan sinkronisasi untuk change stream MongoDB.

    Lihat MongoDB.

    Ingesti Kafka-Paimon: Evolusi skema otomatis

    Saat melakukan ingesti data dari Apache Kafka ke Paimon, perubahan skema pada topik Kafka kini secara otomatis dipropagasikan ke tabel Paimon. Hal ini menghilangkan langkah migrasi skema manual selama ingesti data lake.

    Lihat Implementasikan ingesti data real-time ke data lake.

    PyFlink: Penggunaan langsung konektor bawaan

    Pekerjaan PyFlink kini dapat menggunakan konektor bawaan secara langsung, tanpa perlu mengelola dependensi JAR konektor secara manual. Hal ini menyederhanakan penyiapan pengembangan untuk pekerjaan Flink berbasis Python.

    Lihat Gunakan dependensi Python.

    Platform

    Jalankan beberapa pernyataan DDL/DML dalam satu pekerjaan batch

    Satu pekerjaan batch kini dapat mengeksekusi beberapa pernyataan DDL dan DML secara berurutan—membuat tabel, menjalankan komputasi, dan menghapus tabel, semuanya dalam satu pengiriman pekerjaan. Hal ini menghilangkan kebutuhan untuk merangkai pekerjaan terpisah untuk alur kerja batch multi-langkah.

    Segarkan partisi historis sesuai jadwal

    Tabel materialized kini mendukung penyegaran terjadwal untuk partisi historis. Gunakan fitur ini untuk mengisi ulang data yang datang terlambat ke partisi masa lalu, mempertahankan konsistensi akhir tanpa intervensi manual.

    Pelepasan otomatis kluster sesi menganggur

    Kluster sesi baru yang tetap menganggur lebih dari 30 menit akan dilepaskan secara otomatis. Hal ini mencegah kluster menganggur mengonsumsi sumber daya dan mengurangi penggunaan CU yang tidak perlu.

    Periode blackout untuk tuning otomatis

    Tentukan periode blackout untuk mencegah penskalaan sumber daya otomatis selama jam-jam kritis bisnis. Platform tetap menghasilkan rekomendasi tuning selama periode blackout, tetapi tidak menerapkannya—memberi Anda kontrol penuh atas kapan penskalaan terjadi.

    Integrasi Git yang diperluas

    Integrasi Git kini mendukung alat tambahan, termasuk Alibaba Cloud DevOps. Tarik struktur direktori langsung dari repositori yang terhubung, dan pesan error selama operasi Git kini mencakup panduan troubleshooting yang dapat ditindaklanjuti.

    Kontrol akses granular untuk kueri data

    Operasi kueri data kini mendukung kontrol akses yang lebih granular, memungkinkan batasan izin yang lebih tepat untuk tim yang berbagi ruang kerja.

    Penyempurnaan pengalaman platform

    • Manajemen model AI melalui konsol: Buat, modifikasi, dan hapus model AI langsung dari halaman Catalogs, tanpa perlu panggilan API.

    • Penggunaan CU pekerjaan batch per jam: Konsol kini menampilkan konsumsi CU yang dipecah per jam untuk pekerjaan batch, memudahkan identifikasi lonjakan biaya dan optimalisasi penggunaan sumber daya.

    • Pencarian fuzzy alur kerja: Cari alur kerja berdasarkan nama parsial di halaman Workflows.

    • Pembuatan katalog Iceberg melalui konsol: Buat katalog Apache Iceberg langsung dari konsol tanpa konfigurasi manual.

    Perubahan API

    Penting

    Untuk menggunakan API baru, tingkatkan kluster Anda dan perbarui dependensi pom ke versi 1.8.0.

    API Baru

    Sebelumnya, API Resource dan DeploymentTarget tidak dapat mengelola ruang kerja dengan penagihan hibrida. Rilis ini menambahkan dua API baru untuk mengatasi hal tersebut:

    API Deskripsi
    CreateDeploymentTargetV2 Membuat target penerapan dengan dukungan ruang kerja penagihan hibrida
    UpdateDeploymentTargetV2 Memperbarui target penerapan dengan dukungan ruang kerja penagihan hibrida

    Objek Resource juga mendapatkan bidang baru untuk mengonfigurasi ruang kerja penagihan hibrida.

    API yang Ditinggalkan

    Penting

    CreateDeploymentTarget dan UpdateDeploymentTarget telah ditinggalkan. Migrasikan ke API V2 sesegera mungkin.

    Perbaikan bug

    API Perbaikan
    createDeploymentDraft, modifyDeploymentDraft Jumlah maksimum label kini divalidasi saat input
    listDeployments Parameter sortName dan sortOrder kini memvalidasi input: hanya huruf (a–z, A–Z) dan garis bawah (_) yang diterima

    Perbaikan bug penting

    Konektor

    Komponen Perbaikan
    Konektor Apache Kafka Masalah konversi zona waktu dan error sinkronisasi data telah diselesaikan
    Konektor MySQL Error izin yang menghalangi konektivitas telah diselesaikan
    Konektor Paimon Masalah validasi presisi timestamp Apache Avro telah diperbaiki; crash checkpoint telah ditambal
    Data Lake Formation (DLF) Kegagalan konektivitas akibat kedaluwarsa token akses data telah diselesaikan
    MySQL 8.0 Masalah kompatibilitas dengan MySQL 8.0 telah diselesaikan

    SQL dan transformasi data

    • Perbaikan penguraian sintaks LIKE di Paimon.

    • Perbaikan penanganan tanggal dan error REGEXP_REPLACE di skrip YAML.

    • Resolusi NullPointerException saat mengakses registri skema.

    Stabilitas dan performa

    • Perbaikan inkonsistensi metadata yang dapat terjadi setelah failover pekerjaan.

    • Perbaikan pembersihan sumber daya saat pekerjaan berhenti secara tak terduga.

    • Optimalisasi mekanisme retry konektor untuk ketahanan pekerjaan yang lebih baik.