All Products
Search

This Product

    Realtime Compute for Apache Flink:Versi 15 Januari 2025

    Document Center

    Realtime Compute for Apache Flink:Versi 15 Januari 2025

    Last Updated:Mar 27, 2026

    Catatan rilis ini mencakup pembaruan utama dan perbaikan bug pada Realtime Compute for Apache Flink yang dirilis pada 15 Januari 2025.

    Penting

    Peningkatan versi dilakukan secara bertahap. Fitur baru hanya tersedia setelah peningkatan selesai untuk akun Anda. Untuk mengajukan permintaan peningkatan dipercepat, submit a ticket. Untuk status peluncuran terbaru, lihat Konsol Realtime Compute for Apache Flink.

    Sebelum Anda melakukan upgrade

    Rilis ini mencakup perubahan yang memerlukan tindakan sebelum atau setelah peningkatan:

    Versi Python ditingkatkan dari 3.7.9 ke 3.9.21

    Jika Anda meningkatkan ke Ververica Runtime (VVR) 8.0.11 dan menjalankan deployment Python, lakukan langkah-langkah berikut setelah peningkatan:

    1. Jalankan uji kompatibilitas skrip Python Anda terhadap Python 3.9.21.

    2. Lakukan redeploy skrip Python tersebut.

    3. Mulai ulang deployment.

    Fitur baru

    Rilis ini mencakup pembaruan platform, pembaruan engine, dan peningkatan konektor.

    Pembaruan platform

    Dukungan dialek Hive untuk SQL batch

    Anda kini dapat mengembangkan skrip SQL batch menggunakan dialek Hive, sehingga memungkinkan migrasi beban kerja Hive ke Flink tanpa menulis ulang SQL. Lihat Memulai deployment SQL Hive.

    Pengisian data historis di Workflows

    Anda kini dapat mengisi data yang hilang dan memperbaiki kesalahan pada data historis langsung dari Workflows. Lihat Mengelola workflows.

    Pencarian deployment berdasarkan alamat IP dan port

    Anda kini dapat menemukan deployment tertentu dengan mencari alamat IP dan port sistem sumber atau sistem tujuan. Fitur ini sangat berguna ketika Flink menangani permintaan dari banyak sistem eksternal. Lihat Peningkatan arsitektur jaringan.

    Pembuatan workspace yang disederhanakan

    Pemilihan zona tidak lagi diperlukan saat membeli workspace. Pilih model deployment sebagai gantinya:

    • Single-zone: Zona optimal dipilih secara otomatis. Flink berkomunikasi dengan layanan dalam wilayah yang sama melalui Virtual Private Cloud (VPC) dengan latensi di bawah 3 milidetik. Penjadwalan resource transparan dalam wilayah meningkatkan elastisitas resource. Untuk tolok ukur latensi intra-wilayah, lihat Cloud Network Performance.

    • Cross-zone: Jika zona primer gagal, deployment secara otomatis fail over ke zona sekunder, mencegah gangguan layanan dan menjaga ketersediaan tinggi.

    Lihat Aktifkan Realtime Compute for Apache Flink dan High availability cross-zone.

    Variabel namespace dalam parameter runtime

    Anda kini dapat mengonfigurasi variabel namespace dalam parameter runtime deployment untuk menghindari penggunaan Pasangan Kunci Akses dan kredensial dalam teks biasa. Lihat Mengelola variabel.

    Rencana tuning yang disimpan dalam mode autopilot

    Setelah deployment stabil menggunakan strategi stabil dalam mode autopilot, Anda dapat melihat, mengedit, dan menyimpan rencana tuning yang dihasilkan untuk digunakan di masa mendatang. Mode autopilot kini menyediakan dua opsi rencana tuning: berbasis jadwal dan resource tetap. Lihat Konfigurasikan tuning otomatis.

    Pembaruan engine

    VVR 8.0.11 kini tersedia secara umum (GA). Engine ini merupakan engine kelas enterprise berbasis Apache Flink 1.17.2, dengan optimasi dan peningkatan di luar upstream Apache Flink.

    Pembaruan konektor

    Konektor Hologres

    • Pembaruan bersyarat (check-and-put): Terapkan pembaruan ke Hologres hanya jika kondisi tertentu terpenuhi.

    • Mode tulis agresif (aggressive.enabled): Tingkatkan ketepatan waktu penulisan selama periode trafik rendah.

    • Konsumsi log biner dari tabel partisi (pratinjau publik): Konsumsi log biner dari tabel partisi Hologres, berguna untuk membangun gudang data real-time. Lihat Konsumsi data Hologres secara real-time.

    • Kolom metadata: Akses kolom metadata (seperti hg_binlog_event_type) dari tabel sumber Hologres menggunakan katalog Hologres. Lihat Mengelola katalog Hologres dan Konektor Hologres.

    Konektor MaxCompute

    Gunakan upsert.partial-column untuk memperbarui kolom tertentu dalam tabel Delta. Hal ini menyederhanakan pembuatan tabel lebar dari beberapa aliran data yang ditulis ke MaxCompute. Lihat Konektor MaxCompute.

    Konektor StarRocks

    Saat memetakan bidang CHAR Flink ke bidang CHAR StarRocks, panjang bidang StarRocks secara otomatis diperpanjang menjadi empat kali lipat dari panjang aslinya. Hal ini menangani karakter multi-byte seperti emoji. Lihat Konektor StarRocks.

    Tabel materialized

    Saat mode eksekusi batch diaktifkan, tabel materialized secara dinamis memilih antara pembaruan inkremental dan pembaruan penuh. Pembaruan inkremental lebih diprioritaskan. Lihat Buat dan gunakan tabel materialized.

    Ringkasan fitur

    Fitur Deskripsi Status
    Dukungan dialek Hive Kembangkan skrip SQL batch menggunakan dialek Hive untuk migrasi beban kerja Hive ke Flink tanpa menulis ulang SQL. GA
    Pengisian data historis di Workflows Isi data yang hilang dan perbaiki kesalahan pada data historis langsung dari Workflows. GA
    Pencarian deployment berdasarkan alamat IP dan port Cari deployment berdasarkan alamat IP dan port sistem sumber atau sistem tujuan. GA
    Pembuatan workspace yang disederhanakan Pilih model deployment (single-zone atau cross-zone) saat membeli workspace; pemilihan zona dilakukan secara otomatis. GA
    Variabel namespace dalam parameter runtime Gunakan variabel namespace dalam parameter runtime untuk menghindari kredensial dalam teks biasa. GA
    Rencana tuning yang disimpan dalam mode autopilot Lihat, edit, simpan, dan terapkan rencana tuning yang dihasilkan setelah stabilisasi dalam mode autopilot. Dua opsi tersedia: berbasis jadwal dan resource tetap. GA
    Hologres: pembaruan bersyarat check-and-put memungkinkan penulisan bersyarat ke Hologres. GA
    Hologres: mode tulis agresif aggressive.enabled meningkatkan ketepatan waktu penulisan selama trafik rendah. GA
    Hologres: log biner dari tabel partisi Konsumsi log biner dari tabel partisi Hologres untuk kasus penggunaan gudang data real-time. Pratinjau publik
    Hologres: kolom metadata Akses kolom metadata seperti hg_binlog_event_type melalui katalog Hologres. GA
    MaxCompute: pembaruan kolom parsial upsert.partial-column memperbarui kolom tertentu dalam tabel Delta. GA
    StarRocks: perluasan panjang bidang CHAR Bidang CHAR Flink yang dipetakan ke bidang CHAR StarRocks secara otomatis diperpanjang menjadi 4x panjang aslinya. GA
    Tabel materialized: pembaruan inkremental Mode eksekusi batch secara dinamis memilih pembaruan inkremental atau penuh; pembaruan inkremental lebih diprioritaskan. GA
    Peningkatan versi Python Python ditingkatkan dari 3.7.9 ke 3.9.21. Tindakan diperlukan untuk deployment Python. GA

    Perbaikan masalah

    Masalah konektor

    • Konektor MySQL: Memperbaiki pengecualian null pointer saat startup.

    • Konektor MySQL: Memperbaiki degradasi performa saat menulis ke tabel tanpa primary key. Masalah ini muncul setelah peningkatan versi VVR.

    • Konektor Kafka: Memperbaiki ketidaksesuaian antara pesan JSON dalam format Canal dan kolom metadata saat menggunakan ulang sumber Kafka.

    • Konektor ApsaraDB for HBase: Memperbaiki pengecualian startup: No length info found when processingnull.

    • Katalog Simple Log Service: Memperbaiki kesalahan saat menggunakan katalog Simple Log Service: AssertionError: Conversion to relational algebra failed.

    Masalah SQL

    • Memperbaiki masalah di mana window tidak dipicu karena keterlambatan emisi Watermark.

    • Memperbaiki kesalahan saat menambahkan kolom BIT(1) ke tabel yang dibuat dengan pernyataan CTAS: ValidationException: Binary string length must be between 1 and 2147483647.

    Masalah stabilitas

    • Memperbaiki masalah di mana deployment pulih dari checkpoint yang salah setelah dihentikan secara abnormal dengan kode keluar 137.