All Products
Search

This Product

    Realtime Compute for Apache Flink:Rilis 29 Mei 2024

    Document Center

    Realtime Compute for Apache Flink:Rilis 29 Mei 2024

    Last Updated:Jun 21, 2026

    Dokumen ini menjelaskan pembaruan fitur utama dan perbaikan bug untuk versi Realtime Compute for Apache Flink yang dirilis pada 29 Mei 2024.

    Penting

    Peningkatan ini akan diluncurkan secara bertahap di semua wilayah menggunakan strategi rilis canary. Untuk jadwal peningkatan spesifik, lihat pengumuman terbaru di sisi kanan Konsol Realtime Compute for Apache Flink. Jika fitur baru belum tersedia, berarti peningkatan tersebut belum mencapai akun Anda. Jika Anda memerlukan peningkatan yang dipercepat, submit a ticket, dan kami akan mengatur sesuai kebutuhan Anda.

    Ikhtisar

    Pada 29 Mei 2024, versi baru Realtime Compute for Apache Flink secara resmi dirilis. Rilis ini mencakup peningkatan platform, pembaruan engine, pembaruan konektor, optimasi kinerja, dan perbaikan bug.

    Pembaruan platform

    Pembaruan platform dalam rilis ini berfokus pada peningkatan stabilitas sistem, kemampuan operasional, dan kegunaan.

    • Anda kini dapat mengonversi namespace dari zona ketersediaan tunggal menjadi cross-zone. Hal ini menghilangkan kebutuhan untuk membuat namespace baru dan memigrasikan deployment, sehingga secara signifikan menyederhanakan cara Anda mengaktifkan ketersediaan tinggi lintas zona.

    • Anda kini dapat mengonfigurasi waktu hidup (TTL) state untuk operator individual dalam mode ahli (expert mode) konfigurasi resource. Ini memungkinkan kontrol yang lebih detail atas TTL state berbagai operator guna mencapai stabilitas lebih tinggi dengan resource lebih sedikit.

    • Ekstensi Realtime Compute for Apache Flink untuk Visual Studio Code kini tersedia. Ekstensi ini mendukung alur kerja pengembangan lokal end-to-end untuk deployment Flink, mulai dari pengembangan dan penerapan hingga go-live. Anda juga dapat menyinkronkan deployment dari lingkungan online secara cepat.

    Selain itu, alur data (data lineage) dan halaman Deployments telah dioptimalkan lebih lanjut.

    Pembaruan engine

    Rilis ini secara resmi memperkenalkan Ververica Runtime (VVR) 8.0.7, yaitu engine Flink enterprise-grade berbasis Apache Flink 1.17.2. Perubahan utama meliputi:

    • Lakehouse real-time: SDK konektor Apache Paimon ditingkatkan untuk mendukung format data lake Apache Paimon 0.9.

    • Peningkatan SQL: Anda kini dapat menggunakan petunjuk (hints) waktu hidup (TTL) state untuk mengatur TTL individual pada operator regular join dan group aggregation, memberikan kontrol lebih tepat atas ukuran state. Dukungan parameter bernama untuk user-defined function (UDF) meningkatkan efisiensi pengembangan dan mengurangi biaya pemeliharaan.

    • Konektor: Konektor MongoDB kini berstatus Generally Available (GA) dan siap digunakan di lingkungan produksi. Konektor ini menyediakan kemampuan lengkap untuk tabel sumber Change Data Capture (CDC), tabel dimensi, dan tabel hasil. Rilis ini juga mencakup peningkatan signifikan untuk konektor MySQL CDC dan Redis:

      • MySQL CDC:

        • Kolom virtual op_type kini didukung untuk mengambil jenis operasi data (+I, +/-U, -D) dari catatan perubahan. Hal ini memungkinkan Anda merancang logika bisnis dan strategi pembersihan data berdasarkan jenis operasi tertentu.

        • Kinerja pembacaan dioptimalkan untuk tabel MySQL dengan primary key bertipe DECIMAL. Selain itu, pemrosesan SourceRecord (catatan perubahan data) pada tabel besar kini diparalelkan untuk meningkatkan efisiensi.

        • Fitur reuse sumber diperkenalkan. Saat diaktifkan, Flink mencoba menggabungkan tabel sumber MySQL CDC dalam deployment yang sama yang memiliki konfigurasi identik (kecuali nama database, nama tabel, dan server-id). Hal ini mengurangi beban koneksi dan pendengaran pada server MySQL.

        • Saat parameter sink.ignore-null-when-update diaktifkan, eksekusi buffered meningkatkan kinerja pemrosesan beberapa kali lipat.

      • Redis: Saat Redis digunakan untuk tabel dimensi dan tabel hasil dengan tipe data kunci HashMap, beberapa format DDL untuk kunci non-primary kini didukung guna meningkatkan keterbacaan. Anda juga dapat mengatur awalan kunci (key prefix) dan pembatas (delimiter) untuk memenuhi persyaratan tata kelola data.

    • Manajemen metadata: Karena view MySQL merupakan struktur logis yang tidak mendukung operasi baca/tulis data, informasi view tidak lagi ditampilkan untuk Catalog MySQL yang baru dibuat guna mencegah kesalahan data.

    • Keamanan: Kompatibilitas untuk kluster Hive dengan Kerberos diaktifkan diperluas ke versi Hadoop 2.x. Selain itu, informasi sensitif seperti konfigurasi konektor kini disembunyikan (masked) dalam log.

    Untuk detail lebih lanjut mengenai fitur utama dalam versi ini dan dokumentasi terkaitnya, lihat tabel di bawah. Peningkatan akan diluncurkan secara bertahap. Setelah peningkatan selesai untuk akun Anda, kami menganjurkan Anda untuk meningkatkan engine deployment ke versi ini. Untuk petunjuknya, lihat Upgrade the engine version for a deployment. Kami menantikan masukan Anda.

    Fitur utama

    Fitur

    Deskripsi

    Referensi

    Peningkatan ketersediaan tinggi lintas zona

    Anda kini dapat mengalihkan namespace antara tipe zona ketersediaan tunggal dan lintas zona ketersediaan.

    Cross-zone high availability

    Peningkatan alur data (data lineage)

    Alur data tingkat bidang kini mendukung pencarian berdasarkan nama bidang. Saat ditemukan beberapa hasil, Anda dapat menggunakan tombol panah Atas dan Bawah untuk berpindah antar hasil, sehingga memudahkan lokalisasi dan peninjauan informasi garis keturunan bidang.

    View data lineage by searching for a node or field name

    Kolom Creator ditambahkan ke halaman Deployments

    Di halaman Creator, Anda dapat mengklik ikon image di sebelah kanan untuk menyesuaikan kolom dan menambahkan kolom Creator. Kolom ini membantu Anda memfilter deployment secara akurat, mengidentifikasi pembuat dengan cepat saat terjadi masalah, dan meningkatkan kolaborasi.

    • Di kolom Creator, Anda dapat memfilter berdasarkan Created by me untuk melihat semua deployment yang Anda buat di namespace saat ini.

    • Di kotak pencarian di atas daftar deployment, Anda dapat memilih Creator, memasukkan username, dan menemukan semua deployment yang dibuat oleh pengguna tersebut.

    N/A

    Peningkatan manajemen izin

    Secara default, identitas (seperti Akun Alibaba Cloud, Pengguna RAM, atau Peran RAM) yang membuat ruang kerja diberikan peran Owner untuk semua namespace di dalamnya.

    Authorize in the development console

    Peningkatan pemeriksaan kompatibilitas state untuk start stateful deployment SQL

    Saat Anda memulai deployment dari state terbaru, sistem Flink mendeteksi adanya perubahan. Jika terdeteksi perubahan, kami menyarankan Anda mengklik Click to detect di samping State Compatibility untuk memeriksa kompatibilitas dan menentukan tindakan selanjutnya berdasarkan hasilnya.

    Start a deployment

    Ekstensi VS Code untuk pengembangan lokal

    Ekstensi baru ini menyediakan alur kerja pengembangan lokal end-to-end untuk deployment Flink. Ekstensi ini membantu Anda dengan mudah mengembangkan, menerapkan, dan meluncurkan deployment SQL, JAR, dan Python secara lokal. Anda juga dapat menyinkronkan deployment dari lingkungan online secara cepat.

    VS Code extension for local development

    TTL state tingkat operator

    Dalam skenario di mana hanya beberapa operator yang memerlukan waktu hidup (TTL) state yang panjang, pengaturan TTL tunggal untuk seluruh deployment dapat menyebabkan pembengkakan state dan pemborosan resource. Anda kini dapat menggunakan salah satu metode berikut untuk mengatur TTL tingkat operator guna mendapatkan kontrol lebih tepat atas ukuran state dan menghemat resource pada deployment dengan state besar:

    • Konfigurasikan di mode ahli (expert mode) konfigurasi resource pada halaman Deployments.

      Catatan

      • Hanya didukung di Ververica Runtime (VVR) 8.0.7 dan versi setelahnya.

      • Hanya didukung untuk deployment SQL saat menggunakan mode konfigurasi resource detail halus (fine-grained).

    • Gunakan petunjuk (hints) waktu hidup (TTL) state untuk mengatur TTL pada operator regular join dan group aggregation.

    Dukungan parameter bernama untuk UDF

    Meningkatkan efisiensi pengembangan dan mengurangi biaya pemeliharaan.

    Overview

    Peningkatan konektor MySQL CDC

    • Kolom virtual op_type didukung untuk mengambil jenis operasi data.

    • Kinerja pembacaan dioptimalkan untuk tabel MySQL dengan primary key bertipe DECIMAL. Pemrosesan paralel SourceRecord untuk tabel besar juga diterapkan.

    • Reuse sumber CDC kini didukung.

    • Eksekusi buffered dilakukan saat parameter sink.ignore-null-when-update diaktifkan.

    MySQL

    Peningkatan konektor Redis

    • Saat Redis digunakan sebagai tabel dimensi atau tabel hasil dengan tipe data kunci HashMap, beberapa format DDL untuk kunci non-primary didukung guna meningkatkan keterbacaan.

    • Anda kini dapat mengatur awalan kunci (key prefix) dan pembatas (delimiter) untuk memenuhi persyaratan tata kelola data.

    ApsaraDB for Tair

    Pembacaan buffered untuk ApsaraMQ for RocketMQ

    Fitur ini meningkatkan efisiensi pemrosesan dan mengurangi biaya resource.

    ApsaraMQ for RocketMQ

    View tidak lagi didukung di Catalog MySQL

    Karena view MySQL merupakan struktur logis dan tidak menyimpan data, informasi view tidak lagi ditampilkan untuk Catalog MySQL yang baru dibuat.

    Manage MySQL Catalogs

    Dukungan yang ditingkatkan untuk kluster Hive dengan Kerberos

    Kompatibilitas untuk kluster Hive dengan Kerberos diaktifkan diperluas ke Hadoop 2.x.

    Register a Kerberized Hive cluster

    SDK konektor Iceberg ditingkatkan

    Mendukung pembacaan dan penulisan Apache Iceberg 1.5.

    Permasalahan yang diperbaiki

    • Memperbaiki masalah kebenaran data yang disebabkan oleh pushdown klausa WHERE pada konektor Hologres di Ververica Runtime (VVR) versi 8.0.5 dan 8.0.6.

    • Memperbaiki masalah kehilangan data pada konektor Simple Log Service (SLS) yang terjadi selama failover karena tabel sumber SLS terus melakukan commit data pada offset konsumen.

    • Memperbaiki masalah di mana ValueState kehilangan state-nya saat digunakan bersama MapState yang memiliki TTL yang dikonfigurasi, sedangkan ValueState itu sendiri tidak memiliki TTL.

    • Memperbaiki ketidakkonsistenan hasil deserialisasi untuk WithinType.PREVIOUS_AND_CURRENT dalam pemrosesan peristiwa kompleks (CEP) dinamis.

    • Memperbaiki perbedaan metrik currentEmitEventTimeLag antara halaman pemantauan Konsol dan UI Flink.

    • Memperbaiki semua masalah dari Apache Flink 1.17.2. Untuk detail lebih lanjut, lihat Apache Flink 1.17.2 Release Announcement.