Realtime Compute for Apache Flink:Rilis pada 1 April 2024

Lakehouse Real-time

Apache Paimon menulis ke OSS-HDFS

Data Apache Paimon kini dapat ditulis ke OSS-HDFS, memberikan opsi penyimpanan hemat biaya untuk beban kerja lakehouse. Saat menjalankan pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk menulis ke Apache Paimon, tabel yang dihasilkan secara otomatis dibuat dalam mode dynamic bucket. Rilis ini juga mencakup semua fitur dan perbaikan komunitas Apache Paimon dari cabang master hingga 15 Maret 2024. Untuk informasi lebih lanjut, kunjungi Apache Paimon.

Data Hive yang didukung oleh OSS-HDFS melalui katalog Hive

Setelah mengonfigurasi katalog Hive, Anda dapat menulis data Hive langsung ke OSS-HDFS. Hal ini memungkinkan pembangunan gudang data Hive di atas OSS-HDFS tanpa mengubah alur kerja berbasis katalog yang sudah ada.

Tabel non-Hive dalam katalog Hive berbasis DLF

Ketika Data Lake Formation (DLF) menjadi pusat manajemen metadata katalog Hive Anda, Anda kini dapat membuat tabel non-Hive melalui katalog Hive tersebut. Fitur ini mempermudah pengelolaan berbagai jenis tabel dari satu katalog tunggal.

Konektor

Konektor OceanBase CDC — Baca dari tabel sumber OceanBase (pratinjau publik)

Anda kini dapat membaca data dari tabel sumber OceanBase menggunakan konektor Change Data Capture (CDC), mengalirkan data OceanBase langsung ke pipeline Flink, serta membangun gudang data real-time bertingkat di atas OceanBase. Untuk detailnya, lihat OceanBase connector (public preview).

Konektor MongoDB CDC — CREATE TABLE AS dan CREATE DATABASE AS (pratinjau publik)

Jalankan pernyataan CREATE TABLE AS atau CREATE DATABASE AS untuk menyinkronkan data dan perubahan skema dari database MongoDB ke tabel downstream secara real-time. Untuk detailnya, lihat Manage MongoDB catalogs (public preview), CREATE TABLE AS statement, CREATE DATABASE AS statement, dan MongoDB connector (public preview).

Konektor PostgreSQL CDC — Pembacaan data penuh secara konkuren (pratinjau publik)

Data penuh kini dibaca secara konkuren dari tabel sumber CDC PostgreSQL, sehingga secara signifikan mengurangi waktu yang dibutuhkan untuk menyelesaikan sinkronisasi data penuh awal. Untuk detailnya, lihat PostgreSQL CDC connector (public preview).

Konektor Hologres — Dukungan tipe data TIMESTAMP_LTZ

Konektor Hologres kini mendukung tipe data TIMESTAMP_LTZ, sehingga mempermudah pemrosesan dan analisis data yang memperhatikan zona waktu serta meningkatkan akurasi data. Selain itu, masalah perbedaan waktu saat data disinkronkan dari tabel sumber MySQL CDC ke Hologres telah diperbaiki pada versi ini. Untuk detailnya, lihat Hologres connector.

Konektor MaxCompute — Dukungan Upsert Tunnel dan skema

Dua peningkatan termasuk dalam rilis ini:

• Menulis data ke tabel Transaction Table 2.0 menggunakan MaxCompute Upsert Tunnel.

• Menentukan skema agar konektor dapat membaca dan menulis ke tabel dalam proyek MaxCompute yang memiliki fitur skema diaktifkan.

Untuk detailnya, lihat MaxCompute connector.

Elasticsearch — Kunci routing berbasis kolom

Tentukan kolom apa pun sebagai kunci routing untuk pengindeksan Elasticsearch real-time. Fitur ini memberikan kontrol lebih baik atas cara dokumen didistribusikan ke shard. Untuk detailnya, lihat Elasticsearch.

Konektor Apache Kafka — Penanganan null dan penyaringan berbasis header

Dua peningkatan berikut mengurangi data yang tidak diinginkan dan meningkatkan distribusi:

• Nilai kolom kosong tidak lagi ditulis sebagai nilai null ke string JSON, sehingga mengurangi konsumsi penyimpanan yang tidak perlu.

• Data Kafka dapat disaring berdasarkan header saat penulisan, sehingga mempermudah pengarahan data ke tujuan yang tepat.

Untuk detailnya, lihat Apache Kafka connector dan JSON.

Konektor OSS — Otentikasi bucket yang ditingkatkan

Setelah menentukan path sistem file, Anda harus mengonfigurasi otentikasi bucket Object Storage Service (OSS) untuk membaca atau menulis ke path tersebut. Hal ini memastikan pekerjaan Anda memiliki kredensial yang tepat sebelum mengakses data OSS. Untuk detailnya, lihat OSS connector.

Konektor StarRocks — Dukungan tipe JSON

Menulis data bertipe JSON ke StarRocks menggunakan konektor StarRocks untuk memenuhi kebutuhan bisnis yang melibatkan data semi-terstruktur.

Konektor Simple Log Service — Nilai null sebagai string kosong

Nilai null kini ditulis sebagai string kosong ke log, bukan dihilangkan, sehingga mempermudah penanganan bidang yang berisi nilai null. Untuk detailnya, lihat Simple Log Service connector.

Peningkatan SQL

Fungsi CUMULATE — Dukungan update stream untuk WindowAggregate

Operator WindowAggregate dari fungsi CUMULATE kini mendukung update stream. Dengan rilis ini, keempat fungsi jendela — TUMBLE, HOP, CUMULATE, dan SESSION — mendukung agregasi jendela untuk update stream seperti aliran data CDC. Pada Apache Flink 1.18 dan versi sebelumnya, fungsi jendela tidak mendukung fitur ini. Untuk detailnya, lihat Queries.