Topik ini menjelaskan catatan rilis untuk Realtime Compute for Apache Flink dan menyediakan tautan ke referensi terkait. Catatan rilis mencakup pembaruan utama dan perbaikan bug di Realtime Compute for Apache Flink pada versi yang dirilis tanggal 16 Mei 2022.
Ikhtisar
Ververica Runtime (VVR) 4.0.13 resmi dirilis pada 16 Mei 2022. Versi ini dikembangkan berdasarkan Apache Flink V1.13 dan mencakup pembaruan fitur berikut:
Fitur baru
Fitur | Deskripsi | Referensi |
Dukungan untuk katalog Kafka | Katalog Kafka dapat digunakan untuk mengurai pesan Kafka secara otomatis guna inferensi informasi tabel. Dengan cara ini, Anda dapat langsung mengakses topik kluster Kafka tanpa perlu mengeksekusi pernyataan DDL. Katalog Kafka juga dapat mengurai pesan berformat JSON untuk mendapatkan skema topik, meningkatkan efisiensi dan akurasi pengembangan Flink SQL. | |
Sinkronisasi data dari beberapa tabel dalam database sharded menggunakan CREATE DATABASE AS | Ekspresi reguler dapat digunakan untuk menentukan nama database guna mencocokkan tabel sumber dalam beberapa shard database dari sumber data. Setelah data dalam shard database digabungkan, data tersebut dapat disinkronkan ke tabel tujuan hilir dengan nama yang sesuai dengan setiap tabel sumber. | |
Konsumsi data penuh dan tambahan dari tabel sumber menggunakan konektor Hologres | Konektor Hologres dapat digunakan untuk menyinkronkan data penuh dari tabel sumber Hologres dan kemudian beralih dengan lancar untuk menyinkronkan data tambahan guna mengonsumsi data log biner. Dengan cara ini, data dapat disinkronkan secara efisien saat membangun pipeline data untuk gudang data real-time. | |
TTL untuk kunci dalam tabel hasil ApsaraDB for Redis | Dalam sebagian besar kasus, waktu kedaluwarsa perlu dikonfigurasi untuk data dalam database ApsaraDB for Redis. Anda dapat mengonfigurasi TTL untuk kunci saat menulis data ke tabel hasil ApsaraDB for Redis. | |
Dukungan untuk MaxCompute Streaming Tunnel dan kompresi data berbasis MaxCompute Streaming Tunnel atau Batch Tunnel | MaxCompute Streaming Tunnel dapat digunakan untuk menulis data ke MaxCompute dalam mode streaming. Jika pekerjaan tidak memerlukan semantik exactly-once, Anda dapat menggunakan MaxCompute Streaming Tunnel untuk mencegah masalah kinerja yang terjadi saat checkpoint dibuat dengan kecepatan rendah. Selain itu, data dapat dikompresi menggunakan tunnel untuk meningkatkan efisiensi transmisi data. | |
API DataStream yang didukung oleh konektor Hologres | Konektor Hologres DataStream didukung. | - |
retry_on_conflict didukung oleh konektor Elasticsearch | Jika Anda ingin memperbarui data dalam tabel hasil Elasticsearch, Anda dapat mengonfigurasi parameter retry_on_conflict untuk menentukan jumlah maksimum percobaan ulang yang terjadi karena konflik versi. | |
Kompatibilitas antara Flink CDC 2.2 dan konektor MySQL CDC serta Postgres CDC | Konektor MySQL Change Data Capture (CDC) dan Postgres CDC kompatibel dengan semua fitur Flink CDC 2.2. Semua cacat dalam Flink CDC 2.2 juga diperbaiki dalam versi Realtime Compute for Apache Flink ini. | Tidak ada |
Peristiwa denyut jantung yang digunakan untuk mengidentifikasi posisi terbaru file log biner yang dibaca dari sumber | Peristiwa denyut jantung digunakan untuk mengidentifikasi posisi terbaru file log biner yang dibaca dari sumber. Metode ini efektif untuk tabel yang jarang diperbarui di MySQL. Sumber dapat memajukan posisi file log biner berdasarkan peristiwa denyut jantung alih-alih peristiwa pembaruan, mencegah posisi file log biner kedaluwarsa. | |
Dukungan untuk tipe data UNSIGNED FLOAT, DOUBLE, dan DECIMAL | Tipe data UNSIGNED FLOAT, DOUBLE, dan DECIMAL didukung oleh konektor MySQL CDC dan katalog MySQL. | |
Konfigurasi parameter JDBC untuk konektor MySQL CDC | Parameter Java Database Connectivity (JDBC) dapat dikonfigurasi untuk konektor MySQL CDC guna mengakses instance MySQL. | |
Penghentian paksa cluster sesi | Cluster sesi banyak digunakan untuk menghemat sumber daya. Namun, cluster sesi dapat memengaruhi stabilitas produksi karena batasan arsitektur cluster sesi. Jika cluster sesi abnormal, semua pekerjaan dalam cluster tidak dapat berjalan seperti yang diharapkan. Untuk mencegah masalah ini, kami sarankan Anda tidak menerbitkan pekerjaan di lingkungan produksi ke cluster sesi untuk dijalankan. Jika pekerjaan gagal karena pengecualian cluster sesi tempat pekerjaan tersebut berada, Anda dapat secara paksa menghentikan cluster sesi. | Konfigurasikan lingkungan pengembangan dan pengujian (cluster sesi) |
Analisis cerdas pengecualian JobManager | Jika terjadi kesalahan saat pekerjaan Realtime Compute for Apache Flink sedang berjalan, JobManager mencatat pengecualian TaskManagers ke dalam log. Anda dapat melihat log pengecualian di tab Logs di konsol pengembangan Realtime Compute for Apache Flink. Log pengecualian dapat disimpan untuk periode waktu singkat. Jika pekerjaan gagal berturut-turut, penyebab utama mungkin tertutupi oleh informasi stack berikutnya. Dalam versi ini, waktu penyimpanan log pengecualian diperpanjang dan log pengecualian diklasifikasikan, membantu Anda dengan mudah mengidentifikasi penyebab utama pengecualian. | |
Dokumentasi Alibaba Cloud bawaan | Selama pengembangan dan O&M pekerjaan, pengembang perlu dialihkan ke Pusat Dokumentasi Alibaba Cloud dari konsol pengembangan Realtime Compute for Apache Flink untuk melihat dokumen. Pergantian jendela yang sering dapat mengganggu pekerjaan pengembang. Untuk meningkatkan pengalaman pengembangan, Flink yang sepenuhnya dikelola menyediakan dokumentasi Alibaba Cloud bawaan di konsol Flink yang sepenuhnya dikelola. Anda dapat langsung melihat dokumentasi di konsol Flink yang sepenuhnya dikelola untuk mencegah pergantian jendela yang sering. | Tidak ada |
Pemberitahuan layanan | Pemberitahuan layanan ditambahkan ke konsol Realtime Compute for Apache Flink. Dengan cara ini, Anda dapat langsung menerima berbagai pemberitahuan termasuk pembaruan produk, menghindari masalah bahwa pemberitahuan gagal dikirim ke pengguna menggunakan pesan teks, pesan internal, atau grup DingTalk. | Tidak ada |
Optimasi UI |
|
Optimasi kinerja
T/A.
Masalah yang diperbaiki
Masalah berikut telah diperbaiki: Jika jumlah shard berubah tetapi konektor Log Service gagal mendapatkan daftar shard baru, data tidak dapat dibaca.
Kesalahan [J tidak dapat dilemparkan ke [Ljava.lang.Object; yang dipicu oleh fitur optimasi agregasi seperti miniBatch telah diperbaiki.
Masalah bahwa data dalam tabel hasil ApsaraDB for HBase menjadi tidak berurutan selama pemrosesan data asinkron telah diperbaiki.
Masalah bahwa pointer null terjadi dalam operasi join dua aliran data telah diperbaiki.
Masalah bahwa pembuatan checkpoint selalu gagal ketika konektor MySQL CDC digunakan untuk menulis data ke Hudi telah diperbaiki.
Logika komputasi yang digunakan untuk melaporkan metrik pendingRecords untuk tabel sumber Message Queue for Apache Kafka telah dioptimalkan.
Masalah bahwa nama anggota tertentu tidak ditampilkan di konsol pengembangan Realtime Compute for Apache Flink telah diperbaiki.
Masalah bahwa kesalahan terjadi selama verifikasi sintaks DDL valid tertentu telah diperbaiki.