Topik ini menjelaskan pembaruan utama dan perbaikan bug dari versi Realtime Compute for Apache Flink yang dirilis pada 21 Agustus 2023.
Ververica Runtime (VVR) 8.0.1 yang diperkenalkan dalam rilis ini dapat menyebabkan kehilangan data dalam skenario tertentu, memengaruhi akurasi data. Setelah evaluasi cermat, Alibaba Cloud mengumumkan Akhir Dukungan (EOS) untuk VVR 8.0.1. Kami menyarankan Anda meningkatkan ke VVR 8.0.5 atau lebih baru sesegera mungkin. Untuk panduan peningkatan, lihat Tingkatkan versi mesin deployment. Kami menyediakan dukungan dan panduan yang diperlukan untuk membantu Anda beralih dengan lancar ke versi yang lebih aman dan stabil. Terima kasih atas pengertian dan kerja sama Anda.
Ikhtisar
Rilis Realtime Compute for Apache Flink ini mencakup pembaruan mesin, pembaruan konektor, optimasi kinerja, dan perbaikan bug.
VVR 8.0.1 resmi dirilis berbasis Apache Flink 1.17.1, menyertakan fitur baru, peningkatan kinerja, dan perbaikan bug. Contohnya, Generic Incremental Checkpoint (GIC) di Apache Flink 1.17 meningkatkan kecepatan dan stabilitas proses checkpointing. Stabilitas unaligned checkpoints (UCs) saat terjadi tekanan balik juga ditingkatkan, sehingga UCs siap digunakan di lingkungan produksi. Kinerja pemrosesan batch juga meningkat signifikan.
Arsitektur inti backend status tingkat perusahaan direstrukturisasi, yang memberikan manfaat berikut: (1) Peningkatan kinerja: Format status, sistem penyimpanan file, dan strategi pembersihan data dioptimalkan. Ini secara signifikan mengurangi tekanan pada ruang disk lokal dan meningkatkan kecepatan akses status. Akibatnya, kinerja rata-rata deployment dengan status besar meningkat lebih dari 40% dan ukuran status berkurang sekitar 30%. (2) Peningkatan stabilitas: Mekanisme penskalaan dan pemulihan status ditingkatkan. Dalam skenario di mana ukuran status besar, seperti 100 GB, waktu interupsi yang disebabkan oleh pembaruan deployment dapat dikurangi dari menit menjadi detik. Secara default, backend status tingkat perusahaan yang direstrukturisasi digunakan di VVR 8.0.1. Tidak diperlukan konfigurasi tambahan.
Selain peningkatan mesin dan restrukturisasi backend status, rilis ini mencakup fitur-fitur berikut untuk meningkatkan interoperabilitas antara Realtime Compute for Apache Flink dan layanan penyimpanan serta komputasi Alibaba Cloud lainnya, kemampuan konektor, serta kinerja dan stabilitas sistem:
Konektor MongoDB Change Data Capture (CDC) tersedia dalam pratinjau publik. Konektor ini mendukung pembacaan snapshot inkremental, memfasilitasi integrasi dengan aplikasi Flink SQL downstream, dan memastikan pemrosesan tepat-sekali untuk mencegah duplikasi atau kehilangan data. Konektor juga menyediakan mode startup fleksibel untuk memenuhi kebutuhan bisnis Anda.
Jika deployment menggunakan pernyataan CREATE DATABASE AS dan tabel baru dibuat di database sumber, data status dapat digunakan untuk memulai ulang deployment, mencegah biaya manajemen tambahan akibat restart.
Konektor OceanBase diperkenalkan untuk membuat tabel sink dan tabel dimensi. OceanBase adalah database relasional hybrid transaksional/analitik (HTAP) terdistribusi yang menawarkan konsistensi kuat, ketersediaan tinggi, kinerja tinggi, skalabilitas online, kompatibilitas tinggi dengan standar SQL, dan biaya rendah.
Lebih banyak tipe data Tair didukung untuk meningkatkan kemampuan kelas perusahaan. Contohnya, TairTs untuk dataset time series real-time, TairVector untuk dataset vektor AI, TairCpc untuk aplikasi deteksi penipuan real-time, dan TairRoaring untuk sistem profil pelanggan real-time.
Tabel dalam katalog Layanan Log Sederhana (SLS) dapat digunakan sebagai tabel sink. Anda dapat mendefinisikan dan menulis data ke SLS seperti menggunakan tabel permanen.
Pembaruan dalam versi 0.5-snapshot Apache Paimon (pratinjau undangan) didukung. Perubahan tipe kolom dalam tabel sumber yang ditangkap oleh Flink CDC dapat diterapkan ke tabel Apache Paimon.
Peningkatan versi diluncurkan menggunakan strategi rilis canary selama dua minggu. Setelah peningkatan selesai untuk wilayah dan akun Anda, Anda dapat menggunakan versi mesin baru untuk deployment. Untuk informasi lebih lanjut, lihat Tingkatkan versi mesin deployment. Kami menantikan umpan balik Anda.
Fitur
Fitur | Deskripsi | Referensi |
MongoDB CDC connector (pratinjau publik) | Konektor MongoDB CDC digunakan untuk membuat tabel sumber guna membaca data inkremental dari database MongoDB. | |
Sinkronisasi tabel baru menggunakan pernyataan CREATE DATABASE AS | Jika tabel baru ditambahkan ke database sumber setelah deployment menggunakan pernyataan CREATE DATABASE AS dimulai, deployment dapat dimulai ulang berdasarkan snapshot untuk menangkap dan menyinkronkan data dari tabel baru. | |
CREATE TABLE AS antara BEGIN STATEMENT SET; dan END; | Menambahkan pernyataan CREATE TABLE AS antara BEGIN STATEMENT SET; dan END; memungkinkan deployment dimulai ulang berdasarkan snapshot untuk menangkap dan menyinkronkan data dari tabel baru, meningkatkan fleksibilitas tanpa menambah jumlah deployment. | |
Konfigurasi time-to-live (TTL) terpisah untuk setiap stream dalam join reguler | Dua stream dalam join reguler dapat memiliki nilai TTL berbeda. Fitur ini memungkinkan konfigurasi TTL terpisah untuk setiap stream, meningkatkan stabilitas deployment dan mengurangi biaya operasional. | |
Pengenalan konektor OceanBase | Konektor OceanBase digunakan untuk membuat tabel sink dan tabel dimensi. | |
Dukungan untuk query pushdown di konektor SLS | Data difilter di ujung sumber, meningkatkan efisiensi pembacaan. | |
Dukungan untuk tabel sink di katalog SLS | Katalog SLS digunakan untuk menulis data ke SLS. | |
Dukungan untuk AnalyticDB for PostgreSQL V7.0 | Konektor AnalyticDB for PostgreSQL digunakan untuk membaca dan menulis data ke instance AnalyticDB for PostgreSQL V7.0. | |
Dukungan untuk berbagai tipe data Tair yang lebih lengkap | Tipe data seperti TairTs, TairCpc, TairRoaring, TairVector, dan TairGis didukung. | |
Dukungan untuk versi baru Apache Paimon dan sinkronisasi perubahan tipe kolom ke Apache Paimon | Apache Paimon 0.5-snapshot didukung. Jika Anda menggunakan Flink CDC untuk menulis data ke Apache Paimon, perubahan tipe kolom dalam tabel sumber dapat diterapkan ke tabel Apache Paimon. |
Masalah yang Diperbaiki
Pesan kesalahan "Filtering update table metadata event: Event{header=EventHeaderV4" muncul saat menggunakan konektor MySQL untuk membaca database PolarDB untuk MySQL.
Tidak ada output yang dihasilkan saat fungsi tabel bernilai window (TVF) digunakan dengan kondisi.