Tema ini menjelaskan pembaruan utama dan perbaikan bug dari versi Realtime Compute for Apache Flink yang dirilis pada 19 September 2022.
Ikhtisar
Versi baru Realtime Compute for Apache Flink dirilis resmi pada 19 September 2022. Versi ini mencakup optimasi performa, perbaikan bug, serta pembaruan signifikan pada platform, mesin, dan konektor. Ververica Runtime (VVR) yang dirilis adalah VVR 4.0.15 untuk Apache Flink 1.13 dan VVR 6.0.2 untuk Apache Flink 1.15. Berikut gambaran dari versi terbaru:
VVR 6.0.2 dirilis secara resmi. Ini merupakan rilis pertama mesin Flink tingkat perusahaan berbasis Apache Flink 1.15. Apache Flink 1.15 menghadirkan peningkatan fitur dan performa, seperti fungsi window table-valued, fungsi CAST, sistem tipe, dan fungsi JSON. Fitur dan peningkatan performa ini diimplementasikan di cloud.
Manajemen status menjadi fokus utama pengguna. Versi ini memungkinkan Anda mengelola titik pemeriksaan (checkpoints) dan titik simpan (savepoints) deployment dalam satu set status secara terpusat. Kecepatan pembuatan, ukuran, dan kecepatan pemulihan savepoints meningkat signifikan, begitu juga dengan tingkat keberhasilan dan stabilitasnya.
Pengaturan otomatis penghapusan savepoints saat membatalkan deployment tidak lagi digunakan. Checkpoints dan savepoints dibedakan dengan jelas. Anda dapat membuat dan mengelola savepoints secara eksplisit. Optimasi mesin GeminiDB dalam versi ini mengurangi biaya penyimpanan Object Storage Service (OSS) sebesar 15 hingga 40% per tahun melalui manajemen set status. Selain itu, Anda dapat memulai dan memulihkan deployment dari titik simpan milik deployment lain, memudahkan tes dua jalur seperti A/B testing.
Pemanfaatan sumber daya ditingkatkan. Fitur penyetelan sumber daya mendukung kebijakan penyetelan terjadwal yang menyesuaikan sumber daya deployment pada waktu tertentu sesuai pengaturan Anda. Jika layanan memiliki jam puncak atau sepi yang jelas, Anda dapat menggunakan kebijakan ini untuk menghemat biaya operasional.
Fitur diagnostik deployment memperkenalkan konsep skor kesehatan dalam versi baru. Fitur ini memberikan item diagnostik dan saran untuk deployment dalam semua kondisi, membantu Anda mengoperasikan deployment komputasi real-time.
Dalam hal integrasi data, Anda dapat menggunakan API baru yang didukung di sisi platform untuk mengintegrasikan bisnis.
Manajemen risiko real-time adalah salah satu skenario aplikasi utama Flink. Fitur baru terkait Complex Event Processing (CEP) bertujuan untuk perilaku event berkelanjutan. Fitur ini tersedia untuk pengguna daftar putih dalam versi pratinjau dan telah diverifikasi dalam produksi versi baru.
Versi ini memperkenalkan serangkaian peningkatan Flink CEP untuk semua pengguna. Pertama, fitur pembaruan panas aturan CEP sangat dinantikan. Kemampuan ini memungkinkan intervensi aktif pembaruan aturan selama jam puncak dan menyelesaikan masalah bisnis pengendalian risiko terganggu selama 10 menit akibat pelepasan ulang tugas. Ketersediaan bisnis meningkat signifikan. Kedua, sintaks SQL CEP ditingkatkan. Rilis ini memperluas kemampuan ekspresi SQL CEP dengan memperkenalkan sintaks ekstensi SQL baru. Anda dapat menyederhanakan deployment DataStream kompleks menjadi deployment SQL karena peningkatan sintaks SQL. Fitur ini meningkatkan efisiensi pengembangan dan dapat diintegrasikan ke dalam sistem garis keturunan tata kelola data. Terakhir, versi ini memperkenalkan lebih banyak metrik untuk menggambarkan aturan dalam Flink CEP.
Dalam hal optimasi performa, operator JOIN yang digunakan untuk menggabungkan dua aliran data dalam deployment streaming SQL memungkinkan mesin Flink secara otomatis menyimpulkan apakah akan mengaktifkan fitur pemisahan key-value. Performa deployment yang melibatkan dual-stream Join meningkat signifikan. Versi Hive yang didukung oleh Hive catalog diperluas ke Hive 2.1.0-2.3.9 dan Hive 3.1.0-3.1.3. Pengguna dapat membaca Konektor dari Tablestore, tabel sumber Java Database Connectivity (JDBC), tabel dimensi JDBC, dan tabel hasil.
Fitur Baru
Fitur | Deskripsi | Referensi |
Manajemen set status | Manajemen set status berlaku untuk semua job stateful. Manajemen status dipisahkan dari mulai dan berhenti deployment. Savepoints tidak lagi dihapus saat Anda membatalkan deployment. Pengguna dapat membuat dan menghapus savepoints pada halaman manajemen unik pada waktu yang dijadwalkan. | |
Penyetelan terjadwal | Fitur penyetelan terjadwal berlaku untuk deployment Flink dengan jam puncak atau sepi yang jelas dalam bisnis. Pengguna dapat menyiapkan kebijakan waktu kustom untuk deployment di konsol. Sumber daya deployment secara otomatis disesuaikan ke ukuran yang telah ditentukan pada waktu tertentu. Fitur ini membantu menyelesaikan fluktuasi data dan menghemat biaya operasional. | |
Skor kesehatan | Fitur skor kesehatan berlaku untuk semua deployment yang sedang dimulai atau berjalan. Fitur ini mendeteksi masalah dalam deployment dan memberikan saran menggunakan berbagai aturan ahli. Fitur ini membantu pengguna memahami status deployment dan menyesuaikan parameter. | |
Optimasi proses pemberian izin kepada akun | Proses pemberian izin kepada akun dioptimalkan. Semua pengguna RAM terdaftar untuk Anda pilih saat diberikan izin. Anda tidak perlu memasukkan informasi pengguna RAM secara manual. | |
Flink CEP | CEP adalah kemampuan untuk mencocokkan pola pada aliran data real-time. Versi ini berbasis Flink CEP. Aturan CEP dapat ditempatkan di luar database sehingga dapat dimuat secara dinamis dan berlaku. API yang digunakan adalah DataStream API. | |
Peningkatan CEP SQL | Pernyataan MATCH_RECOGNIZE memungkinkan Anda menggunakan pernyataan SQL untuk menggambarkan aturan CEP. Versi ini berbasis pada pernyataan MATCH_RECOGNIZE Flink CEP dan menyediakan kemampuan yang ditingkatkan, seperti output peristiwa yang cocok yang tidak tiba dalam interval waktu tertentu dan relaksasi non-kontiguitas dengan menggunakan notFollowedBy(). Metrik baru lainnya yang diperkenalkan termasuk:
| |
Sinkronisasi database yang mendukung sinkronisasi data ke Kafka | Data ditulis ke tabel Upsert Kafka yang sesuai dengan yang ada di database MySQL. Pengguna dapat menggunakan tabel sink Kafka sebagai pengganti tabel sink MySQL untuk mengurangi beban pada database MySQL yang disebabkan oleh beberapa deployment. | |
Pernyataan DDL yang mendefinisikan tabel partisi dalam tabel hasil Hologres | PARTITION BY didukung saat Anda membuat tabel sink Hologres. | |
Periode timeout untuk melakukan permintaan asinkron dalam tabel dimensi Hologres | Anda dapat menentukan parameter asyncTimeoutMs untuk memastikan bahwa permintaan data dapat dilakukan dalam periode tertentu. | |
Anda dapat mengonfigurasi atribut tabel saat membuat tabel Hologres. | Anda dapat menggunakan pengaturan atribut tabel yang sesuai untuk mengurutkan dan menanyakan data secara efisien. Saat membuat tabel Hologres, Anda dapat mengonfigurasi properti tabel fisik dalam klausa WITH. | |
Konektor sink MaxCompute mendukung tipe data Binary. |
| |
Hive Catalog mendukung lebih banyak versi Hive. | Versi ini mendukung Hive 2.1.0-2.3.9 dan Hive 3.1.0-3.1.3. | |
Konektor Tablestore | Anda dapat membaca log inkremental di Tablestore. | |
Konektor JDBC | Konektor JDBC sudah terintegrasi. | |
Paralelisme untuk tabel sumber Message Queue for Apache RocketMQ dapat lebih besar dari jumlah partisi yang didefinisikan dalam topik pesan Message Queue for Apache RocketMQ. | Pengguna dapat memesan sumber daya untuk jumlah partisi yang mungkin dalam topik sebelum konsumsi. | |
Kunci pesan tabel hasil Message Queue for Apache RocketMQ dapat ditentukan. | Anda dapat menentukan kunci pesan Message Queue for Apache RocketMQ. | |
Katalog AnalyticDB for MySQL | Anda dapat membaca metadata dari AnalyticDB for MySQL menggunakan katalog. Anda tidak perlu lagi mendaftarkan tabel AnalyticDB for MySQL secara manual. Ini meningkatkan efisiensi pengembangan deployment dan memastikan data benar. |
Optimasi Performa
Format asli untuk savepoints diperkenalkan. Ini membantu mengoptimalkan masalah savepoints dalam format kanonik yang sering kali habis waktu dalam job dengan status besar, dan membuat deployment lebih stabil. Tabel berikut menggambarkan keuntungan dari format asli:
Bidang
Manfaat
Waktu yang diperlukan untuk membuat savepoint
Efisiensi rata-rata meningkat sebesar 500-1.000% dan meningkat dengan berkurangnya state inkremental. Efisiensi bahkan dapat meningkat hingga 10.000% dalam deployment tipikal.
Waktu yang diperlukan untuk memulihkan deployment
Efisiensi rata-rata meningkat sekitar 500% dan meningkat dengan bertambahnya ukuran state.
Overhead ruang savepoint
Overload ruang rata-rata berkurang sebesar 200% dan rasio penghematan meningkat dengan bertambahnya ukuran state.
Overhead jaringan savepoint
Overhead jaringan rata-rata berkurang sebesar 500% hingga 1.000% dan rasio penghematan meningkat dengan berkurangnya state inkremental.
Operator JOIN yang digunakan untuk menggabungkan dua aliran data dalam deployment streaming SQL memungkinkan mesin Flink secara otomatis menyimpulkan apakah akan mengaktifkan fitur pemisahan key-value. Operator JOIN yang digunakan untuk menggabungkan dua aliran data dalam deployment streaming SQL dapat secara otomatis menyimpulkan apakah akan mengaktifkan fitur pemisahan key-value berdasarkan karakteristik deployment dan meningkatkan performa dual-stream join. Dalam pengujian performa skenario tipikal, peningkatan performa rata-rata lebih dari 40%. Untuk informasi lebih lanjut, lihat Optimalkan Flink SQL dan Konfigurasi GeminiStateBackend.
Kecepatan startup deployment meningkat rata-rata sebesar 15%.
Perbaikan Bug
Masalah berikut telah diperbaiki:
Waktu modifikasi deployment diperbarui secara tidak normal.
Status tidak dapat ditentukan setelah deployment tertentu dihentikan sementara dan dimulai ulang.
Paket JAR tidak dapat diunggah secara lokal dari Alibaba Finance Cloud.
Jumlah total sumber daya yang dikonfigurasi untuk menjalankan deployment tidak sesuai dengan yang ada di halaman Statistik.
Anda tidak dapat masuk ke halaman Logs.
Kesalahan dilaporkan saat mencoba mengakses tabel Upsert Kafka melalui katalog Kafka.
Kesalahan NullPointerException dikembalikan saat hasil perantara digunakan untuk operasi bersarang dari beberapa fungsi yang ditentukan pengguna (UDF).
Dalam MySQL-CDC, chunk abnormal dan out-of-memory (OOM) terjadi, serta zona waktu data inisialisasi tidak konsisten dengan data inkremental. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter sumber daya, lihat Buat tabel sumber MySQL CDC.