Topik ini menjelaskan fitur utama dan perbaikan bug dalam rilis Realtime Compute for Apache Flink tanggal 19 September 2022.
Ikhtisar
Pada 19 September 2022, Realtime Compute for Apache Flink merilis versi baru yang mencakup pembaruan platform dan engine, pembaruan konektor, optimasi kinerja, serta perbaikan bug. Rilis ini mencakup VVR-4.0.15 berbasis Apache Flink 1.13 dan VVR-6.0.2 berbasis Apache Flink 1.15. Pembaruan utamanya adalah sebagai berikut:
Rilis ini memperkenalkan VVR 6.0.2, engine Flink enterprise-grade pertama berbasis Apache Flink 1.15. Versi ini mengintegrasikan fitur utama dan optimasi kinerja dari komunitas open-source, termasuk peningkatan pada fungsi bernilai tabel window, fungsi CAST, sistem tipe, dan fungsi JSON.
Manajemen state telah menjadi fokus utama pengguna kami. Rilis ini menyatukan manajemen checkpoint dan savepoint ke dalam satu fitur: manajemen status set. Hal ini secara signifikan meningkatkan kecepatan pembuatan dan pemulihan savepoint, mengurangi ukuran savepoint, serta meningkatkan tingkat keberhasilan dan stabilitas secara keseluruhan.
Selain itu, savepoint tidak lagi dihapus saat deployment dibatalkan, yang mengubah perilaku sebelumnya. Kini, checkpoint dan savepoint bersifat terpisah, dan Anda dapat secara eksplisit membuat serta mengelola savepoint. Selain peningkatan kemudahan penggunaan, optimasi pada backend status Gemini menghasilkan penghematan biaya yang signifikan. Manajemen status set yang baru dapat mengurangi biaya penyimpanan OSS tahunan Anda sebesar 15% hingga 40%. Platform ini juga memungkinkan Anda memulai deployment dari savepoint yang dibuat oleh deployment lain, yang menyederhanakan skenario seperti Pengujian A/B dan dual-run lainnya.
Untuk meningkatkan pemanfaatan resource, kami memperkenalkan penyetelan terjadwal. Jika workload Anda memiliki puncak dan lembah trafik yang dapat diprediksi, Anda dapat membuat kebijakan untuk secara otomatis menyesuaikan resource deployment ke ukuran yang telah ditentukan pada waktu tertentu. Hal ini membantu Anda mengelola penskalaan resource tanpa intervensi manual dan mengurangi biaya tenaga kerja.
Untuk membantu mendiagnosis deployment, kami memperkenalkan health score. Fitur ini menganalisis deployment sepanjang siklus hidupnya, mulai dari startup hingga berjalan, serta menyediakan informasi diagnostik dan rekomendasi untuk membantu Anda memelihara deployment streaming Anda.
Untuk integrasi yang lebih baik, platform kini menyediakan serangkaian operasi OpenAPI baru, memungkinkan Anda mengintegrasikan kemampuannya ke dalam layanan Anda sendiri.
Kontrol risiko real-time merupakan kasus penggunaan utama Flink. Sebelumnya, kami telah menawarkan pratinjau fitur baru untuk Pemrosesan Peristiwa Kompleks (CEP) pada urutan event kontinu kepada pelanggan terpilih, dan telah berhasil divalidasi di lingkungan produksi.
Dalam rilis ini, kami menjadikan serangkaian peningkatan CEP tersedia secara umum. Pertama, kemampuan hot-update untuk aturan CEP yang sangat diminati kini tersedia. Hal ini memungkinkan Anda memperbarui aturan selama jam sibuk bisnis tanpa me-restart deployment Anda, sehingga menghilangkan gangguan layanan selama sepuluh menit yang sebelumnya dialami sistem kontrol risiko saat pembaruan aturan dan secara signifikan meningkatkan ketersediaan bisnis. Kedua, kami telah meningkatkan sintaksis CEP SQL dengan ekstensi baru untuk meningkatkan ekspresivitasnya. Hal ini memungkinkan Anda mengonversi deployment DataStream API yang kompleks menjadi deployment SQL yang lebih sederhana, meningkatkan efisiensi pengembangan dan mempermudah integrasi dengan sistem alur data. Terakhir, rilis ini memperkenalkan beberapa metrik CEP baru untuk memberikan wawasan mendetail mengenai pencocokan aturan.
Optimasi lainnya mencakup peningkatan kinerja. Kini kami secara otomatis mengaktifkan Pemisahan key-value untuk operator dual-stream join di Flink SQL. Optimasi ini secara signifikan meningkatkan kinerja deployment dual-stream join tanpa memerlukan konfigurasi pengguna. Kami juga telah memperluas rentang versi Hive yang didukung untuk Hive Catalog agar mencakup 2.1.0–2.3.9 dan 3.1.0–3.1.3. Untuk konektor, kami telah menambahkan dukungan untuk membaca dari Tablestore dan menggunakan konektor JDBC dengan tabel sumber, tabel dimensi, serta tabel hasil.
Fitur baru
Feature | Description | Documentation |
Status set management | Status set management memisahkan manajemen state dari operasi start dan stop deployment untuk semua deployment Flink stateful. Savepoint tidak lagi dihapus saat deployment dihentikan. Anda dapat menggunakan halaman manajemen khusus untuk membuat dan menghapus savepoint sesuai jadwal. | |
Scheduled tuning | Untuk deployment Flink dengan puncak dan lembah trafik yang dapat diprediksi, Anda dapat menentukan kebijakan penjadwalan kustom. Pada waktu yang ditentukan, resource deployment secara otomatis disesuaikan ke ukuran yang telah ditetapkan untuk menangani fluktuasi trafik, sehingga menghilangkan kebutuhan penskalaan manual. | |
Health score | Fitur health score menerapkan aturan ahli untuk mendeteksi masalah selama startup dan eksekusi deployment, serta memberikan rekomendasi yang dapat ditindaklanjuti. Fitur ini membantu Anda lebih memahami status deployment Anda dan menyesuaikan parameter yang sesuai. | |
Improved member authorization | Proses otorisasi ditingkatkan: alih-alih memasukkan informasi pengguna secara manual, kini Anda dapat memilih dari daftar semua Pengguna RAM saat memberikan izin. | |
Dynamic complex event processing (CEP) | CEP menyediakan kemampuan pencocokan pola untuk aliran data real-time. Rilis ini membangun di atas Flink CEP open source dengan memungkinkan Anda mengeksternalisasi aturan deployment ke dalam database sehingga dapat dimuat secara dinamis. Hal ini diekspos melalui DataStream API. | |
Enhancement of CEP SQL | Pernyataan MATCH_RECOGNIZE memungkinkan Anda menggambarkan aturan CEP menggunakan SQL. Rilis ini meningkatkan pernyataan MATCH_RECOGNIZE Flink open source dengan kemampuan baru, seperti mengeluarkan pencocokan yang timeout dan mendukung Selain itu, metrik baru telah diperkenalkan:
| |
Support for database synchronization to Kafka | Saat menggunakan fitur ini, data disinkronkan ke tabel Upsert Kafka yang sesuai. Anda dapat langsung menggunakan tabel di Kafka alih-alih tabel MySQL, sehingga mengurangi beban pada layanan MySQL dari beberapa deployment. | |
Define partitioned tables in Hologres result tables with DDL | Anda dapat menggunakan PARTITION BY untuk menentukan tabel partisi saat membuat tabel hasil Hologres. | |
Set timeout for asynchronous requests in Hologres dimension tables | Dengan mengatur parameter | |
Set table properties when creating tables with Hologres Catalog | Menetapkan properti tabel yang sesuai dapat membantu sistem mengorganisasi dan mengkueri data secara efisien. Saat menggunakan Hologres Catalog untuk membuat tabel, kini Anda dapat menetapkan properti tabel fisik dalam klausa WITH. | |
MaxCompute sink connector supports the Binary type |
| |
Hive Catalog supports more Hive versions | Versi ini mendukung Hive 2.1.0–2.3.9 dan 3.1.0–3.1.3. | |
Tablestore source connector released | Mendukung pembacaan log inkremental dari Tablestore. | |
JDBC connector released | Konektor JDBC komunitas kini telah dibundel secara bawaan. | |
Parallelism of a Message Queue for Apache RocketMQ source table can exceed the topic partition count | Mode ini memungkinkan Anda mengalokasikan resource terlebih dahulu untuk potensi peningkatan partisi topik sebelum konsumsi dimulai. | |
Set Message Key for Message Queue for Apache RocketMQ result tables | Kini Anda dapat menetapkan kunci pesan saat menulis ke Message Queue for Apache RocketMQ. | |
Support for AnalyticDB for MySQL Catalog | Dengan katalog ini, Anda dapat langsung membaca metadata dari AnalyticDB for MySQL tanpa perlu mendaftarkan tabel AnalyticDB for MySQL secara manual. Hal ini meningkatkan efisiensi pengembangan dan memastikan keakuratan data. |
Optimasi kinerja
Rilis ini memperkenalkan format savepoint native, yang mengatasi masalah timeout yang sebelumnya terjadi pada savepoint format standar untuk deployment dengan state besar. Hal ini secara signifikan meningkatkan stabilitas deployment secara keseluruhan.
Metric
Improvement
Savepoint completion time
Peningkatan rata-rata 5 hingga 10 kali lipat, dengan rasio meningkat seiring berkurangnya ukuran state inkremental. Pada beberapa deployment khas, peningkatan dapat mencapai 100 kali lipat.
Deployment recovery time
Peningkatan rata-rata sekitar 5 kali lipat, dengan rasio meningkat seiring bertambahnya ukuran state.
Savepoint space overhead
Pengurangan overhead ruang rata-rata sebesar 2 kali lipat, dengan rasio meningkat seiring bertambahnya ukuran state.
Savepoint network overhead
Pengurangan overhead jaringan rata-rata 5 hingga 10 kali lipat, dengan rasio meningkat seiring berkurangnya ukuran state inkremental.
Operator dual-stream join kini secara otomatis melakukan inferensi kapan harus mengaktifkan Pemisahan key-value untuk mengoptimalkan kinerja. Untuk deployment SQL, operator dual-stream join secara otomatis menganalisis karakteristik deployment dan mengaktifkan Pemisahan key-value untuk mengoptimalkan kinerja. Dalam pengujian kinerja untuk skenario khas, kinerja rata-rata meningkat lebih dari 40%. Untuk informasi lebih lanjut, lihat Optimize high-performance Flink SQL dan Configure enterprise-grade state backends.
Startup deployment kini rata-rata 15% lebih cepat.
Perbaikan bug
Memperbaiki masalah di mana waktu modifikasi deployment diperbarui secara salah.
Memperbaiki masalah di mana status beberapa deployment tidak dapat ditentukan setelah ditangguhkan dan dijalankan ulang.
Memperbaiki masalah di mana file JAR tidak dapat diunggah secara lokal dari Alibaba Finance Cloud.
Memperbaiki masalah di mana total resource yang digunakan oleh deployment yang sedang berjalan tidak konsisten dengan statistik di halaman.
Memperbaiki masalah navigasi halaman yang gagal di log diagnostik deployment.
Memperbaiki error saat membaca tabel upsert Kafka langsung dari Kafka Catalog.
Memperbaiki NullPointerException saat menggunakan hasil antara dalam operasi bersarang dengan beberapa user-defined function (UDF).
Memperbaiki masalah pada mysql-cdc, termasuk pemisahan chunk yang tidak normal, error kehabisan memori (OOM), dan ketidakkonsistenan zona waktu antara data awal dan data inkremental. Untuk informasi lebih lanjut, lihat MySQL CDC source table.