Realtime Compute for Apache Flink：Perbarui konfigurasi parameter secara dinamis untuk penskalaan dinamis

Informasi Latar Belakang

Metode pembaruan parameter tradisional memerlukan restart penyebaran, yang dapat menyebabkan gangguan layanan, penundaan dalam pelacakan balik data, dan lonjakan konsumsi sumber daya. Hal ini memperpanjang waktu pembatalan penyebaran dan memengaruhi kontinuitas bisnis.

Dengan fitur pembaruan parameter dinamis, permintaan REST dikirim ke penyebaran yang sedang berjalan. Fitur ini memungkinkan penyebaran menggunakan kembali JobManager dan TaskManagers yang ada, serta memperbarui konfigurasi parameter melalui restart di tempat atau tanpa restart sama sekali. Ini mengurangi biaya terkait dengan restart penyebaran. Fitur ini bekerja bersama dengan kemampuan pra-aplikasi sumber daya dan pemuatan lambat status untuk mempercepat startup penyebaran setelah pembaruan konfigurasi. Waktu gangguan layanan dapat dikurangi dari menit menjadi detik. Sebagai contoh, saat melakukan penskalaan dinamis pada penyebaran yang membaca, memetakan, dan menulis data, fitur ini secara signifikan mengurangi waktu gangguan layanan. Gambar berikut menunjukkan perbandingan waktu gangguan layanan antara pembaruan parameter dinamis dan tradisional.

Batasan

• Anda dapat secara dinamis mengubah nilai parameter berikut: Parallelism, Checkpointing Interval, Checkpointing Timeout time, dan Min Interval Between Checkpoints. Jika Anda mengubah nilai parameter yang tidak dapat diperbarui secara dinamis, Anda harus me-restart penyebaran agar konfigurasi baru berlaku.

• Hanya Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 8.0.1 atau versi lebih baru yang mendukung fitur pembaruan parameter dinamis.

• Parameter Parallelism tidak dapat diperbarui secara dinamis dalam mode ahli (konfigurasi sumber daya granular halus).

Catatan penting

• Pembaruan parameter dinamis adalah fitur eksperimental. Layanan mungkin terganggu selama pembaruan konfigurasi parameter. Dibandingkan dengan metode tradisional, pembaruan parameter dinamis dapat secara signifikan mempersingkat waktu gangguan layanan. Waktu gangguan dipengaruhi oleh faktor-faktor seperti topologi penyebaran dan ukuran status. Dalam kebanyakan kasus, waktu gangguan berkisar antara 5 detik hingga 1 menit.

• Anda hanya dapat secara dinamis mengubah nilai parameter untuk penyebaran yang sedang berjalan.

• Anda hanya dapat secara dinamis mengubah paralelisme node yang paralelismenya tidak ditentukan. Jika paralelisme sebuah node ditentukan, konfigurasi manual paralelisme dilewati dalam Realtime Compute for Apache Flink karena persyaratan khusus dalam skenario tertentu. Misalnya, paralelisme operator global harus 1 dan tidak dapat diubah. Anda harus secara eksplisit menentukan paralelisme untuk node sumber Kafka untuk mencegah paralelisme melebihi jumlah partisi. Jika Anda ingin paralelisme node diperbarui secara dinamis, kami sarankan Anda tidak menentukan paralelisme operator menggunakan metode DataStream#setParallelism atau mengonfigurasi parameter paralelisme operator sumber atau sink.

• Anda dapat mengubah nilai parameter berikut secara dinamis: Parallelism, Checkpointing Interval, Checkpointing Timeout time, dan Min Interval Between Checkpoints. Tombol Hot-update hanya muncul setelah Anda mengubah salah satu parameter tersebut. Perubahan akan berlaku setelah Anda mengklik tombol tersebut. Jika Anda juga mengubah parameter yang tidak mendukung pembaruan dinamis, Anda harus me-restart penyebaran agar perubahan diterapkan.

Prosedur

1. Buka halaman Deployments.

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Temukan ruang kerja yang ingin Anda kelola dan klik Console di kolom Actions.

   3. Di panel navigasi sebelah kiri, pilih O&M > Deployments. Pada halaman Penyebaran, klik nama penyebaran yang ingin Anda kelola.

2. Pada tab Configuration, klik Edit di pojok kanan atas bagian Resources atau Parameters.

3. Ubah nilai parameter yang dapat diperbarui secara dinamis dan klik Save.

4. Di pojok kanan atas halaman Penyebaran, klik Hot-update.

   Penting

   Anda dapat secara dinamis mengubah nilai parameter berikut: Parallelism, Checkpointing Interval, Checkpointing Timeout time, dan Min Interval Between Checkpoints. Tombol Hot-update hanya muncul setelah Anda mengubah nilai parameter yang dapat diperbarui secara dinamis. Anda dapat mengklik tombol tersebut untuk membuat konfigurasi parameter baru berlaku. Jika Anda mengubah nilai parameter yang tidak dapat diperbarui secara dinamis, Anda harus me-restart penyebaran agar konfigurasi baru berlaku.

   

5. Dalam pesan yang muncul, tinjau informasi dan klik OK.

   Setelah Anda mengklik OK, ikon yang menunjukkan pembaruan parameter dinamis akan muncul.

   

Referensi

• Untuk membuat perubahan pada konfigurasi parameter yang tidak dapat diperbarui secara dinamis berlaku untuk penyebaran, modifikasi konfigurasi parameter pada tab Configuration halaman Penyebaran, lalu restart penyebaran. Untuk informasi lebih lanjut, lihat Konfigurasikan penyebaran dan Mulai penyebaran.

• Fitur penyetelan otomatis membantu menyesuaikan paralelisme dan konfigurasi sumber daya penyebaran untuk menyelesaikan masalah penyetelan performa. Untuk informasi lebih lanjut, lihat Konfigurasikan penyetelan otomatis.

• Fitur diagnostik penyebaran cerdas membantu memantau status kesehatan penyebaran, menganalisis log kesalahan, operasi abnormal, dan risiko, serta memberikan saran diagnostik yang mudah dipahami. Untuk informasi lebih lanjut, lihat Lakukan diagnostik penyebaran cerdas.