Realtime Compute for Apache Flink:Penskalaan dinamis dan pembaruan parameter dinamis

Latar Belakang

Secara tradisional, pembaruan parameter Flink memerlukan restart pekerjaan. Proses ini dapat menyebabkan gangguan layanan, keterlambatan pengisian ulang data, dan lonjakan penggunaan resource, sehingga memperpanjang downtime dan berdampak pada kelangsungan bisnis.

Fitur pembaruan parameter dinamis mengirim permintaan REST ke pekerjaan yang sedang berjalan. Fitur ini memungkinkan pekerjaan menggunakan kembali kontainer JobManager dan TaskManager yang sudah ada, lalu menerapkan pembaruan melalui restart in-place atau, dalam beberapa kasus, tanpa restart sama sekali, sehingga mengurangi biaya restart. Dikombinasikan dengan kemampuan seperti pre-alokasi resource dan pemuatan malas state, fitur ini secara signifikan mempercepat startup pekerjaan setelah pembaruan—mengurangi downtime dari hitungan menit menjadi detik. Untuk pekerjaan tipikal Source -> Map -> Sink, penggunaan pembaruan parameter dinamis untuk penskalaan dinamis secara drastis mengurangi waktu gangguan layanan. Gambar berikut membandingkan downtime tersebut.

Batasan

• Hanya parameter berikut yang mendukung pembaruan dinamis: parallelism, Checkpointing Interval, Checkpointing Timeout, dan Min Interval Between Checkpoints. Jika Anda juga mengubah parameter yang tidak mendukung pembaruan dinamis, perubahan tersebut hanya akan berlaku setelah pekerjaan di-restart.

• Fitur ini hanya tersedia untuk pekerjaan yang berjalan di Ververica Runtime (VVR) 8.0.1 atau versi yang lebih baru.

• Pembaruan dinamis parallelism tidak didukung dalam mode expert (fine-grained).

Catatan penggunaan

• Pembaruan parameter dinamis merupakan fitur eksperimen, dan gangguan layanan masih dapat terjadi selama proses pembaruan. Dibandingkan dengan modifikasi parameter secara tradisional, pembaruan dinamis dapat secara signifikan mengurangi downtime. Namun, durasi gangguan—biasanya antara 5 detik hingga 1 menit—bergantung pada faktor seperti topologi pekerjaan dan ukuran state.

• Anda hanya dapat menerapkan pembaruan parameter dinamis pada pekerjaan yang sedang berjalan.

• Saat Anda memperbarui parallelism secara dinamis, Realtime Compute for Apache Flink melewati node yang parallelism-nya telah diatur secara eksplisit. Hal ini karena operator tertentu memiliki persyaratan parallelism khusus. Misalnya, parallelism operator global harus bernilai 1, dan parallelism sumber Kafka sering kali diatur secara eksplisit untuk menghindari melebihi jumlah partisi. Agar parallelism suatu operator dapat diperbarui secara dinamis, jangan atur secara eksplisit menggunakan metode seperti DataStream#setParallelism atau parameter konfigurasi source/sink.

• Tombol Hot-update hanya muncul setelah Anda mengubah salah satu parameter yang didukung: parallelism, Checkpointing Interval, Checkpointing Timeout, atau Min Interval Between Checkpoints. Setelah Anda mengklik tombol tersebut, perubahan akan langsung berlaku. Jika Anda juga mengubah parameter yang tidak mendukung pembaruan dinamis, perubahan tersebut hanya akan berlaku setelah pekerjaan di-restart.

Prosedur

1. Buka halaman O&M > Deployments.

   1. Login ke Konsol Realtime Compute for Apache Flink.

   2. Pada kolom Actions untuk ruang kerja target, klik Console.

   3. Di panel navigasi kiri, pilih O&M > Deployments. Klik nama pekerjaan running yang dituju.

2. Pada tab Configuration, di bagian Resources atau Parameters, klik Edit.

3. Ubah nilai parameter yang mendukung pembaruan dinamis, lalu klik Save.

4. Di pojok kanan atas halaman, klik Hot-update.

   Penting

   Hanya parameter berikut yang mendukung pembaruan dinamis: parallelism, Checkpointing Interval, Checkpointing Timeout, dan Min Interval Between Checkpoints. Jika Anda juga mengubah parameter yang tidak mendukung pembaruan dinamis, perubahan tersebut hanya akan berlaku setelah pekerjaan di-restart.

5. Pada kotak dialog yang muncul, tinjau informasinya lalu klik OK.

   Setelah Anda mengklik OK, ikon akan muncul sebagai indikasi bahwa pembaruan sedang berlangsung.

Dokumentasi terkait

• Untuk memperbarui parameter yang tidak mendukung pembaruan dinamis, konfigurasikan parameter tersebut pada tab Configuration, lalu restart pekerjaan. Untuk informasi selengkapnya, lihat Konfigurasikan penerapan pekerjaan dan Mulai pekerjaan.

• Fitur penyetelan kinerja otomatis dapat membantu Anda mengoptimalkan parallelism dan konfigurasi resource pekerjaan. Untuk informasi selengkapnya, lihat Konfigurasikan penyetelan otomatis.

• Layanan diagnostik pekerjaan cerdas membantu Anda memantau kesehatan pekerjaan, menganalisis error dan anomali, serta memberikan saran diagnostik yang dapat ditindaklanjuti. Untuk informasi selengkapnya, lihat Diagnostik pekerjaan cerdas.