SchedulerX:Parameter lanjutan untuk manajemen pekerjaan

Parameter

Mode eksekusi yang berlaku

Deskripsi

Nilai default

Jumlah percobaan ulang kegagalan tugas

Semua mode

Jumlah percobaan ulang otomatis jika sebuah pekerjaan gagal.

0

Interval percobaan ulang kegagalan tugas

Semua mode

Interval antara dua kali percobaan ulang berturut-turut. Satuan: detik.

30

Konkurensi tugas

Semua mode

Jumlah instance yang menjalankan pekerjaan yang sama pada saat bersamaan. Nilai 1 menentukan bahwa eksekusi konkuren tidak diizinkan.

1

Strategi pembersihan

Semua mode

Kebijakan pembersihan untuk riwayat eksekusi pekerjaan.

Simpan N entri terakhir

Jumlah yang disimpan

Semua mode

Jumlah catatan eksekusi pekerjaan yang disimpan.

300

Jumlah sub-tugas konkuren mesin tunggal

• Visual MapReduce

• MapReduce

• Shard run

Jumlah tugas yang berjalan secara konkuren pada satu worker dalam model terdistribusi. Untuk mempercepat eksekusi, Anda dapat menentukan nilai yang lebih besar. Jika downstream atau database tidak mampu menahan nilai yang Anda tentukan, Anda dapat menentukan nilai yang lebih kecil.

5

Jumlah percobaan ulang kegagalan sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

Jumlah percobaan ulang otomatis jika sebuah tugas gagal dalam model terdistribusi.

0

Interval percobaan ulang kegagalan sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

Interval antara dua kali percobaan ulang berturut-turut jika sebuah tugas gagal dalam model terdistribusi. Satuan: detik.

0

Strategi Failover Sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

Menentukan apakah akan mendistribusikan tugas ke worker baru setelah worker gagal menjalankan tugas dan dihentikan. Jika Anda mengaktifkan saklar ini, sistem mungkin mengeksekusi tugas lebih dari sekali ketika failover dipicu. Anda harus menerapkan idempotensi tugas.

Node master berpartisipasi dalam eksekusi

• Visual MapReduce

• MapReduce

• Shard run

Menentukan apakah node master berpartisipasi dalam eksekusi tugas. Setidaknya dua worker harus tersedia untuk menjalankan tugas. Jika jumlah tugas yang sangat besar ada, kami sarankan Anda mematikan saklar ini.

Metode distribusi sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

• Push model: Tugas didistribusikan secara merata ke worker.

• Pull model: Setiap worker menarik tugas. Teori Wooden Bucket tidak berlaku untuk model ini. Selama proses penarikan, semua tugas disimpan di node master. Ini memberi tekanan pada memori. Kami sarankan Anda tidak mendistribusikan lebih dari 10.000 tugas sekaligus.

Push model

Kebijakan distribusi

• Visual MapReduce

• MapReduce

Kebijakan distribusi tugas. Nilai default: Skema Polling.

• Skema Polling: Sistem mendistribusikan jumlah tugas yang sama ke setiap worker secara merata. Kebijakan ini cocok untuk skenario di mana setiap worker membutuhkan waktu hampir sama untuk memproses sebuah tugas.

• Strategi WorkerLoad optimal: Node master secara otomatis mendeteksi beban worker. Kebijakan ini cocok untuk skenario di mana perbedaan besar ada antara jumlah waktu yang dibutuhkan setiap worker untuk memproses sebuah tugas.

Laju distribusi

• Visual MapReduce

• MapReduce

Laju distribusi tugas. Anda dapat menentukan jumlah tugas yang akan didistribusikan per detik atau per menit.

Jumlah sub-tugas yang ditarik per kali

• Visual MapReduce

• MapReduce

• Shard run

Jumlah tugas yang ditarik oleh node slave dari node master dalam satu waktu. Parameter ini ditampilkan hanya jika parameter Metode distribusi sub-tugas diatur ke Pull model.

5

Kapasitas antrian sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

Ukuran antrian yang menyimpan tugas pada node slave. Parameter ini ditampilkan hanya jika parameter Metode distribusi sub-tugas diatur ke Pull model.

10

Konkurensi global sub-tugas

• Visual MapReduce

• MapReduce

• Shard run

Jumlah total tugas konkuren pada semua worker dalam model pull. Parameter ini membantu Anda membatasi jumlah tugas konkuren. Parameter ini ditampilkan hanya jika parameter Metode distribusi sub-tugas diatur ke Pull model.

1.000