Microservices Engine:Parameter advanced untuk job management

Parameter

Mode eksekusi yang berlaku

Deskripsi

Nilai default

Task failure retry count

Semua mode

Jumlah percobaan ulang otomatis jika suatu job gagal.

0

Task failure retry interval

Semua mode

Interval antara dua percobaan ulang berturut-turut. Satuan: detik.

30

Task concurrency

Semua mode

Jumlah instans yang menjalankan job yang sama secara bersamaan. Nilai 1 menunjukkan bahwa eksekusi konkuren tidak diizinkan.

1

Cleaning strategy

Semua mode

Kebijakan pembersihan riwayat eksekusi job.

Keep last N entries

Retained Number

Semua mode

Jumlah catatan eksekusi job yang disimpan.

300

Number of single-machine concurrent subtasks

• Visual MapReduce

• MapReduce

• Shard run

Jumlah task yang berjalan secara konkuren pada satu worker dalam model terdistribusi. Untuk mempercepat eksekusi, Anda dapat menentukan nilai yang lebih besar. Jika sistem downstream atau database tidak mampu menangani nilai yang Anda tentukan, Anda dapat menentukan nilai yang lebih kecil.

5

Number of failed retries of subtasks

• Visual MapReduce

• MapReduce

• Shard run

Jumlah percobaan ulang otomatis jika suatu task gagal dalam model terdistribusi.

0

Sub-task failure retry interval

• Visual MapReduce

• MapReduce

• Shard run

Interval antara dua percobaan ulang berturut-turut jika suatu task gagal dalam model terdistribusi. Satuan: detik.

0

Subtask Failover Strategy

• Visual MapReduce

• MapReduce

• Shard run

Menentukan apakah suatu task didistribusikan ke worker baru setelah worker gagal mengeksekusi task tersebut dan berhenti. Jika Anda mengaktifkan sakelar ini, sistem mungkin mengeksekusi suatu task lebih dari sekali ketika failover dipicu. Anda harus menerapkan idempotensi pada task.

The master node participates in the execution

• Visual MapReduce

• MapReduce

• Shard run

Menentukan apakah Node master ikut serta dalam eksekusi task. Minimal harus tersedia dua worker untuk menjalankan task. Jika jumlah task sangat besar, kami menyarankan agar Anda menonaktifkan sakelar ini.

Subtask distribution method

• Visual MapReduce

• MapReduce

• Shard run

• Push model: Task didistribusikan secara merata ke worker.

• Pull model: Setiap worker menarik (pull) task. Teori Ember Kayu (Wooden Bucket Theory) tidak berlaku pada model ini. Selama proses pull, semua task dicache di Node master. Hal ini memberikan tekanan pada memori. Kami menyarankan agar Anda tidak mendistribusikan lebih dari 10.000 task sekaligus.

Push model

distribution policy

• Visual MapReduce

• MapReduce

Kebijakan distribusi task. Nilai default: Polling Scheme.

• Polling Scheme: Sistem mendistribusikan jumlah task yang sama ke setiap worker. Kebijakan ini cocok untuk skenario di mana setiap worker membutuhkan waktu hampir sama untuk memproses suatu task.

• WorkerLoad optimal strategy: Node master secara otomatis mendeteksi beban worker. Kebijakan ini cocok untuk skenario di mana terdapat perbedaan besar dalam waktu yang dibutuhkan setiap worker untuk memproses suatu task.

Distribution rate

• Visual MapReduce

• MapReduce

Laju distribusi task. Anda dapat menentukan jumlah task yang didistribusikan per detik atau per menit.

Number of subtasks pulled per time

• Visual MapReduce

• MapReduce

• Shard run

Jumlah task yang ditarik oleh node slave dari Node master dalam satu kali tarik. Parameter ini hanya ditampilkan jika parameter Subtask distribution method diatur ke Pull model.

5

Subtask queue capacity

• Visual MapReduce

• MapReduce

• Shard run

Ukuran antrian yang menyimpan cache task di node slave. Parameter ini hanya ditampilkan jika parameter Subtask distribution method diatur ke Pull model.

10

Global concurrency of subtasks

• Visual MapReduce

• MapReduce

• Shard run

Jumlah total task konkuren di semua worker dalam model pull. Parameter ini membantu Anda membatasi jumlah task konkuren. Parameter ini hanya ditampilkan jika parameter Subtask distribution method diatur ke Pull model.

1000