全部產品
Search
文件中心

SchedulerX:任務管理進階配置參數說明

更新時間:Dec 06, 2024

本文介紹任務管理中的進階配置參數。

任務管理進階配置參數說明如下:

參數

適用的執行模式

解釋

預設值

任務失敗重試次數

通用

任務運行失敗自動重試的次數。

說明

正在執行任務的機器重啟,任務會變成失敗狀態,如果想立即重跑,可以配置該參數。

0

任務失敗稍候再試

通用

每次失敗重試的間隔。單位:秒。

30

任務並發數

通用

同一個Job同一時間啟動並執行執行個體個數。1表示不允許重複執行。

1

清理策略

通用

任務執行記錄的清理策略。

保留最近N條

保留記錄數

通用

任務歷史執行記錄的保留記錄數。

300條

子任務單機並發數

  • 可視化MapReduce

  • MapReduce

  • 分區運行

分布式模型,單台機器並發消費子任務的個數。如需加快執行速度,可以調大該值。如果下遊或者資料庫無法承接,可適當調小。

5

子任務失敗重試次數

  • 可視化MapReduce

  • MapReduce

  • 分區運行

分布式模型,子任務失敗自動重試的次數。

0

子任務失敗稍候再試

  • 可視化MapReduce

  • MapReduce

  • 分區運行

分布式模型,子任務失敗自動重試的間隔。單位:秒。

0

子任務failover策略

  • 可視化MapReduce

  • MapReduce

  • 分區運行

當執行節點宕機下線後,是否將子任務重新分發給其他機器執行。開啟該配置後,發生failover時,子任務可能會重複執行,需自行做好等冪。

說明

用戶端版本為1.8.13及以上。

主節點參與執行

  • 可視化MapReduce

  • MapReduce

  • 分區運行

主節點是否參與子任務執行。線上可運行Worker數量必須不低於2台,在子任務數量特別大時,推薦關閉該參數。

說明

用戶端版本為1.8.13及以上。

子任務分發方式

  • 可視化MapReduce

  • MapReduce

  • 分區運行

  • 推模型:每台機器平均分配子任務。

  • 拉模型: 每台機器主動拉取子任務,沒有木桶效應。拉取過程中,所有子任務會緩衝在Master節點,對記憶體有壓力,建議子任務數不超過10,000。

推模型

分發策略

  • 可視化MapReduce

  • MapReduce

子任務分發策略,預設採用各個節點輪詢分發。

  • 輪詢策略:每個worker平均分配等量子任務,適用於每個子任務處理耗時基本一致的情境。

  • 負載最優策略:由主節點自動感知worker節點各自負載情況,適用子任務和worker機器處理耗時有較大差異的情境。

說明

用戶端版本為1.10.14及以上。

分發速率

  • 可視化MapReduce

  • MapReduce

子任務分發速率,支援每秒或每分鐘分發多少個子任務。

子任務單次拉取數(僅適用於拉模型)

  • 可視化MapReduce

  • MapReduce

  • 分區運行

Slave節點每次向Master節點拉取多少個子任務。

5

子任務隊列容量(僅適用於拉模型)

  • 可視化MapReduce

  • MapReduce

  • 分區運行

Slave節點緩衝子任務的隊列大小。

10

子任務全域並發數(僅適用於拉模型)

  • 可視化MapReduce

  • MapReduce

  • 分區運行

分布式拉模型支援全域子任務並發數,可以進行限流。

1,000