E-MapReduce工作流程支援通過DAG的方式並存執行大資料作業,使用者可以暫停、停止、重新運行工作流程,還可以在Web UI查看工作流程的執行狀態。

建立工作流程

  1. 通過主帳號登入阿里雲 E-MapReduce 控制台,進入叢集列表頁面。
  2. 單擊叢集ID右側的組態管理
  3. 單擊上方的工作流程管理頁簽,進入項目列表頁面。
  4. 單擊對應項目右側的工作流程設計,然後單擊左側的工作流程設計頁簽,進入工作流程設計頁面。
  5. 在頁面左側,在需要操作的檔案夾上單擊右鍵,選擇建立工作流程
  6. 建立工作流程對話方塊中,輸入工作流程名稱、工作流程描述,選擇執行叢集。

    使用者可以選擇已經建立的且被關聯到該項目的預付費和後付費EMR叢集用於執行工作流程,也可以通過叢集模板的方式建立一個臨時叢集用於執行該工作流程。

  7. 單擊確定

編輯工作流程

使用者可以通過拖拽方式將不同類型的作業拉到工作流程編輯畫布,將不同作業節點通過連線的方式指定工作流程的流轉。作業拖拽完成後,從控制節點處拖拽END組件到畫布中,表示整個工作流程設計完成。

配置工作流程

工作流程設計頁面的右側,單擊配置按鈕,可以進行工作流程調度配置。

  • 執行叢集:使用者可以修改工作流程的執行叢集。
  • 調度策略:在開啟工作流程調度後,您可以選擇一種調度策略,時間調度或依賴調度。
    • 時間調度:設定工作流程調度的開始時間和結束時間,在此時間範圍內,系統會根據您設定的周期執行工作流程。
    • 依賴調度:從所選項目中,選擇當前工作流程的前續工作流程。當前續工作流程執行完成後,當前工作流程才會被調度執行。目前依賴調度只能選擇一個工作流程。

執行工作流程

工作流程設計和配置完成後,您可以單擊右上方的運行按鈕執行工作流程。

查看並操作工作流程執行個體

工作流程運行後,單擊左側的運行記錄頁簽,可以查看工作流程執行個體的運行狀態。單擊工作流程執行個體對應的詳情,可以查看工作執行個體的運行情況,也可以暫停、恢複、停止和重跑工作流程執行個體。
  • 暫停工作流程後:正在啟動並執行作業節點會繼續執行,但後續的作業節點不再執行,可以單擊恢複工作流程,系統將繼續執行暫停作業節點之後的作業。
  • 取消工作流程:所有正在啟動並執行作業節點立即停止。
  • 重跑工作流程執行個體:系統將從工作流程的start節點從頭開始執行工作流程。