E-MapReduce工作流程支援通過DAG的方式並存執行大資料作業,使用者可以暫停、停止、重新運行工作流程,還可以在Web UI查看工作流程的執行狀態。
建立工作流程
- 通過主帳號登入阿里雲 E-MapReduce 控制台,進入叢集列表頁面。
- 單擊叢集ID右側的組態管理。
- 單擊上方的工作流程管理頁簽,進入項目列表頁面。
- 單擊對應項目右側的工作流程設計,然後單擊左側的工作流程設計頁簽,進入工作流程設計頁面。
- 在頁面左側,在需要操作的檔案夾上單擊右鍵,選擇建立工作流程。
- 在建立工作流程對話方塊中,輸入工作流程名稱、工作流程描述,選擇執行叢集。
使用者可以選擇已經建立的且被關聯到該項目的預付費和後付費EMR叢集用於執行工作流程,也可以通過叢集模板的方式建立一個臨時叢集用於執行該工作流程。
- 單擊確定。
編輯工作流程
使用者可以通過拖拽方式將不同類型的作業拉到工作流程編輯畫布,將不同作業節點通過連線的方式指定工作流程的流轉。作業拖拽完成後,從控制節點處拖拽END組件到畫布中,表示整個工作流程設計完成。
配置工作流程
在工作流程設計頁面的右側,單擊配置按鈕,可以進行工作流程調度配置。
- 執行叢集:使用者可以修改工作流程的執行叢集。
- 調度策略:在開啟工作流程調度後,您可以選擇一種調度策略,時間調度或依賴調度。
- 時間調度:設定工作流程調度的開始時間和結束時間,在此時間範圍內,系統會根據您設定的周期執行工作流程。
- 依賴調度:從所選項目中,選擇當前工作流程的前續工作流程。當前續工作流程執行完成後,當前工作流程才會被調度執行。目前依賴調度只能選擇一個工作流程。
執行工作流程
工作流程設計和配置完成後,您可以單擊右上方的運行按鈕執行工作流程。
查看並操作工作流程執行個體
工作流程運行後,單擊左側的運行記錄頁簽,可以查看工作流程執行個體的運行狀態。單擊工作流程執行個體對應的詳情,可以查看工作執行個體的運行情況,也可以暫停、恢複、停止和重跑工作流程執行個體。
- 暫停工作流程後:正在啟動並執行作業節點會繼續執行,但後續的作業節點不再執行,可以單擊恢複工作流程,系統將繼續執行暫停作業節點之後的作業。
- 取消工作流程:所有正在啟動並執行作業節點立即停止。
- 重跑工作流程執行個體:系統將從工作流程的start節點從頭開始執行工作流程。