全部產品
Search
文件中心

E-MapReduce:管理工作流程定義

更新時間:Jan 14, 2025

本文為您介紹如何建立工作流程及工作流程定義的相關操作。

前提條件

已建立專案,詳情請參見管理專案

建立工作流程

  1. 進入專案管理頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Studio > Workflow

    3. 單擊上方的專案管理頁簽。

    4. 專案管理頁面,單擊已有專案的專案名稱。

  2. 在左側導覽列,選擇工作流程 > 工作流程定義

  3. 工作流程定義頁面,單擊建立工作流程

  4. 建立工作流程頁面,拖拽HIVECLI節點塊到畫布中,在彈出的對話方塊中,配置相關的參數,單擊確定

    本文以HIVECLI任務類型為例,具體配置請參見HIVECLI。其他任務類型詳情請參見任務類型

  5. (可選)配置任務之間的依賴關係

    EMR Workflow支援流程間的自訂任務依賴。

    • 單擊任務節點右側的image..png(加號)可以串連任務。

    • 選中連接線或節點,單擊右上方的image..png表徵圖(刪除),可以刪除任務間的依賴關係或節點。

  6. 儲存工作流程定義。

    1. 單擊右上方的儲存

    2. 在彈出的對話方塊中,配置相關的參數,單擊確定

      參數

      說明

      工作流程名稱

      工作流程的名稱。

      描述

      當前工作流程的功能描述。

      逾時警示

      預設關閉。開啟逾時警示開關,需填寫逾時時間長度,如果任務執行時間超過逾時時間長度,則會發送警示。

      執行策略

      支援以下策略:

      • 並行:如果由同一個工作流程定義產生了多個工作流程執行個體,則並存執行工作流程執行個體。

      • 串列等待:如果由同一個工作流程定義產生了多個工作流程執行個體,則串列執行工作流程執行個體。

      全域變數

      是指標對整個工作流程的所有任務節點都有效參數。

工作流程定義操作

操作

說明

image..png編輯

只能編輯處於下線狀態的工作流程定義。

image..png運行

只有上線狀態的工作流程能運行,但不能編輯。運行工作流程的具體操作,請參見運行工作流程

image..png定時

只有上線的工作流程可以定時,系統自動定時調度工作流程運行。建立定時後的狀態為上線,需在定時管理頁面上線定時才生效。定時工作流程的具體操作,請參見定時工作流程

image..png上線

工作流程狀態為下線時,可以上線工作流程。

image..png下線

工作流程狀態為上線時,下線工作流程,下線狀態的工作流程可以編輯,但不能運行。

image..png複製工作流程

根據當前工作流程複製一個新的工作流程。

image..png定時管理

定時管理頁面可以編輯、上線、下線、刪除定時。

image..png刪除

刪除工作流程定義。刪除前需先下線工作流程。在同一個專案中,只能刪除自己建立的工作流程定義,不能刪除其他使用者的工作流程定義。

image..png工作流程樹形圖

以樹形結構展示任務節點的類型及任務狀態。

image..png匯出

匯出工作流程(.json檔案)到本地。

image..png版本資訊

查看當前工作流程定義的版本資訊。

運行工作流程

每運行一次工作流程,在工作流程執行個體頁面都會產生一個工作流程執行個體。

  1. 工作流程定義頁面,單擊目標工作流程動作列的image..png表徵圖(上線)。

  2. 單擊image..png表徵圖(運行)。

  3. 在彈出的對話方塊中,配置相關參數,單擊確定

    參數

    說明

    失敗策略

    當某一個任務節點執行失敗時,其他並行的任務節點需要執行的策略。

    • 繼續:某一任務失敗後,其他任務節點正常執行。

    • 結束:某一任務失敗後,終止其下遊任務。

    通知策略

    當流程結束,根據流程狀態發送流程執行語音總機郵件。通知策略包含都不發成功發失敗發成功或失敗都發

    流程優先順序

    流程啟動並執行優先順序。支援以下層級:

    • HIGHEST:最高。

    • HIGH:高。

    • MEDIUM(預設):中。

    • LOW:低。

    • LOWEST:最低。

    執行叢集

    在下拉式清單中選擇在資訊安全中心已綁定的叢集。

    警示組

    在下拉式清單中選擇在資訊安全中心已建立的警示組。

    補數

    指運行指定時間範圍內的工作流程定義,根據補數策略產生對應的工作流程執行個體。

    勾選是否是補數,還需配置以下參數:

    • 依賴模式:支援開啟關閉(預設)。是否觸發下遊依賴節點依賴到當前工作流程的工作流程執行個體的補數。

      只有當前補數的工作流程執行個體定時狀態已上線,才會觸發下遊直接依賴到該工作流程執行個體的補數。

    • 執行方式

      • 串列執行:指定時間範圍內,從開始日期至結束日期依次執行補數,依次產生多條流程執行個體。

      • 並存執行: 指定時間範圍內,同時進行多天的補數,同時產生多條流程執行個體。

        此方式下,還需配置自訂並行度參數,表示最多並存執行的執行個體數。

        說明

        建立工作流程定義時,如果選擇並行執行策略,則該工作流程只能並存執行補數;如果選擇串列等待執行策略,則該工作流程只能進行串列執行補數。

    • 調度日期:指定該工作流程啟動並執行時間範圍。

    啟動參數

    在啟動新的流程執行個體時,設定或覆蓋全域參數的值。

    是否空跑

    判斷是否空跑,空跑則列印日記,直接按成功處理。

  4. 在左側導覽列,選擇工作流程>工作流程執行個體,可以查看執行個體的健全狀態。

匯入工作流程

  1. 專案管理工作流程定義頁面,單擊匯入工作流程

  2. 單擊上傳,選擇匯出到本地的工作流程(.json檔案)。

  3. 單擊確定

定時工作流程

  1. 工作流程定義頁面,單擊目標工作流程動作列的image..png表徵圖(定時)。

  2. 在彈出的對話方塊中,選擇起止時間定時執行叢集,單擊確定

    • 起止時間:在起止時間範圍內,定時運行工作流程;不在起止時間範圍內,不再產生定時工作流程執行個體。

    • 定時:選擇執行的時間。

  3. 上線定時任務。

    此時定時狀態為下線,需上線才生效。

    1. 工作流程定義頁面,單擊目標工作流程動作列的表徵圖image..png(定時管理)。

    2. 定時管理頁面,單擊定時任務操作列的image..png表徵圖(上線)。