工作流程是指由一系列相關工作群組成的有序流程,每個任務之間有明確的依賴關係和執行順序。如果您需要安排任務在指定的時間運行,可以建立工作流程並在工作流程中定義調度節點以及調度策略。本文為您介紹如何建立和運行工作流程。
前提條件
-
已建立工作空間,詳情請參見管理工作空間。
-
已完成任務開發且任務處於發布狀態。
建立工作流程
-
進入任務編排頁面。
-
在左側導覽列,選擇EMR Serverless > Spark。
-
在Spark頁面,單擊目標工作空間名稱。
-
在EMR Serverless Spark頁面,單擊左側導覽列中的任务编排。
-
在任务编排頁面,單擊创建工作流。
-
在创建工作流面板,填寫以下資訊,單擊下一步。
參數
說明
工作流名称
工作流程名稱在當前空間中必須保持唯一。
资源队列
選擇工作流程預設啟動並執行資源隊列。
說明工作流程節點的資源隊列可以覆蓋該預設隊列。
其他设置
调度类型
用於定義節點在生產環境的運行方式。支援以下調度類型:
-
手動(預設):只能通過手動運行工作流程,觸發一次運行一次。
-
調度器:根據調度器規則引發工作流程運行,支援按分鐘、小時、天等定時運行。
调度类型選擇為调度器時,還需配置參數调度周期和调度开始时间。
调度周期
調度周期即工作流程在調度情境下自動執行的周期數,用於定義在生產環境調度系統中,多久會執行一次工作流程中的代碼邏輯。調度任務會根據調度類型及周期數產生相應的周期執行個體,通過周期執行個體的方式自動調度運行周期任務。僅當调度类型為调度器時需要設定。
支援以下調度周期:
-
日調度:每天在指定的定時時間運行一次。
-
小時調度:每天指定的時間段內,調度任務按
每N小時的時間間隔運行一次。 -
分鐘調度:每天指定的時間段內,調度任務按
每N分鐘的時間間隔運行一次。
调度开始时间
工作流程調度開始的日期和時間。預設為目前時間。僅调度器類型需要設定。
重要在建立调度器類型的工作流程後,需要在任务编排頁面開啟调度状态開關,以便在指定的生效時間點觸發運行。
失败重试次数
工作流程節點運行失敗後的重試次數。預設不重試。
說明工作流程節點的配置仍可以覆蓋該參數。
失败通知
工作流程運行失敗後的通知郵箱。
标签
可以為工作流程設定標籤名和標籤值。
-
-
編輯工作流程節點。
-
在编辑工作流頁面,單擊下方的添加节点。
-
在彈出的添加节点面板中,配置節點相關參數。
參數
說明
来源文件路径
工作流程節點所對應的任務路徑,該路徑所對應的任務必須為發行狀態。
节点类型
工作流程節點的類型。預設情況下,系統會根據路徑所對應的任務推測工作流程節點的類型。
节点名称
自訂節點的名稱。會根據任務源自動補齊名稱。
上游节点
工作流程節點的上遊節點。上遊節點必須是在當前工作流程中已建立的節點。
首個節點不需要設定上遊節點。
重试次数
使用工作流程中定義的重試次數。預設不重試。
超时时间(秒)
工作流程節點單次啟動並執行逾時時間。預設不限制。
状态订阅
可以指定郵箱來訂閱工作流程節點的指定狀態。
标签
工作流程節點的標籤對。預設情況下,每個工作流程節點都會自動包含workflow_name和task_name兩個內建標籤索引值對。
资源队列
工作流程節點運行所使用的資源隊列,預設情況下會採用工作流程定義的資源隊列,但是可以通過配置來覆蓋建立工作流程時的資源隊列。
重要對於已經設定了資源隊列的工作流程節點,如果後續修改了工作流程所對應的資源隊列,系統仍然會以工作流程節點的配置為準。
說明如果您的任務來源為SQL開發,您還需配置任務參數。任務參數預設繼承工作範本,您可以通過修改工作範本來調整預設值,參數詳情請參見組態管理。
-
單擊保存。
初始節點配置完成後,您可以單擊頁面下方的添加节点來添加更多節點。
-
-
發布工作流程。
-
單擊右上方的发布工作流。
-
在发布對話方塊中,可以輸入發布資訊,然後單擊确定。
-
運行工作流程
每運行一次工作流程,都會在工作流程詳情頁面的工作流实例列表頁簽產生一個工作流程執行個體。
調試運行
編輯工作流程時,您可以調試運行最新版本的工作流程。
-
在编辑工作流頁面,單擊调试运行。

-
在调试运行對話方塊中,選擇開發環境的資源隊列,然後單擊运行。
系統調度
建立工作流程時配置了调度类型選擇了调度器,建立完成後開啟调度状态開關,可以在指定的生效時間點觸發工作流程運行。

觸發運行
在任务编排頁面,單擊目標工作流程的名稱,然後單擊右上方的运行,選擇相應的調度方式,即可觸發當前工作流程的運行。
-
手动运行(預設):通過手動觸發的方式即時執行任務,而不依賴系統的定時調度規則。
-
补数:對歷史時間段內的工作流程進行補充處理,通常用於修複未運行或失敗的工作流程。 在使用補數調度方式時,需配置以下參數:
參數
說明
业务周期
系統會根據您選擇的時間範圍產生對應的工作流程執行個體。
-
支援選擇早於目前時間的周期。當實際時間大於設定時間時,會自動開始產生並運行補數工作流程執行個體。
-
僅工作流程定時調度時間在所選業務周期內時,才會產生補數工作流程執行個體並執行。
-
如果工作流程中存在時間變數(例如,${ds}),系統會自動以所選業務周期的時間替換這些變數。
资源队列
預設與工作流程設定的資源隊列保持一致,支援下拉選擇其他生產環境可用的隊列。
备注
可填寫補數工作流程的描述資訊,便於後續管理和排查。
更多设置
失败通知:支援設定失敗警示的郵箱,以便及時收到補數工作流程失敗的通知。
-
查看運行狀態
您可以在目標工作流程的工作流运行状态和工作流节点运行状态列中,查看該工作流程啟動並執行所有工作流程執行個體和節點的運行狀態。
-
工作流程運行狀態
狀態
說明
藍色
運行中
綠色
運行成功
紅色
運行失敗
紫色
等待中
-
工作流程節點運行狀態
狀態
說明
藍色
運行中
綠色
運行成功
紅色
運行失敗
黃色
重試中
紫色
等待中
相關文檔
-
任務編排相關概念,詳情請參見基本概念。
-
查看工作流程執行個體、節點執行個體等資訊,詳情請參見管理工作流程執行個體和節點執行個體。