管理整合和計算任務執行個體 - Dataphin

整合和計算任務執行個體是周期整合和計算任務按照定時調度時間運行產生的執行個體資料。後續您可以對整合和計算任務執行個體進行營運操作，支援的營運操作包括查看作業記錄、重跑、強制重跑當前執行個體、強制重跑下遊執行個體、查看節點代碼等操作。本文為您介紹如何查看並管理整合和計算任務執行個體。

前提條件

已購買智能營運增值服務並且當前租戶已開通智能營運模組後，方可查看甘特圖。

整合和計算任務執行個體頁面入口

在Dataphin首頁的頂部功能表列，選擇研發 > 任務營運。
在左側導覽列中選擇執行個體營運 > 周期執行個體。
在頂部功能表列選擇生產或開發環境。
在周期執行個體頁面，單擊整合和計算任務頁簽。

整合和計算任務執行個體列表支援的操作

周期整合和計算任務產生整合和計算任務執行個體後，將在周期執行個體 > 整合和計算任務列表為您展示。列表中展示當前執行個體對象、執行個體ID、運行狀態、調度周期、業務日期、定時已耗用時間、開始已耗用時間、結束已耗用時間、運行時間長度、重試次數/自動重試次數、優先順序、營運負責人、專案、相關基準執行個體、HTTP path、調度資源群組及支援的操作。

執行個體對象：運行一個周期任務得到一個周期執行個體對象。展示執行個體對象的名稱和ID，並標識任務的調度方式。可單擊列名旁的表徵圖，根據對象名稱進行升序或降序排序。更多資訊，請參見周期執行個體提示標記說明。
運行狀態：該執行個體目前的運行狀態包括：成功、失敗、運行中、等待調度時間、限流中、等待調度資源、未運行。各狀態標識及詳情，請參見周期執行個體運行狀態說明。
開始已耗用時間：執行個體開始運行時的時間，單擊列名旁的表徵圖，按照開始已耗用時間進行升序或降序排序。
說明
邏輯表節點的開始已耗用時間，為執行個體對象最早開始啟動並執行內部物化節點對應的時間。
結束已耗用時間：執行個體結束運行時的時間，單擊列名旁的表徵圖，按照結束已耗用時間進行升序或降序排序。
說明
邏輯表節點的結束已耗用時間，為執行個體對象最晚結束啟動並執行內部物化節點對應的時間。
重試次數/自動重試次數：執行個體運行重試次數/自動重試次數，其中重試次數=運行次數-1。
運行時間長度：執行個體開始運行到結束運行時的總時間長度，單擊列名旁的表徵圖，按照運行時間長度進行升序或降序排序。
說明
邏輯表節點的運行時間長度，為執行個體對象最早開始啟動並執行內部物化節點和最晚結束啟動並執行內部物化節點之間的時間差。
優先順序：執行個體所屬的優先等級。
說明
若已開通基準功能，基準任務取所有基準中最高的作為優先順序，覆蓋原有配置的任務優先順序。
專案：任務所屬的專案，展示格式為專案英文名（專案中文名）。
相關基準執行個體：作為末節點被保障的歸屬基準，以及作為上遊節點被納入保障範圍的相關基準。
說明
若未開通基準功能，則不展示該欄位資訊。
HTTP path：根據選擇的生產環境或開發環境，展示DATABRICKS_SQL類型執行個體的生產環境HTTP path或開發環境HTTP path。
說明
僅DATABRICKS_SQL類型的執行個體支援展示此項，其他類型任務展示為-。
調度資源群組：任務指定的執行個體運行時使用的調度資源群組名稱。
如果任務指定的自訂資源群組非可用狀態，將自動替換為使用專案預設資源群組；如果專案預設資源群組非可用狀態，將自動替換為使用租戶預設資源群組。即自訂資源群組>專案預設資源群組>租戶預設資源群組。
說明
進行更換專案預設資源群組操作時，此處展示更新可能會存在延遲。但實際執行將使用修改後的資源群組。
租戶預設資源群組：不歸屬任何專案，一個租戶只有一個預設資源群組，任務沒有指定單獨的自訂資源群組或者專案沒有指定專案預設資源群組時，會使用租戶預設資源群組來調度，僅針對獨享資源任務（除SQL任務、Virtual任務等）。

整合和計算任務執行個體列表支援的操作如下。

操作	描述
DAG圖	單擊表徵圖，可查看該周期執行個體的DAG圖。更多資訊，請參見周期執行個體DAG圖。
查看作業記錄	單擊表徵圖，可查看該周期執行個體作業記錄資訊。不同類型的周期執行個體作業記錄資訊不同，具體以實際作業記錄資訊為準。
重跑	單擊表徵圖，可重跑該周期執行個體。重跑操作僅支援重跑運行狀態為成功或失敗的整合和計算任務執行個體。執行重跑操作時，會校正當前執行個體節點的上遊節點的運行狀態是否全部為成功，如果校正不成功則當前執行個體的運行狀態將直接被置為未運行。如果業務情境需要執行重跑操作，您可以執行強制重跑。
查看甘特圖	單擊表徵圖，選擇查看甘特圖，開啟查看甘特圖對話方塊並配置以下參數。選中節點作為：可選擇將當前節點作為開始節點或結束節點。當選擇開始節點時，下方開始節點中預設選擇當前節點，不可修改；選擇結束節點時同理。開始節點：選擇甘特圖的開始節點，支援按照節點關鍵字搜尋，列表中可選節點的格式為 `{節點名稱}({節點 ID，{執行個體定時已耗用時間}})`。當選中節點作為結束節點時，開始節點預設為租戶根節點。說明小時和分鐘任務存在多個節點（每一個執行個體為一個節點），各節點間使用執行個體定時已耗用時間進行區分。結束節點：選擇甘特圖的結束節點，支援按照節點關鍵字搜尋，列表中可選節點的格式為 `{節點名稱}({節點 ID，{執行個體定時已耗用時間}})`。說明當結束節點選擇邏輯表時，因邏輯表作為一個整體，所以暫不支援選擇欄位。甘特圖詳細說明請參見查看關鍵路徑甘特圖。
查看節點代碼	單擊表徵圖，選擇查看節點代碼，可查看當前執行個體的節點代碼。在Flink_SQL整合和計算任務執行個體下您可單擊邏輯代碼或物理代碼進行切換查看。邏輯代碼：編寫的任務代碼。物理代碼：編譯後產生的可在Flink引擎上啟動並執行代碼。
周期任務	單擊表徵圖，選擇周期任務，可查看當前執行個體所屬的周期任務。
編輯開發節點	單擊表徵圖，選擇編輯開發節點，跳轉到該執行個體的開發頁面，您可對該執行個體進行修改。說明僅Dev-Prod模式專案空間的整合和計算任務執行個體支援編輯開發節點。
查看生產節點	單擊表徵圖，選擇編輯生產節點，跳轉到該執行個體的生產頁面。說明僅Dev-Prod模式專案空間的整合和計算任務執行個體支援查看開發節點。
編輯節點	單擊表徵圖，選擇編輯節點，通過整合和計算任務執行個體列表區或DAG圖進入Basic專案中，編輯產生整合和計算任務執行個體的整合和計算任務。說明僅Basic模式專案空間的整合和計算任務執行個體支援編輯節點。
重跑下遊	單擊表徵圖，選擇重跑下遊，將重跑該執行個體的下遊節點。重跑下遊僅支援重跑運行狀態為成功或失敗整合和計算任務執行個體的下遊節點。下遊運行狀態為等待中（等待調度時間、等待調度資源）或運行中的執行個體無法被重跑。具體操作，請參見重跑下遊。如果需全鏈路重跑，建議您使用強制重跑下遊執行個體。具體操作，請參見強制重跑下遊執行個體。重跑下遊操作多用於如下情境：當前執行個體節點的資料更新後，需要同步更新下遊節點資料。執行個體下遊節點運行失敗後，需重跑下遊節點。
置成功繼續調度	單擊表徵圖，選擇置成功繼續調度，可將運行失敗或未運行的整合和計算任務執行個體節點手動置運行成功，繼續參與調度。單擊置成功繼續調度，並在置成功繼續調度提示對話方塊中單擊確定，即可完成設定。
終止	單擊表徵圖，選擇終止，終止當前啟動並執行執行個體。終止後執行個體的運行狀態變更為失敗。當前執行個體節點終止運行後，該節點的下遊節點也不會運行。說明僅成功、失敗、未運行狀態的執行個體不支援終止，其他狀態的執行個體均支援進行終止操作。終止操作多用於如下情境：由於Dataphin異常或操作失誤，需要終止整合和計算任務執行個體。整合和計算任務執行個體顯示運行中，但資料一直未產出。可以手動終止運行並通過作業記錄排查異常。
強制重跑	單擊表徵圖，選擇強制重跑後，選擇強制重跑當前執行個體或強制重跑下遊執行個體。強制重跑當前執行個體：強制重跑時間不校正上遊節點的運行狀態。如果上遊節點沒有全部運行成功，則當前執行個體可能重跑失敗或資料錯誤，請您謹慎操作。強制重跑當前整合和計算任務執行個體後，當前整合和計算任務執行個體的資料更新。強制重跑下遊執行個體：執行強制重跑下遊操作後，所有執行個體會先被置為未運行狀態，防止上遊重跑的同時下遊也在運行造成的資料錯亂。僅起點不針對上遊依賴和定時已耗用時間進行校正，下遊節點仍需要遵循依賴關係及執行個體起調條件的限制。具體操作，請參見強制重跑下遊執行個體。關於執行個體起調條件的說明，更多資訊，請參見依賴關係及運行說明。重要強制重跑不會校正上遊是否全部運行成功以及是否到達當前執行個體的定時已耗用時間，存在運行失敗或產生資料品質問題的風險，請確認對下遊資料無影響後再進行操作。
去除上遊戲依賴	單擊表徵圖，選擇去除上遊依賴，可去除所有運行狀態的整合和計算任務執行個體的上遊依賴。重要需至少保留一個上遊執行個體。
暫停	單擊表徵圖，選擇暫停，暫停當前啟動並執行執行個體。暫停當前整合和計算任務執行個體後，不影響產生該整合和計算任務執行個體的整合和計算任務對應的其他執行個體的運行。暫停後，當前整合和計算任務執行個體節點及下遊依賴執行個體節點均不調度。說明僅未運行、等待調度時間、限流中的執行個體支援暫停。暫停操作多用於資源緊張，需要先暫停低優先順序的執行個體保證高優任務先運行。
恢複	單擊表徵圖，選擇恢複，可恢複已暫停的整合和計算任務執行個體節點。恢複後，當前整合和計算任務執行個體節點及下遊執行個體節點正常調度。
修改HTTP path	修改對應任務的生產環境HTTP path，可選擇為生產專案對應叢集所配置的全部HTTP path。說明僅在生產環境中選擇DATABRICKS_SQL任務時，支援此操作。
修改調度資源群組	單擊表徵圖，選擇修改調度資源群組，可修改執行個體運行時使用的調度資源群組。說明選擇多重專案下的任務時，目標調度資源群組僅列舉這些專案均被授權共有的調度資源群組。建議先篩選單個專案後，再大量設定。修改後僅影響當前執行個體，對所屬任務其他執行個體均無影響。
修改優先順序	單擊表徵圖，選擇修改優先順序，在修改優先順序對話方塊中修改當前任務的優先順序，可選擇最高、高、中、低或最低。

整合和計算任務執行個體DAG節點支援的操作

DAG圖清晰地為您展示執行個體節點的上下遊依賴關係，同時系統支援對上下遊執行個體節點進行營運和管理。DAG圖預設展示Main節點（選中節點）及上下遊第一層節點。選中整合和計算任務執行個體節點，您可以對執行個體進行相關的營運操作。

Dataphin支援跨專案執行個體節點的營運管理。對跨專案的執行個體整合和計算任務節點進行營運操作時，需要具備執行個體所在專案的查看及操作許可權。

DAG圖支援的操作

操作	描述
展開父節點	展開DAG圖中Main節點不同層級的依賴節點。
展開子節點	展開DAG圖中Main節點不同層級的依賴節點。
查看任務	進入產生當前執行個體節點的任務節點DAG圖，查看任務節點詳情、上下遊節點資訊及對任務節點進行營運管理等，詳情請參見周期任務。
查看動作記錄	查看該執行個體進行相關操作的日誌資訊。

DAG節點支援的操作
滑鼠移至上方至DAG節點上，可以查看該節點的名稱、類型、調度周期、營運負責人及其描述資訊。整合和計算任務執行個體DAG節點支援的操作與整合和計算任務執行個體列表支援的操作相同。更多資訊，請參見整合和計算任務執行個體列表支援的操作。

整合和計算任務執行個體大量操作

周期整合和計算任務支援的大量操作說明如下：

操作	描述
重跑	僅成功、失敗狀態的執行個體支援重跑。如果選中的執行個體中沒有成功、失敗狀態的執行個體，則不支援批量重跑操作；選中的執行個體存在成功、失敗狀態和其他狀態的執行個體時，系統僅執行狀態為成功、失敗狀態的執行個體。
終止	僅成功、失敗、未運行狀態的執行個體不支援終止，其他狀態執行個體均支援進行終止操作。如果選中的執行個體中只存在成功、失敗、未運行狀態的執行個體，則不支援批量終止操作；選中的執行個體存在成功、失敗、未運行狀態和其他狀態的執行個體時，系統不執行狀態為成功、失敗、未運行狀態的執行個體。
置成功繼續調度	選中多個執行個體後，可批量將運行失敗或未運行的整合和計算任務執行個體節點手動置運行成功，繼續參與調度。
暫停	僅未運行、等待調度時間、限流中狀態的執行個體支援暫停。如果選中的執行個體中沒有未運行、等待調度時間、限流中狀態的執行個體，則不支援大量暫停操作；選中的執行個體存在未運行、等待調度時間、限流中狀態和其他狀態的執行個體時，系統僅執行狀態為未運行、等待調度時間、限流中狀態的執行個體。
恢複	大量復原暫停中的周期執行個體。
修改HTTP path	可修改多個DATABRICKS_SQL執行個體的生產環境HTTP path。若選中的DATABRICKS_SQL執行個體歸屬於不同的Databricks叢集，則根據不同叢集分別指定HTTP path，可選擇為對應叢集所配置的全部HTTP path。說明僅在生產環境中選擇DATABRICKS_SQL執行個體時，支援此操作。
修改調度資源群組	可修改執行個體運行時使用的調度資源群組。說明僅生產環境專案下的執行個體可修改調度資源群組。修改後僅影響當前執行個體，對所屬任務其他執行個體均無影響。
修改優先順序	批量修改所選中執行個體的優先順序，可選擇最高、高、中、低或最低。
下載所有	下載所有周期執行個體（包括整合和計算任務執行個體以及建模任務執行個體）資料至本地，下載檔案為.xlsx格式，名稱格式為`Dataphin周期執行個體_{時間戳記}.xlsx`。表格中包含執行個體對象、執行個體ID、運行狀態、調度周期、業務日期、優先順序、營運負責人、專案（匯總邏輯表存在多重專案，各專案間使用逗號（，）分隔）、定時已耗用時間、開始已耗用時間、結束已耗用時間、運行時間長度、重試次數/自動重試次數、相關基準執行個體（執行個體所涉及到的基準名稱，多個名稱間使用逗號（，）分隔）和調度資源群組（建模任務執行個體下，此參數為空白值）資訊。

重跑下遊

在重跑下遊對話方塊中，配置參數。

說明

下遊運行狀態為等待中或運行中的執行個體無法被重跑。如果需全鏈路重跑，建議您選擇強制重跑下遊執行個體。具體操作，請參見強制重跑下遊執行個體。

參數

描述

起點運行方式

定義起始節點的運行方式。支援選擇空跑運行和正常運行，詳細說明如下：

空跑運行：空跑的執行個體狀態顯示成功（正常調度），作業記錄為空白，無執行時間長度，不會實際跑資料。
正常運行：正常調度。

下遊重跑範圍

選擇重跑下遊節點的範圍，詳細說明如下：

所有失敗執行個體：不展示具體的下遊列表，系統自動篩選所有運行狀態為失敗的下遊執行個體進行重跑。
自訂配置：如果您需要自訂指定重跑的下遊，可以選擇自訂配置，支援按照節點名稱或ID進行搜尋，也可以通過運行狀態、營運負責人及所屬專案進行篩選。

單擊確定。
重跑下遊後，下遊執行個體節點資料更新。

強制重跑下遊執行個體

在強制重跑下遊對話方塊中，配置重跑參數。

參數

描述

起點運行方式

定義起始節點的運行方式。支援選擇空跑運行和正常運行，詳細說明如下：

空跑運行：空跑的執行個體狀態顯示成功（正常調度），作業記錄為空白，無執行時間長度，不會實際跑資料。
正常運行：正常調度。

下遊強制重跑範圍

選擇強制重跑下遊節點的範圍，詳細說明如下：

所有執行個體：一鍵選中起始節點的下遊所有的執行個體節點。
自訂配置：如果您需要自訂指定重跑的下遊，可以選擇自訂配置，支援按照節點名稱或ID進行搜尋，也可以通過運行狀態、營運負責人及所屬專案進行篩選。

單擊確定，即可完成設定。