周期建模任務執行個體是周期任務按照調度配置自動定時運行產生的執行個體。周期任務每調度一次,便產生一個執行個體。同時,您可以對已產生的執行個體進行營運管理,例如查看運行狀態、重跑和查看節點代碼等操作。本文為您介紹如何查看並管理建模任務執行個體。
背景資訊
周期建模任務執行個體包括維度邏輯表執行個體、事實邏輯表執行個體和匯總邏輯表執行個體。邏輯表任務參與系統營運調度後對應產生一個邏輯表執行個體節點,您可以從表視角或欄位視角對需要營運的邏輯表執行個體進行操作。
使用說明
規範建模採用動態物化邏輯,因此您可基於以下2個營運視角進行營運管理:
在物理營運視角下,您可能需要通過查看最新物化節點代碼或作業記錄的方式,瞭解每次針對物化節點的操作會影響的欄位或邏輯表任務節點。例如,對某個邏輯表任務節點進行補資料時,需要先瞭解該邏輯表任務節點歸屬的物化節點,並對物化節點進行逐一補資料操作,這樣補資料操作過程複雜,且無法保障資料一致性。
在邏輯營運視角下,您只需要選擇需要營運的欄位或邏輯表執行個體節點,系統會按照當前物化拆分方式自動計算對應的物化節點,並按照資料一致性和正確性原則,為您提示需要連帶操作的相關欄位,無需關心物理實現方式,協助您縮短操作路徑,降低營運成本,提升營運效率。
周期建模任務執行個體頁面入口
在Dataphin首頁的頂部功能表列,選擇研發 > 任務營運。
在左側導覽列中選擇執行個體營運 > 周期執行個體。
在頂部功能表列中選擇生產或開發環境。
在周期執行個體頁面,單擊建模任務頁簽。
建模任務執行個體列表支援的操作
周期建模任務產生建模任務執行個體後,將在周期執行個體 > 建模任務列表為您展示。建模任務執行個體列表頁面為您展示當前執行個體對象的名稱、運行狀態、調度周期、業務日期、定時已耗用時間、開始已耗用時間、結束已耗用時間、運行時間長度、優先順序、營運負責人、專案、相關基準執行個體以及支援的操作。
執行個體對象:運行一個周期任務得到一個周期執行個體對象。包含表名稱和表ID。並標識任務的調度方式。可單擊列名旁的
表徵圖,根據對象名稱進行升序或降序排序。更多資訊,請參見周期執行個體提示標記說明。運行狀態:建模運行狀態包括欄位運行狀態和節點運行狀態。可單擊欄位後的
表徵圖查看每種運行狀態對應的運行狀態詳情。欄位運行狀態包括邏輯表內所有欄位的運行狀態。例如
表徵圖,表示該邏輯表的欄位有運行成功和未運行的兩種狀態。欄位運行狀態表徵圖後欄位對應的數量為當前邏輯表節點的欄位數量;節點對應的數量為當前邏輯表節點的物化節點數量。同時您也可以單擊
表徵圖,查看每個欄位的歸一運行狀態。運行狀態提示說明,請參見周期執行個體運行狀態說明。欄位的運行狀態由其歸屬的所有物化節點的運行狀態決定,最終展示欄位的歸一運行狀態。具體規則說明如下:
欄位歸屬的所有物化節點中只要有一個物化節點的運行狀態為成功,則欄位歸一狀態即為成功。
欄位歸屬的所有物化節點中只有所有物化節點的運行狀態為失敗,欄位歸一狀態才為失敗。
欄位歸屬的所有物化節點中只要有一個物化節點的運行狀態為運行中,則欄位歸一狀態為運行中。
欄位歸屬的所有物化節點中有部分物化節點的運行狀態為等待中,部分物化節點的運行狀態為未運行或失敗,則欄位的歸一狀態為等待中。
欄位歸屬的所有物化節點的運行狀態為未運行,則欄位的歸一狀態為未運行。
開始已耗用時間:執行個體開始運行時的時間,單擊列名旁的
表徵圖,按照開始已耗用時間進行升序或降序排序。說明邏輯表節點的開始已耗用時間,為執行個體對象最早開始啟動並執行內部物化節點對應的時間。
結束已耗用時間:執行個體結束運行時的時間,單擊列名旁的
表徵圖,按照結束已耗用時間進行升序或降序排序。說明邏輯表節點的結束已耗用時間,為執行個體對象最晚結束啟動並執行內部物化節點對應的時間。
運行時間長度:執行個體開始運行到結束運行時的總時間長度,單擊列名旁的
表徵圖,按照運行時間長度進行升序或降序排序。說明邏輯表節點的運行時間長度,為執行個體對象最早開始啟動並執行內部物化節點和最晚結束啟動並執行內部物化節點之間的時間差。
優先順序:執行個體所屬的優先等級。
說明若已開通基準功能,基準任務取所有基準中最高的作為優先順序,覆蓋原有配置的任務優先順序。
專案:任務所屬的專案,展示格式為
專案英文名(專案中文名)。相關基準執行個體:展示作為末節點被保障的歸屬基準,以及作為上遊節點被納入保障範圍的相關基準。
說明若未開通基準功能,則不展示該欄位資訊。
建模任務執行個體列表支援的操作如下:
操作 | 描述 |
DAG圖 | 單擊 |
查看作業記錄 | 單擊 |
重跑 | 單擊 如果業務情境需要執行重跑操作,您可以執行強制重跑。具體操作,請參見強制重跑當前執行個體。 |
查看甘特圖 | 說明 已購買智能營運增值服務並且當前租戶已開通智能營運模組後,方可查看甘特圖。 單擊
甘特圖詳細說明請參見查看關鍵路徑甘特圖。 |
欄位及大量操作 | 單擊 |
查看生產鏈路 | 單擊 |
查看消費鏈路 | 單擊 |
查看物化代碼 | 單擊 |
周期任務 | 單擊 |
編輯開發節點 | 單擊 說明 僅Dev-Prod模式專案空間的指令碼執行個體支援編輯開發節點。 |
查看生產節點 | 單擊 說明 僅Dev-Prod模式專案空間的指令碼執行個體支援編輯開發節點。 |
編輯節點 | 單擊 說明 僅Basic模式專案空間的指令碼執行個體支援編輯開發節點。 |
重跑下遊 | 單擊 如果需全鏈路重跑,建議您使用強制重跑下遊執行個體。具體操作,請參見強制重跑下遊執行個體。 重跑下遊操作多用於如下情境:
|
置成功繼續調度 | 單擊 |
終止 | 單擊 說明 僅節點狀態為成功、失敗、未運行的執行個體不支援終止,其他節點狀態執行個體均支援進行終止操作。 終止操作多用於如下情境:
|
強制重跑 | 單擊
重要 強制重跑不會校正上遊是否全部運行成功以及釋放到達當前執行個體的定時已耗用時間,存在運行失敗或產生資料品質問題的風險,請確認對下遊資料無影響後再進行操作。 |
去除上遊依賴 | 單擊 重要 需至少保留一個上遊執行個體。 |
暫停 | 單擊 說明 暫停操作多用於資源緊張,需要先暫停低優先順序的執行個體保證高優任務先運行。 |
恢複 | 單擊 |
修改優先順序 | 單擊 說明 匯總邏輯表存在多個優先順序。 |
建模任務執行個體DAG節點支援的操作
DAG圖清晰地為您展示執行個體節點的上下遊依賴關係,同時系統支援對上下遊執行個體節點進行營運和管理。DAG圖預設展示Main節點(選中節點)及上下遊第一層節點。選中建模任務執行個體節點,您可以對執行個體進行相關的營運操作。
Dataphin支援跨專案執行個體節點的營運管理。對跨專案的建模任務執行個體節點進行營運操作時,需要具備執行個體所在專案的查看及操作許可權。匯總表執行個體僅支援對有許可權的指標操作。
DAG圖支援的操作
操作
描述
展開父節點
展開DAG圖中Main節點不同層級的依賴節點。
展開子節點
查看任務
進入產生當前執行個體節點的任務節點DAG圖,查看任務節點詳情、上下遊節點資訊及對任務節點進行營運管理等。更多資訊,請參見管理建模任務。
展開物化節點
展開該邏輯表對應的內部物化節點。
滑鼠移至上方至物化節點顯示框內,按右鍵或單擊表徵圖後,可以查看該物化節點的節點代碼、物化節點欄位和作業記錄。

查看動作記錄
查看該執行個體進行相關操作的日誌資訊。
DAG節點支援的操作
滑鼠移至上方至DAG節點上,可以查看該節點的名稱、類型、調度周期、營運負責人及其描述資訊。建模任務執行個體DAG節點支援的操作與建模任務執行個體列表支援的操作相同。更多資訊,請參見建模任務執行個體列表支援的操作。
建模任務執行個體支援的大量操作
操作 | 描述 |
重跑所有失敗執行個體 | 選中多個建模任務執行個體後,在列表底部選擇重跑所有失敗執行個體、重跑所有終態執行個體或強制重跑所有執行個體。
|
終止 | 僅節點狀態為成功、失敗、未運行的執行個體不支援終止,其他節點狀態執行個體均支援進行終止操作。如果僅選中節點狀態為成功、失敗、未運行的執行個體,則不支援批量終止操作。 |
置成功繼續調度 | 可批量將運行失敗或未運行的執行個體節點手動置運行成功,繼續參與調度。 |
暫停 | 僅未運行、等待調度時間、限流中的執行個體支援暫停。如果未選中未運行、等待調度時間、限流中的執行個體,則不支援大量暫停操作。 |
恢複 | 恢複正在暫停中的周期執行個體。 |
修改優先順序 | 批量修改所選中執行個體的優先順序,可選擇最高、高、中、低或最低。 說明 匯總邏輯表存在多個優先順序。 |
下載所有 | 下載所有周期執行個體(包括整合和計算任務執行個體以及建模任務執行個體)資料至本地,下載檔案為.xlsx格式,名稱格式為 表格中包含執行個體對象、執行個體ID、運行狀態、調度周期、業務日期、優先順序、營運負責人、專案(匯總邏輯表存在多重專案,各專案間使用逗號(,)分隔)、定時已耗用時間、開始已耗用時間、結束已耗用時間、運行時間長度、重試次數/自動重試次數、相關基準執行個體(執行個體所涉及到的基準名稱,多個名稱間使用逗號(,)分隔)和調度資源群組(建模任務執行個體下,此參數為空白值)資訊。 |
重跑下遊
在重跑下遊對話方塊中,配置參數。
說明重跑建模任務僅支援重跑運行狀態為成功和失敗,且歸一狀態為成功和失敗欄位的下遊節點。關於邏輯表運行狀態和欄位的歸一狀態,請參見查看周期建模列表。
如果由於邏輯表執行個體運行狀態和欄位歸一狀態的限制,無法執行重跑下遊操作,但業務場需要執行重跑下遊操作,您可以執行強制重跑。具體操作,請參見強制重跑當前執行個體。
基本資料
您可以按照欄位運行狀態進行篩選,也可以通過欄位名稱進行搜尋選中目標欄位。
其中優先展示必選欄位為保障資料品質,Dataphin根據欄位邏輯及上遊節點的資料變化判斷出的必須納入重跑範圍的欄位。
說明為了保障資料一致性與正確性,已選欄位所屬物化節點內包含的所有欄位、及連帶欄位歸屬的其他物化節點包含的欄位,均會被連帶重跑。
參數
描述
起始節點
選擇重跑下遊的起始節點。支援選擇全表和指定欄位,詳細說明如下:
全表:邏輯表執行個體中的所有欄位執行重跑下遊執行個體操作。
指定欄位:您可以根據業務需求指定需要重跑下遊節點的欄位。
您可以按照欄位運行狀態進行篩選,也可以通過欄位名稱進行搜尋選中目標欄位。
起點運行方式
定義起始節點的運行方式。支援選擇空跑運行和正常運行,詳細說明如下:
空跑運行:空跑的執行個體狀態顯示成功(正常調度),作業記錄為空白,無執行時間長度,不會實際跑資料。
正常運行:正常調度。
下遊配置
下遊重跑範圍
描述
所有失敗執行個體
僅選中依賴當前執行個體且運行失敗的欄位及其連帶欄位進行重跑。
自訂配置
如果您需要自訂指定重跑的下遊,可以選擇自訂配置,支援按照節點名稱或ID進行搜尋,也可以通過運行狀態、營運負責人及所屬專案進行篩選。
您可以通過運行失敗、下遊節點層級及優先展示必選欄位篩選下遊執行個體節點。您也可輸入節點名稱和節點ID快速篩選下遊節點。
單擊提交。
重跑下遊後,下遊執行個體節點資料更新。
強制重跑當前執行個體
在強制重跑當前執行個體-邏輯表對話方塊中,配置重跑參數。
強制重跑範圍
描述
全表
強制重跑該邏輯表中的所有欄位。
指定欄位
您可以根據業務需求指定需要重跑的欄位,當前邏輯表執行個體中的所有歸一運行狀態的欄位均支援強制重跑。
您可以通過欄位運行狀態進行篩選,也可以通過欄位名稱進行搜尋選中目標欄位。
單擊確定後,會為您展示連帶必選欄位對話方塊,需要您確認並單擊確定。
為了保障資料一致性與正確性,已選欄位所屬物化節點內包含的所有欄位、及連帶欄位歸屬的其他物化節點包含的欄位,均會被連帶強制重跑。
強制重跑下遊執行個體
在強制重跑下遊執行個體-邏輯表對話方塊中,選擇配置方式及配置對應的參數。
強制重跑下遊執行個體支援快捷配置及自訂配置,詳細說明如下:
快捷配置
a. 選擇起始節點為全表及起點的運行方式。
參數
描述
起始節點
快捷配置起始節點預設選擇為全表,即邏輯表執行個體中的所有欄位為起始節點。
起點運行方式
定義起始節點的運行方式。支援選擇空跑運行和正常運行,詳細說明如下:
空跑運行:空跑的執行個體狀態顯示成功(正常調度),作業記錄為空白,無執行時間長度,不會實際跑資料。
正常運行:正常調度。
b. 選擇下遊強制重跑的範圍。
快捷配置的下遊強制重跑範圍預設選擇依賴當前邏輯表執行個體的所有下遊執行個體。
自訂配置
基本資料
參數
描述
起始節點
選擇重跑下遊的起始節點。Dataphin支援選擇全表和指定欄位,詳細說明如下:
全表:邏輯表執行個體中的所有欄位執行強制重跑下遊執行個體操作。
指定欄位:您可以根據業務需求指定需要強制重跑下遊節點的欄位。
您可以按照欄位運行狀態進行篩選,也可以通過欄位名稱進行搜尋選中目標欄位。
起點運行方式
定義起始節點的運行方式。Dataphin支援選擇空跑運行和正常運行,詳細說明如下:
空跑運行:空跑的執行個體狀態顯示成功(正常調度),作業記錄為空白,無執行時間長度,不會實際跑資料。
正常運行:正常調度。
下遊配置
參數
描述
下遊強制重跑範圍
選擇下遊強制重跑範圍,包括所有執行個體和自訂配置,詳細說明如下:
所有執行個體:已選欄位的所有下遊執行個體節點。
自訂配置:如果您需要自訂指定強制重跑下遊的節點,可以選擇自訂配置,支援按照欄位名稱進行搜尋,也可以運行狀態進行篩選。
欄位列表
您可以通過優先展示必選欄位,進行篩選欄位。您也可以輸入欄位名稱快速篩選欄位。
優先展示必選欄位為保障資料品質,Dataphin根據欄位邏輯及上遊節點的資料變化判斷出的必須納入強制重跑範圍的欄位。
單擊提交後,會為您展示連帶必選欄位彈框,需要您確認並單擊確定。
為了保障資料一致性與正確性,已選欄位所屬物化節點內包含的所有欄位、及連帶欄位歸屬的其他物化節點包含的欄位,均會被連帶強制重跑。
邏輯表欄位及大量操作
邏輯表欄位及大量操作列表頁面展示當前邏輯表所包含的欄位,欄位資訊包括欄位名稱、運行狀態、欄位類型、開始已耗用時間、結束已耗用時間、運行時間長度及支援的操作。
操作 | 描述 |
查看生產鏈路 | 查看建模任務執行個體中欄位的物化鏈路及物化節點的欄位組。
①展示當前建模任務執行個體節點的欄位及欄位的運行狀態。您可以單擊選擇不同的欄位,頁面右側展示已選欄位的生產鏈路資訊。 ②展示當前選中欄位的物化鏈路。 ③展示物化節點的所有欄位。 ④展示當前建模節點的物化節點。如果邏輯表節點有多個物化節點,則單擊物化節點資訊展示地區④,切換查看不同的物化節點資訊。 |
查看作業記錄 | 查看當前執行個體啟動並執行日誌。 |
查看物化代碼 | 查看建模任務執行個體所有物化節點的物化代碼。
在查看物化字碼頁面,您可以在地區①切換建模所有的物化節點,查看對應物化節點的物化代碼。同時,您也可以將滑鼠移至上方至地區②的 |
查看消費鏈路 | 查看建模任務執行個體節點的欄位被依賴的情況,以便您營運管理欄位時,分析對下遊節點的影響。
①展示當前建模任務執行個體節點的欄位。您可以選擇不同的欄位,頁面右側展示已選欄位的消費鏈路資訊。 ②展示選中欄位下遊節點,便於您在營運管理該欄位時,分析對下遊節點的影響。 |
重跑 | Dataphin僅支援重跑運行狀態為成功和失敗邏輯表執行個體,且欄位的歸一狀態為成功和失敗。重跑後,當前執行個體已重跑的欄位及其下遊執行個體節點資料更新。 如果由於邏輯表執行個體運行狀態和欄位歸一狀態的限制,無法執行重跑操作,但業務情境需要執行重跑操作,您可以執行強制重跑,具體操作,請參見強制重跑當前執行個體。 |
重跑下遊 | Dataphin僅支援重跑運行狀態為成功和失敗的建模任務執行個體,且歸一狀態為成功和失敗欄位的下遊節點。 如果由於建模任務執行個體運行狀態和欄位歸一狀態的限制,無法執行重跑下遊操作,但業務場需要執行重跑下遊操作,您可以執行強制重跑。請參見強制重跑當前執行個體。 重跑下遊操作多用於如下情境:
|
終止 | 僅節點狀態為成功、失敗、未運行的執行個體不支援終止,其他節點狀態執行個體均支援進行終止操作。終止後執行個體的節點狀態變更為失敗。當前執行個體節點終止運行後,該節點的下遊節點也不會運行。 終止操作多用於如下情境:
|
強制重跑 | 強制重跑不會校正上遊是否全部運行成功以及釋放到達當前執行個體的定時已耗用時間,存在運行失敗或產生資料品質問題的風險,請確認對下遊資料無影響後再進行操作。具體操作,請參見強制重跑當前執行個體。 強制重跑下遊執行個體的詳細說明如下:
|
暫停 | 即將欄位的當前調度周期置為暫停調度的狀態。暫停欄位即暫停欄位的當前調度周期,不影響該欄位其他調度周期。 |
置成功繼續調度 | 將運行失敗或未運行狀態的欄位手動置運行成功,繼續參與調度。具體操作,請參見置成功繼續調度。 |
恢複 | Dataphin僅支援恢複已暫停的欄位。被暫停啟動並執行欄位恢複後,系統會主動檢查當前節點是否已經滿足運行條件:
如果已經滿足上述運行條件,則自動開始運行;如果不滿足條件,僅取消欄位的凍結狀態,後續滿足運行條件後,欄位即可開始運行。 |
置成功繼續調度
在置成功繼續調度-邏輯表對話方塊中選擇所需的操作範圍。
失敗欄位:所有歸一化運行狀態為失敗的欄位將直接被置為成功。
未運列欄位:所有歸一化運行狀態為未啟動並執行欄位將直接被置為成功。
失敗未運列欄位:所有歸一化運行狀態為失敗、未啟動並執行欄位將直接被置為成功。
自訂配置:可在欄位列表選中邏輯表執行個體中歸一化運行狀態為失敗和未啟動並執行欄位進行置成功。
單擊確定,即可完成設定。


