完成整合任務開發並提交時,Dataphin系統將自動解析任務中表和欄位的血緣關係,並確認任務對象的變更類型、變更內容以及對您提交的計算任務進行前置檢查,以確保您提交的任務符合提交條件,降低錯誤任務提交的可能性。
血緣關係解析說明
系統在任務提交時,解析開發環境的表和欄位血緣關係;發布時,解析生產環境的表和欄位血緣關係。單個任務提交發布支援解析不超過10萬條血緣關係,超過則不予記錄,在資產目錄中無法展示。
離線整合任務支援自動解析的欄位血緣為中繼資料中心支援採集的資料來源類型的表,支援的資料來源請參見中繼資料採集概覽。
使用Schema選擇表的輸入組件,若該組件關聯的資料來源Schema更新,需重新提交整合任務才能自動更新血緣。
若您使用了MySQL輸入組件且按規則圈選多張表,僅為您自動解析前50張表對應的血緣關係;若使用
select*運算式圈選表,則僅自動解析查詢結果對應的第一張表的血緣。若任務配置中包含基於自訂資料來源建立的表,且自訂資料來源沒有配置具體的Database/Schema,系統自動解析血緣關係時,將自動為相關表名稱增加
default_schema首碼。當在過濾組件中通過
where條件加工欄位的計算邏輯,或在欄位計算群組件中使用內建函數加工欄位的計算邏輯,則欄位血緣圖中展示為直接血緣。即時整合任務成功提交時,將採集開發環境表的血緣關係;即時整合任務成功發布時,將採集生產環境表的血緣關係。此時,可在資產清單 > 表詳情中查看對應的血緣關係。如果在資產清單中無法找到即時整合任務中的表,則需先通過中繼資料採集,將表的中繼資料採集至Dataphin。
即時整合任務下線後,血緣關係將隨之消失。僅影響在即時整合任務頁面下線的任務,在營運頁面下線的執行個體不會受到影響。
即時整合任務運行後,新增和刪除表的血緣資訊無法進行採集與更新。
離線整合任務
提交詳情說明
提交整合任務時,在提交對話方塊中,查看任務的提交內容、前置檢查結果以及填寫提交備忘。
提交內容
可以查看當前提交任務對象的對象名稱、物件類型及變更類型。
前置檢查
提交離線整合任務時,將進行以下前置檢查,未正確配置所有檢查項將不支援提交。
校正項
描述
調度依賴
Dataphin通過各個節點的調度依賴配置結果,有序地運行商務程序中各個節點,保障業務資料有效、適時地產出。更多資訊,請參見配置離線管道調度依賴。
運行參數
運行參數配置是對整合任務中所用的變數進行賦值,從而支援節點調度,參數變數可以自動被替換為相應的變數值。更多資訊,請參見配置離線管道運行參數。
跨節點參數
透傳給本對象節點直接下遊節點的變數參數。更多資訊,請參見跨節點變數。
提交備忘
支援填寫本次任務提交的備忘資訊,128個字元以內。
檢查項說明
提交整合任務後,在提交內容對話方塊中單擊確認並提交,在提交對話方塊中查看任務的檢查項和檢查結果。
檢查項 | 描述 |
配置檢查 | 檢查整合式管線的ID配置、整合式管線名稱配置、整合式管線FileId配置、整合式管線物件類型配置、整合式管線調度配置以及整合式管線配置是否正確。 |
參數配置 | 檢查整合式管線參數的當前實際值是否正確。 |
許可權檢查 | 檢查整合式管線的對象是否具備許可權。若檢查對象失敗,您可以單擊 系統將解析整合式管線中的所有對象並以列表形式展示是否具備對象的操作許可權。包括對象名稱、物件類型、許可權狀態、行級許可權狀態以及許可權申請操作。
|
表結構檢查 | 先校正生產表是否存在,若不存在,則狀態為警示,錯誤詳情中將展示為:<表名>表在生產環境不存在;再校正開發與生產表結構一致性,若檢查不通過,則狀態為警示,錯誤詳情中將展示為:<表名>表結構開發與生產環境不一致。 說明 檢查不通過時僅給出警示,不阻塞提交。 |
表重複性檢查 | 檢查整合式管線的表是否存在重複。 |
即時整合任務
提交詳情說明
提交即時整合任務時,在提交對話方塊中,支援查看任務的提交內容和提交備忘。
提交內容
可以查看當前提交任務對象名稱、物件類型、變更類型。
提交備忘
支援填寫本次任務提交的備忘資訊,128個字元以內。
檢查項說明
檢查項 | 描述 |
許可權校正 | 檢查即時整合的對象是否具備許可權。 |
操作執行 | 檢查到此項時,系統將執行提交任務。操作執行過程中不支援撤銷提交。 |

