全部產品
Search
文件中心

Dataphin:自訂血緣配置

更新時間:Mar 06, 2025

Dataphin支援自動解析SQL類型計算任務和邏輯表任務的血緣資訊,針對非SQL類型的計算任務,支援自訂配置血緣資訊,以補全血緣鏈路。本文為您介紹如何自訂配置非SQL任務的血緣。

使用限制

  • 僅支援針對非SQL類型的計算任務自訂配置血緣關係。

  • 最多配置20個血緣組,每個血緣組內最多分別配置5個輸入及輸出。

血緣配置說明

  • 血緣組&血緣:每個任務支援配置多個血緣組。血緣組內的每個輸入和輸出一一對應產生血緣關係,血緣組之間彼此獨立。每個輸入輸出配置將同時產生表級血緣和欄位級血緣。

    例如:輸入表1選擇table A的a欄位,輸入表2選擇table B的b欄位,輸出表選擇table C的c、d欄位,則會產生以下血緣關係:

    • 表級血緣:table A-->table C; table B-->table C。

    • 欄位級血緣:table A.a-->table C.c; table B.b-->table C.c; table A.a-->table C.d; table B.b-->table C.d。

  • 支援配置輸入輸出表的所屬環境,如果所屬環境選擇了自動,將在提交和發布階段自動替換環境參數產生對應開發環境和生產環境的血緣。

  • 系統在任務提交或發布時,解析當前存在的資料來源表的血緣,若重新提交或發布任務,則更新至最新血緣。

配置血緣

  1. 在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發

  2. 開發頁面的頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。

  3. 在左側導覽列中選擇資料處理 > 計算任務

  4. 在計算工作清單中,單擊目標計算任務,開啟對應計算任務頁簽。

  5. 單擊頁面右側邊欄的血緣,開啟血緣配置面板。

  6. 血緣配置面板中,單擊+新增血緣組,進行輸入與輸出表配置。

    • 輸入表配置

      1. 在血緣組地區內,單擊配置輸入表,開啟配置輸入表對話方塊,在對話方塊中配置以下參數。image

        參數

        描述

        所屬環境

        輸入輸出表的所屬環境,支援選擇自動開發生產

        • 所屬環境選擇自動,相當於代碼中以空間變數${專案名/板塊名}的方式參考資料表,可選範圍為開發環境的表。任務提交成功後變數將替換為開發環境表並解析血緣關係,發布成功後將自動替換為對應的生產環境表並解析血緣關係。如果不存在對應的生產表,不阻塞提交發布,但無法解析生產血緣。

        • 所屬環境選擇開發生產,則提交發布時不做變數替換,以配置為準。

        輸入表

        支援的資料表類型包括:物理表、物理視圖、維度邏輯表、事實邏輯表、匯總邏輯表、標籤邏輯表、邏輯視圖。

        選中範圍

        • 全表:以提交發布時對應表的全部欄位為準產生血緣關係。

          說明

          血緣僅在配置任務提交和發布成功時更新,後續輸入輸出表結構變更不會自動觸發血緣更新。

        • 指定欄位:根據業務需要選擇對應表中的指定欄位。

      2. 單擊確定,完成輸入表配置。

    • 配置輸出表

      1. 在血緣組地區內,單擊配置輸出表,開啟配置輸出表對話方塊,在對話方塊中配置相關參數。

        輸出表與輸入表所需配置的參數相同。

      2. 單擊確定,完成輸出表配置。

  7. 各血緣組的輸入表和輸出表配置均完成後,單擊血緣配置面板中的確定,完成血緣的配置。

提交並發布血緣

  1. 血緣配置完成後,單擊當前計算任務代碼編輯地區上方的提交

  2. 提交詳情對話方塊中,單擊確認並提交

  3. 提交詳情對象檢查步驟中,將會校正血緣配置中引用的輸入輸出表及欄位是否存在。

    說明
    • 血緣配置僅在提交環節進行對象檢查,發布環境不做額外檢查。

    • 系統在任務提交時,解析開發環境的表和欄位血緣關係;發布時,解析生產環境的表和欄位血緣關係。單個任務提交或發布時支援解析不超過10萬條血緣關係,超過則不予記錄,在資產目錄中無法展示。

    image

查看血緣

任務提交發布完成後,您可以在資料表詳情頁面查看自訂配置的表級和欄位級血緣關係,詳情請參見物理表詳情