Dataphin：資料來源表詳情

地區

描述

①基本資料

為您展示中繼資料的名稱、環境、標籤、描述等資訊。同時，您還可以進行以下操作：

當資料來源為Elasticsearch的資料來源表，支援搜尋中繼資料、查看資產詳情、查看生產/開發對象、修改標籤、收藏、反饋品質問題、申請資料來源許可權及匯出欄位（僅表對象支援）操作。

• 若該中繼資料已在源系統資料刪除，則名稱置灰標識，您可以單擊名稱後的表徵圖，跳轉至中繼資料清單頁面，將不繼續使用的中繼資料進行刪除。

• 搜尋中繼資料：在右上方搜尋方塊中，輸入表名稱等關鍵字搜尋資料來源表，並可以切換查看其他資產的詳情。

• 查看資產詳情：如果當前對象已上架到資產目錄，您可以快捷跳轉至目錄詳情頁查看已上架資訊。

• 查看生產/開發對象：單擊右上方的查看生產/開發對象，支援快速切換當前對象在對應生產/開發環境的對象詳情。

• 標籤：為您展示當前資產已配置的標籤值。如需修改標籤，您可以單擊編輯。

  • 每個標籤值的長度不超過128個字元。

  • 每個資產對象最多可配置20個標籤值。

• 收藏：單擊即可收藏或移除最愛。收藏後，您可以在資產清單列表-我的足跡查看最近收藏的30條資產，方便後續查詢；您也可以在個人資料中心查看全量收藏的資產，詳情請參見查看及管理我收藏的資產。

• 去分析：單擊跳轉至Notebook頁面自動建立對應的Notebook任務，您可以對該資產進行可視化分析，詳情請參見建立Notebook。

  說明

  部分資料來源表，申請消費許可權後，支援建立Notebook任務，支援的資料來源請參見不同類型的資產支援的操作。

• 申請許可權：單擊跳轉至當前資料表的許可權申請頁面，詳情請參見申請、續期和交還表許可權。

• 反饋品質問題：若中繼資料已刪除，不支援該操作。您可以通過該功能向當前品質負責人反饋在使用資產過程中遇到的品質問題（如資料產出不穩定、資料內容不準確等），以通知相關負責人及時進行整改，從而推動提升資產可用性和健康度。配置詳情請參見添加並管理問題清單。

  您需要開通資料品質模組才能使用該功能；僅生產環境的資料來源表支援反饋品質問題。後續，您可以在品質模組的問題清單中查看反饋問題的處理流程和結果。

• 產生select語句：單擊產生當前表查詢語句，可選擇是否需要添加轉義符。您可以複製查詢語句後到即席查詢或分析頁面查詢資料。

• 查看DDL語句：單擊右上方的更多，選擇查看DDL語句，單擊查看當前中繼資料所屬資料來源中對應的DDL語句。此外，您也可以選擇資料來源類型，單擊產生DDL語句，系統將產生在指定類型的資料來源系統中建立與當前中繼資料相同結構的表DDL語句。若您選中了自動添加轉義符，產生的DDL語句將根據選擇的源類型自動添加對應的轉義符，減少系統關鍵詞誤轉義等問題產生。

• 申請資料來源許可權：單擊右上方的更多，選擇申請資料來源許可權，跳轉至當前資料來源的許可權申請頁面，詳情請參見申請、續期和交還資料來源許可權。

• 匯出欄位：單擊右上方的更多，選擇匯出欄位，匯出中繼資料的欄位資訊，格式類型為CSV，便於其他開發或業務人員快速分析使用。

②明細資訊

為您展示表、視圖的屬性資訊和欄位資訊。

• 表詳情：為您展示中繼資料的業務屬性和技術屬性資訊。

  • 業務屬性：包括來源系統資訊。

  • 技術屬性：包括來來源資料源、錶行數、最高涉密等級（需購買資料安全功能）、是否湖表、湖表格式、表格儲存體模式、儲存類型（內部表、外部表格）、儲存量、Location資訊。

    • 表格儲存體模式：若資料表為湖表且湖表格式為Hudi時，可從該表的來源（資料來源）中採集到該資訊。其中，StarRocks、SelectDB、Doris資料來源在無法採集該資訊。

    • Location：當前表的儲存地址，例如：hdfs://node01.exp5:8020/user/hive/warehouse。

      說明

      • 視圖技術屬性僅支援查看來來源資料源資訊。

      • 當資料來源為MySQL、Microsoft SQL Server時，無儲存類型資訊。

      • 當資料表為Oracle表時，儲存量通過錶行數和每行平均使用空間（單位為位元組）進行估算，不包括索引、未使用的空間、片段等資訊的統計。因此，統計值會低於實際佔用的空間大小。

      • 若資料來源表為分區表，錶行數資訊僅供參考；當前暫不支援採集分區表主表的錶行數資訊。

      • 當資料來源為Hive、Greenplum且儲存類型為外部表格時，支援查看Location資訊。

      • 當資料來源為Amazon Redshift時，僅支援查看來來源資料源、儲存類型資訊。

      • 當資料來源為Elasticsearch且為表對象（即索引）時，僅支援查看文檔數和儲存量技術屬性資訊。

• 欄位資訊：為您展示表、視圖的欄位資訊，包括欄位名稱、資料類型、描述、是否可為空白、預設值、資料分類/資料分級（需開通資料安全模組）資訊；當資料來源為Elasticsearch且為表對象（即索引）時，支援查看欄位名稱和資料類型資訊。

  搜尋及篩選：您可以根據欄位的名稱或描述搜尋欄位，也可根據資料分類、資料分級篩選指定欄位（需開通資料安全）。

• 分區資訊：可查看資料表的分區資訊。多級分區將按照各級分區組合結果展示，不同分區之間用 / 串連。例如：ds=20221001/pt1=a/pt2=b。

  說明

  • 分區記錄數和儲存量資訊僅供參考。

  • 當資料來源為Elasticsearch時，暫無法查看分區資訊。

③血緣&影響

• 血緣為您展示表、欄位之間的血緣關係。

  • 表級血緣來源包括整合同步任務、自訂血緣的計算任務及系統可自動解析血緣的SQL計算任務和邏輯表任務，詳情請參見表級血緣。

  • 欄位血緣來源包括自訂血緣的計算任務及系統可自動解析血緣的SQL計算任務和邏輯表任務，詳情請參見欄位血緣。

    說明

    系統在任務提交時，解析開發環境的表和欄位血緣關係；發布時，解析生產環境的表和欄位血緣關係。單個任務提交或發布時支援解析不超過10萬條血緣關係，超過則不予記錄，在資產目錄中無法展示。

• 影響分為資料表影響和整合同步影響。

  • 資料表影響：為您展示引用當前表的直接下遊表，以及引用直接下遊表的間接下遊表。支援匯出資料、僅展示直接下遊表操作。

    • 匯出資料：支援匯出Excel，便於業務人員瀏覽。

    • 僅展示直接下遊表：選中後預設展示當前表直接影響的下遊表，取消選中將展現所有下遊影響表，最多展示15層（從當前表的直接下遊開始為第一級）。

  • 整合同步影響：為您展示當前表及下遊表作為來源表的整合同步任務。支援匯出資料、僅展示當前表影響操作。

    • 匯出資料：支援匯出Excel，便於業務人員瀏覽。

    • 僅展示當前表影響：選中後預設展示當前表作為輸入表的整合任務，取消選中將展現當前及所有下遊影響表作為輸入表的整合任務，最多展示15層（從當前表的直接下遊開始為第一級）。

④品質概況

您需要開通資料品質功能，才能查看當前資料表的規則校正概覽和品質監控規則列表。您可以單擊查看報告詳情按鈕或查看規則詳情按鈕，快捷跳轉到資料品質模組對應頁面查看更多詳情。僅支援資料品質監控的資料表可查看品質概況，支援的資料來源請參見Dataphin支援的資料來源。

僅生產環境的資料來源表支援建立品質規則並查看品質概況。

⑤資料探查

若您開通了資料品質功能，僅支援資料探查的資料來源表可發起和查看資料探查，快速瞭解資料概況，提前評估資料的可用性和潛在風險，如果您需要開啟自動探查，可以在治理 > 中繼資料中心 > 探查及分析中開啟相應配置，探查任務配置詳情請參見建立資料探查任務，支援資料探查的資料來源請參見不同資料來源支援的探查分區及探查範圍。

⑥資料預覽

若您擁有當前表的查表資料許可權，可以使用資料預覽功能，僅查詢您有select許可權的欄位對應的結果，可預覽前50條資料。如何申請查詢許可權，請參見申請、續期和交還表許可權。

您可以對篩選後的資料根據欄位進行尋找或篩選、搜尋、查看單行資料詳情、自適應列寬以及行列轉換操作；也可以單擊欄位後的排序表徵圖，根據欄位進行不排序、升序、降序操作，雙擊欄位值，可一鍵複製欄位的值。

⑦資產資訊

為您展示資料來源表的基礎資訊和使用資訊。

• 基礎資訊：包括資料來源表的環境、表類型、最近採集時間、採集任務。

  • 最近採集時間：當前資料來源表對應的採集任務最近一次運行成功的採集執行個體運行結束時間，格式為：YYYY-MM-DD hh:mm:ss。

  • 採集任務：當前資料來源表對應的採集任務資訊。

• 使用資訊：包括資料來源表的收藏數、瀏覽量。

  • 收藏數：為您展示收藏當前資料來源表的使用者數，即時更新。

  • 瀏覽量：為您展示當前資料來源表的訪問頁次（PV），每重新整理1次增加1次，即時更新。

序號

描述

①快捷操作區

• 搜尋：支援根據表的名稱關鍵字搜尋當前頁面已展開的節點，支援單擊搜尋方塊後的左/右箭頭，切換命中的節點。系統預設定位命中的第一個節點。

• 僅展示直接血緣：單擊篩選-僅展示直接血緣，展示當前表直接血緣關係的上下遊相關表。

  說明

  • 直接血緣是通過select、insert等語句讀取或寫入的上下遊相關資產。

  • 關聯血緣是通過join、group by、where條件等方式引用的相關資產。

  • 表級血緣只要包含有直接血緣的欄位就會展示對應的標識。

• 隱藏資料來源表：：單擊篩選-隱藏資料來源表，將隱藏來自資料來源的表對象及其下遊。

• 隱藏已刪除表：：單擊篩選-隱藏已刪除表，血緣在提交和發布任務時進行解析。特殊情況下，如果資料表不是通過Dataphin調度任務刪除的（如通過即席查詢刪除或直接在引擎側刪除），則不會觸發血緣更新，仍會展示在血緣圖中。選中後，將不會展示已經刪除的表對象。

②圖例區

表級血緣支援的資料表，包括物理表、維度邏輯表、事實邏輯表、匯總邏輯表、標籤邏輯表、物理視圖、物化視圖、邏輯視圖、元表、鏡像表、資料來源表。

③血緣圖展示區

為您展示完整的血緣鏈路圖，可手動展開多級上遊或下遊，支援根據資料表名稱關鍵字進行模糊搜尋。特殊的，若存在循環相依性，則無法繼續展開，需從起始節點繼續查看下遊。

• 中心節點：展示當前資產的名稱，並在節點左上方用當前表進行標識。

• 表內欄位：滑鼠移至上方節點並單擊右側下拉式箭頭，支援通過欄位名稱模糊搜尋，單擊欄位名稱跳轉至當前資產詳情頁面查看血緣關係。

④對象詳情區

滑鼠移至上方在表上，為您展示表的詳情。

資料來源表：為您展示表的名稱、物件類型、資料來源類型、所屬資料來源、血緣來源。同時您可以進行查看血緣、查看DDL和申請許可權操作。

• 若該中繼資料已在源系統中刪除，您可以單擊名稱後的表徵圖，跳轉至中繼資料清單頁面，將不繼續使用的中繼資料進行刪除。

• 查看血緣：單擊可快捷查看該表的表級血緣。

• 查看DDL語句：當資料表為物理表、物理視圖、鏡像表時，可單擊查看錶的DDL語句。

• 申請許可權：若中繼資料已刪除，不支援該操作。正常狀態的中繼資料可單擊跳轉到該表的表許可權申請頁面。

序號

描述

①快捷操作區

• 搜尋：支援根據欄位的名稱關鍵字搜尋當前頁面已展開的節點，支援單擊搜尋方塊後的左/右箭頭，切換命中的節點。系統預設定位命中的第一個節點。

• 僅展示直接血緣：選中後僅展示當前欄位直接血緣關係的上下遊相關欄位。

  說明

  • 直接血緣是通過select、insert等語句讀取或寫入的上下遊相關資產。特殊的，當在過濾組件中通過where條件加工欄位的計算邏輯，或在欄位計算群組件中使用內建函數加工欄位的計算邏輯，在欄位血緣圖中展示為直接血緣。

  • 關聯血緣是通過join、group by、where條件等方式引用的相關資產。

• 隱藏已刪除欄位：血緣在提交和發布任務時進行解析。特殊情況下，如果資料表不是通過Dataphin調度任務刪除的（如在即席查詢或直接在引擎側刪除），則不會觸發血緣更新，仍會展示在血緣圖中。選中後，將不會展示已經刪除的表對象。

②圖例區

欄位血緣支援的欄位，包括計算源表欄位、資料來源表欄位。

③血緣圖展示區

為您展示完整的血緣鏈路圖，可手動展開多級上遊或下遊，支援根據欄位名稱關鍵字進行模糊搜尋。特殊的，若存在循環相依性，則無法繼續展開，需從起始節點繼續查看下遊。

中心節點：展示當前欄位及所屬表名稱，並在節點左上方用當前欄位進行標識。支援通過欄位關鍵字進行模糊搜尋以切換查看不同欄位的血緣關係圖。

④對象詳情區

滑鼠移至上方在欄位上，為您展示欄位的名稱、物件類型、資料來源類型、所屬表、表負責人、資料類型、描述、血緣來源資訊，同時您可以進行查看血緣操作。

• 所屬表：若資料來源表已配置採集任務，單擊表名稱跳轉至該表所屬資料來源詳情頁面。

• 申請許可權：正常狀態的中繼資料可單擊跳轉到該表的表許可權申請頁面。

• 查看血緣：單擊可快捷查看該欄位作為中心欄位的血緣關係資訊。