Dataphin：MaxCompute物理表和欄位詳情

地區

描述

①概要資訊

為您展示表的類型、環境、名稱、標籤、描述等資訊。同時，您還可以執行如下操作：

• 搜尋其他資產對象：您可以快捷搜尋並切換查看其他資產的詳情。

• 查看資產詳情：如果當前對象已上架到資產目錄，您可以快捷跳轉至目錄詳情頁查看已上架資訊。

• 查看生產/開發對象：支援快速切換當前對象在對應生產/開發環境的對象詳情。

• 標籤：為您展示當前資產已配置的標籤值。如需修改標籤，您可以單擊編輯：

  • 每個標籤值的長度不超過128個字元。

  • 每個資產對象最多可配置20個標籤值。

  • 超級管理員可以修改所有表類型的資產標籤，當前表負責人可以修改自己是表的負責人的資產標籤；專案系統管理員支援修改所負責專案下的物理表的資產標籤。

• 收藏：單擊即可收藏或移除最愛。收藏後，您可以在資產清單列表 > 我的足跡查看最近收藏的30條資產，方便後續查詢；您也可以在個人資料中心查看全量收藏的資產，詳情請參見查看及管理我收藏的資產。

• 去分析：單擊跳轉至Notebook頁面自動建立對應的Notebook任務，詳情請參見建立Notebook。

• 申請許可權：單擊快捷跳轉到當前表的許可權申請頁面，詳情請參見申請、續期和交還表許可權。

• 反饋品質問題：您可以通過該功能向當前品質負責人反饋在使用資產過程中遇到的品質問題（如資料產出不穩定、資料內容不準確等），以通知相關負責人及時進行整改，從而推動提升資產可用性和健康度。配置詳情請參見添加並管理問題清單。

  您需要開通資料品質模組才能使用反饋品質問題功能。後續，您可以在品質模組的問題清單中查看反饋問題的處理流程和結果。

• 產生select語句：單擊產生當前表查詢語句，可選擇是否需要添加轉義符。您可以複製查詢語句後到即席查詢或分析頁面查詢資料。

  

• 查看DDL語句：單擊查看當前資料表在租戶計算引擎中對應的DDL語句。此外，您也可以選擇資料來源類型，單擊產生DDL語句，系統將產生在指定類型的資料來源系統中建立與當前表相同結構的表DDL語句。若您選中了自動添加轉義符，產生的DDL語句將根據選擇的源類型自動添加對應的轉義符，減少系統關鍵詞誤轉義等問題產生。

  

• 編輯表：支援跳轉至研發-表管理頁面，編輯該表的DDL資訊，詳情請參見建立離線物理表。

• 匯出欄位：匯出表中的欄位資訊，格式類型為CSV，便於其他開發或業務人員快速分析使用。

• 查看轉交記錄：為您展示當前資料表最近100條負責人轉交記錄。

• 查看許可權列表：查看資料表許可權資訊。

• 重新整理中繼資料：若資料表不是通過Dataphin平台建立，或由於系統中繼資料擷取延遲導致查詢建立表無結果時，您可以單擊重新整理中繼資料擷取最新的中繼資料資訊，將指定的資料表中繼資料重新整理至Dataphin系統中。 

②明細資訊

為您展示表、欄位和分區資訊。

• 表詳情：為您展示該表的屬性資訊，包括資料板塊、主題域、專案、最高涉密等級（需購買資料安全功能）、是否分區表、是否分析平台手工表、是否湖表、湖表格式、表格儲存體模式、儲存類型、儲存格式、儲存量、生命週期、Location。

  • 專案：當前表歸屬的專案資訊，單擊專案的名稱，可跳轉至該專案的資產詳情頁。

  • 最高涉密等級：當前表欄位已有的最高敏感等級，便於快速瞭解當前表資料的資料保密情況，資料分級等級從低到高為L1、L2、L3、L4（公開到絕密）及自訂的資料分級。

  • 表格儲存體模式：若資料表為湖表且湖表格式為Hudi時，可從該表的來源（計算源）中採集到該資訊。

  • 儲存類型：當前表的儲存類型，包括內部表、外部表格。

  • 儲存量：當前表實際儲存大小，T+1更新。

  • 生命週期：當前表的儲存時間，單位為天。

  • Location：僅MaxCompute、Hive類型的計算源外部表格，支援查看當前表的儲存地址，例如：hdfs://node01.exp5:8020/user/hive/warehouse。

• 欄位資訊：包括欄位名稱、描述、資料類型、關聯標準（需購買資料標準模組）、範例資料（僅開啟資料採樣功能時展示）、資料分類（需購買安全模組）、資料分級（需購買安全模組）、熱度資訊。同時，您可以對欄位執行搜尋、篩選、查看血緣關係操作。

  • 查看血緣關係：單擊操作列下的血緣關係表徵圖，查看以指定欄位為中心的欄位血緣關係。

  • 搜尋及篩選：您可以根據欄位的名稱或描述搜尋欄位，也可根據資料分類、資料分級篩選指定欄位（需開通資料安全）。

• 分區資訊：可查看資料表的分區資訊。多級分區將按照各級分區組合結果展示，不同分區之間用 / 串連。例如：ds=20221001/pt1=a/pt2=b。

  說明

  • 當計算引擎為MaxCompute且當前表為湖表，格式為Delta table時，不展示記錄數資訊。

  • 分區記錄數和儲存量資訊僅供參考。

③血緣&影響

• 血緣為您展示表、欄位之間的血緣關係。

  • 表級血緣來源包括系統可自動解析血緣的整合同步任務、SQL計算任務和邏輯表任務，計算任務上手動設定的自訂血緣及通過OpenAPI註冊的外部血緣，詳情請參見表級血緣。

  • 欄位血緣來源包括系統可自動解析血緣的整合同步任務（僅部分資料來源可解析欄位級血緣）、SQL計算任務和邏輯表任務，計算任務上手動設定的自訂血緣及通過OpenAPI註冊的外部血緣，詳情請參見欄位級血緣。

    說明

    • 系統自動解析的血緣關係和在計算任務中手動設定的血緣關係，在任務提交時，解析開發環境的表和欄位血緣關係；發布時，解析生產環境的表和欄位血緣關係。單個任務提交或發布時支援解析不超過10萬條血緣關係，超過則不予記錄，在資產清單中無法展示。

    • 刪除任務將同步刪除物理表關聯的血緣關係，若僅刪除物理表，未刪除血緣關係關聯的任務，則血緣關係仍然存在，在血緣圖中對應表節點展示為未採集或已刪除。

    • 通過OpenAPI註冊的血緣，系統調用成功後，血緣關係即刻生效。

    • 當即時整合任務提交或下線時，系統可解析表的血緣關係；當即時整合任務運行後，系統無法解析新增表或已刪除表的血緣關係。

    • 即時整合任務下線後，血緣關係將會消失。僅影響在即時整合任務頁面下線的任務，在營運頁面下線執行個體不會受到影響。

• 影響分為資料表影響和整合同步影響。

  • 資料表影響：為您展示引用當前表的直接下遊表，以及引用直接下遊表的間接下遊表。支援匯出資料、僅展示直接下遊表操作。

    • 匯出資料：支援匯出Excel，便於業務人員瀏覽。

    • 僅展示直接下遊表：選中後預設展示當前表直接影響的下遊表，取消選中將展現所有下遊影響表，最多展示15層（從當前表的直接下遊開始為第一級）。

  • 整合同步影響：為您展示當前表及下遊表作為來源表的整合同步任務。支援匯出資料、僅展示當前表影響操作。

    • 匯出資料：支援匯出Excel，便於業務人員瀏覽。

    • 僅展示當前表影響：選中後預設展示當前表作為輸入表的整合任務，取消選中將展現當前及所有下遊影響表作為輸入表的整合任務，最多展示15層（從當前表的直接下遊開始為第一級）。

④品質概況

若您開通了資料品質功能，為您展示當前資料表的規則校正概覽和品質監控規則列表，單擊查看報告詳情按鈕或查看規則詳情按鈕，可快捷跳轉到資料品質模組對應頁面查看更多詳情。

⑤資料探查

若您開通了資料品質功能，可以為資料表配置資料探查任務，快速瞭解資料概況，提前評估資料的可用性和潛在風險，如果您需要開啟自動探查，可以在治理 > 中繼資料中心 > 探查及分析中開啟相應配置，詳情請參見建立資料探查任務。

⑥資料預覽

若資料表已有採樣資料，則優先展示採樣資料，也可手動觸發查詢最新資料；若不存在採樣資料，則會自動觸發資料預覽查詢。

• 範例資料：當資料採樣開關開啟且使用配置中資料預覽開關開啟時支援展示。僅查詢您有列級許可權且無需脫敏欄位對應的範例資料。針對每個欄位的採樣資料，系統會隔離儲存區 (Isolated Storage)和排序展示，但不保證行記錄的存在性和正確性。

• 資料預覽：若您擁有當前表的查表資料許可權，可以使用資料預覽功能，僅查詢您有select許可權（包括欄位許可權和行級許可權）的欄位對應的結果，可預覽前50條資料。如何申請許可權，請參見申請、續期和交還表許可權。

您可以對篩選後的資料根據欄位進行尋找或篩選、搜尋、查看單行資料詳情、自適應列寬以及行列轉換操作；也可以單擊欄位後的排序表徵圖，根據欄位進行不排序、升序、降序操作，雙擊欄位值，可一鍵複製欄位的值。

⑦產出資訊

產出任務包含該對象的資料寫入任務、血緣自動解析或自訂配置以當前表為輸出表的任務，以及節點輸出名稱=專案名.表名的任務。

產出工作清單准即時更新，產出明細T+1更新。

• ①查看產出明細：僅支援查看周期任務的產出明細，詳情請參見產出明細。

• ②去營運：單擊去營運按鈕，可跳轉至營運中心的工作清單頁面並篩選出當前任務，查看更多資訊。

⑧使用說明

您可以為資料表添加使用說明，為資料瀏覽者和消費者提供資訊參考。可單擊新增使用說明，填寫使用說明標題及內容完成添加。

⑨資產資訊

為您展示物理表的基礎資訊、變更資訊和使用資訊等詳細資料。

• 基礎資訊：包括表的環境、表類型、建立時間、建立人、負責人、產出任務。

  • 負責人： 當前表的負責人，支援轉交當前表的負責人給其他使用者，在轉交負責人對話方塊中，您可以選擇是否同步轉交開發/生產環境表，選擇接收人後，單擊確定即可立即轉出，建議在轉交後及時同步接收人。您可以在轉交記錄頁面查看轉交資訊，詳情請參見查看轉交記錄。

    說明

    • 超級管理員可轉交所有表類型的負責人，當前表負責人可轉交自己是負責人的表。

    • 專案系統管理員支援轉交所負責專案下的物理表的負責人。

  • 產出任務：您可查看當前表產出任務，包含該對象的資料寫入任務、血緣解析或配置以當前表為輸出表的任務，以及節點輸出名稱 = 專案名.表名的任務。單擊產出任務的名稱，跳轉至該資料表的營運詳情頁。

    說明

    僅支援查看周期任務的產出明細。

• 變更資訊：包括資料變更、最近訪問、DDL變更。

  • 資料變更：Dataphin基於SQL解析到的最近1次表內容變更時間（對應DML操作），外部系統觸發的變更不統計，即時更新。

  • 最近訪問：Dataphin基於SQL解析到的最近1次select時間（對應DQL操作），外部系統觸發的訪問不統計，即時更新。

  • DDL變更：Dataphin基於SQL解析到的最近1次表結構變更時間（對應DDL操作），外部系統觸發的變更不統計，即時更新。

• 使用資訊：包括收藏數、瀏覽量、訪問次數。

  • 收藏數：為您展示收藏當前表的使用者數，即時更新。

  • 瀏覽量：為您展示當前資料表的訪問頁次（PV），每重新整理1次增加1次，即時更新。

  • 訪問次數：基於SQL解析到該表在Dataphin任務中被select時（對應DQL操作），計算為1次，T+1更新，展示最近30天的總訪問次數。

地區

描述

①搜尋及快捷操作區

• 搜尋：支援根據表的名稱關鍵字搜尋當前頁面已展開的節點，支援單擊搜尋方塊後的左/右箭頭，或通過鍵盤的方向鍵快捷切換選中的節點。系統預設定位命中的第一個節點。

• 僅展示直接血緣：單擊篩選-僅展示直接血緣，展示當前表直接血緣關係的上下遊相關表。

  說明

  • 直接血緣是通過select、insert等語句讀取或寫入的上下遊相關資產。

  • 關聯血緣是通過join、group by、where條件等方式引用的相關資產。

  • 表級血緣只要包含有直接血緣的欄位就會展示對應的標識。

• 隱藏資料來源表：單擊篩選-隱藏資料來源表，將隱藏來自資料來源的表對象及其下遊。

• 隱藏未採集節點：單擊篩選-隱藏未採集節點，血緣在提交和發布任務時進行解析。特殊情況下，如果資料表不是通過Dataphin調度任務刪除的（如通過即席查詢刪除或直接在引擎側刪除），則不會觸發血緣更新，仍會展示在血緣圖中，並展示為未採集節點；此外，通過介面註冊的血緣，如果相關對象暫未採集到Dataphin系統，也會展示為未採集節點。選中後，將不會展示已經刪除或暫未採集的表對象。

②圖例區

表級血緣支援的資料表，包括物理表、維度邏輯表、事實邏輯表、匯總邏輯表、標籤邏輯表、物理視圖、物化視圖、邏輯視圖、元表、鏡像表、資料來源表。

③血緣圖展示區

為您展示完整的血緣鏈路圖，可手動展開多級上遊或下遊，支援根據資料表名稱關鍵字進行模糊搜尋。

• 中心節點：展示當前資產的名稱，並在節點左上方用當前表進行標識。

• 其他節點：按一下滑鼠某個節點，可以高亮查看該節點的上下遊相關血緣關係。

• 表內欄位：滑鼠移至上方節點並單擊右側下拉式箭頭，支援通過欄位名稱模糊搜尋，單擊欄位名稱跳轉至當前資產詳情頁面查看血緣關係。

• 節點連線：若節點存在自依賴關係（如本表內一個欄位依賴另一個欄位），將用虛線標識。

④對象詳情區

滑鼠移至上方在表上，為您展示表的詳情。

資料來源表：為您展示表的名稱、物件類型、儲存格式、所屬資料來源、血緣來源。

Dataphin資料表：為您展示表的名稱、物件類型、儲存格式、邏輯表及邏輯視圖的所屬板塊/物理表及物理視圖的所屬專案、負責人、儲存量、生命週期（Hadoop叢集的計算引擎不支援展示該資訊）、描述、血緣來源資訊，同時您可以進行查看血緣、查看DDL和申請許可權操作。

• 查看血緣：單擊可快捷查看該表的表級血緣。

• 查看DDL語句：當資料表為物理表、物理視圖、鏡像表時，可單擊查看錶的DDL語句。

• 申請許可權：單擊可快捷跳轉到該表的表許可權申請頁面。

地區

描述

①搜尋及快捷操作區

• 搜尋：支援根據欄位的名稱關鍵字搜尋當前頁面已展開的節點，支援單擊搜尋方塊後的左/右箭頭，切換命中的節點。系統預設定位命中的第一個節點。

• 僅展示直接血緣：選中後僅展示當前欄位直接血緣關係的上下遊相關欄位。

  說明

  • 直接血緣是通過select、insert等語句讀取或寫入的上下遊相關資產。特殊的，當在過濾組件中通過where條件加工欄位的計算邏輯，或在欄位計算群組件中使用內建函數加工欄位的計算邏輯，則欄位血緣圖中展示為直接血緣。

  • 關聯血緣是通過join、group by、where條件等方式引用的相關資產。

• 隱藏未採集節點：血緣在提交和發布任務時進行解析。特殊情況下，如果資料表不是通過Dataphin調度任務刪除的（如在即席查詢或直接在引擎側刪除），則不會觸發血緣更新，仍會展示在血緣圖中，並展示未採集節點；此外，通過介面註冊的血緣關係，如果相關對象暫未採集到Dataphin系統，也會展示為未採集節點。選中後，將不會展示已經刪除的表對象。

②圖例區

欄位血緣支援的欄位，包括計算源表欄位、資料來源表欄位。

③血緣圖展示區

為您展示完整的血緣鏈路圖，可手動展開多級上遊或下遊，支援根據欄位名稱關鍵字進行模糊搜尋。特殊的，若存在循環相依性，則無法繼續展開，需從起始節點繼續查看下遊。

中心節點：展示當前欄位及所屬表名稱，並在節點左上方用當前欄位進行標識。支援通過欄位關鍵字進行模糊搜尋以切換查看不同欄位的血緣關係圖。

④對象詳情區

滑鼠移至上方在欄位上，為您展示欄位的名稱、物件類型、儲存格式、欄位所在邏輯表及邏輯視圖的所屬板塊/欄位所在物理表及物理視圖的所屬專案、所屬表、表負責人、資料類型、描述、血緣來源資訊，同時您可以進行查看血緣和申請許可權操作。

• 查看血緣：單擊可快捷查看該欄位的欄位血緣。

• 申請許可權：單擊可快捷跳轉到該欄位所在表的表許可權申請頁面。

地區

描述

①任務詳情

為您展示節點名稱、任務ID、所屬板塊、負責人資訊。

②周期執行個體

為您展示平均開始時間、平均產出時間、平均運行時間長度資訊。

• 平均開始時間：統計最近15天所有正常調度的周期執行個體，第一次運行開始時間的平均值，T+1更新。

• 平均產出時間：統計最近15天所有正常調度的周期執行個體，第一次運行成功的結束時間的平均值，重跑情境不納入統計，T+1更新。

• 平均運行時間長度：統計最近15天所有正常調度的周期執行個體，所有運行成功記錄的平均運行時間長度的平均值，其中指令碼任務的平均運行時間長度統計包括重跑情境，邏輯表任務的平均運行時間長度統計不包括重跑情境，T+1更新。

  說明

  小時、分鐘執行個體支援按照周期查看運行明細，以當前任務最新調度配置劃分的周期區間為準，計算定時時間相同的歷史執行個體對應的運行平均值。

③運行明細

為您展示業務日期、狀態、定時時間、開始時間、結束時間、運行時間長度資訊。同時，您可以在操作列下進行查看執行個體、查看日誌操作。

• 查看執行個體：單擊查看執行個體按鈕，在周期執行個體列表，可查看並管理工作，詳情請參見查看並管理指令碼執行個體。

• 查看日誌：可查看該執行個體任務的作業記錄詳情。