中繼資料清單以列表形式為您展示採集到的中繼資料資訊,您可以從不同視角出發查詢資料。本文為您介紹如何管理中繼資料清單。
許可權說明
超級管理員、系統管理員和具有中繼資料清單-查看許可權的自訂全域角色支援管理中繼資料清單、查看中繼資料詳情。
使用限制
PolarDB-X(原DRDS)資料來源1.0版本不支援採集視圖資訊。
管理中繼資料清單列表
在Dataphin首頁的頂部功能表列,選擇治理 > 中繼資料。
在左側導覽列選擇中繼資料管理 > 中繼資料清單,進入中繼資料清單頁面。
在中繼資料清單頁面,您可以單擊資料表頁簽或儀表板頁簽,查看不同對象的中繼資料資訊,特殊的,儀表板為您展示指定應用系統下的儀表板中繼資料,您可以通過頁面右上方的應用系統切換查看不同系統下的資料。
資料表:您可以從全部中繼資料、資料來源、來源系統視角查看中繼資料資訊。
當定位在全部中繼資料時,為您展示中繼資料的名稱、描述、採集資料來源和資料來源編碼、來源系統、中繼資料類型、最新版本、採集任務以及更新頻率資訊。
當指定某一個資料來源時,將為您展示中繼資料的名稱、Database/Schema、描述、中繼資料類型、最新版本資訊,您可以單擊列表標題後的查看詳情或資料來源後的查看詳情,查看該資料來源對應的採集任務資訊,包括資料來源名稱、資料來源編碼、採集任務、更新頻率、來源系統。
當指定某一個來源系統時,將為您展示中繼資料的名稱、採集資料來源和資料來源編碼、中繼資料類型、最新版本、採集任務、更新頻率資訊,您可以單擊列表標題後的查看詳情或來源系統後的查看詳情,查看該來源系統的配置資訊,包括來源系統名稱、系統類別型、描述、營運人員、系統對接人。
儀表板:僅採集到儀表板中繼資料時支援查看。您可以從全部儀表板和工作空間/目錄視角查看中繼資料資訊。
(可選)左側分類樹根據不同的對象支援不同的篩選方式。
資料表對象:支援切換不同視角檢索中繼資料,或在右上方搜尋、篩選目標中繼資料。
資料來源視角:按照採集配置的來來源資料源查看中繼資料。在該視角下,為您展示資料來源類型和資料來源的分類樹,您可以展開資料來源類型,選擇某一個目錄後右側列表會自動篩選出歸屬目前的目錄的中繼資料。
來源系統視角:按照資料歸屬的來源系統查看中繼資料。您可以選擇某一個來源系統後,右側列表會自動篩選出歸屬當前來源系統的中繼資料。
搜尋與篩選:您可以根據中繼資料的名稱或描述進行模糊搜尋,或快捷篩選已刪除資料,或根據來來源資料源、DB/Schema、來源系統、中繼資料類型進行篩選,或從不同視角篩選中繼資料。
資料來源視角可以根據DB/Schema、中繼資料類型進行篩選。
來源系統視角可以根據來來源資料源、DB/Schema、中繼資料類型進行篩選。
全部中繼資料:您可以單擊全部中繼資料,查看全量中繼資料。
儀表板對象:支援根據全部儀表板或工作空間視角檢索中繼資料,或在右上方搜尋、篩選目標中繼資料。
工作空間視角:按照採集配置的來源應用系統查看中繼資料。您可以選擇某一個工作空間後,右側列表會自動篩選出歸屬當前工作空間的儀表板。
全部儀表板:您可以單擊全部儀表板,查看指定應用系統下的全量中繼資料。
搜尋與篩選:您可以根據儀表板的名稱或描述進行模糊搜尋,或根據所屬工作空間/目錄(僅定位在全部儀表板時支援該篩選條件)、來來源資料集進行篩選。
您可以對目標中繼資料對象執行如下操作。
操作項
描述
查看中繼資料
僅當資產對象為資料表時支援操作。您可以單擊採集資料來源的名稱,系統會切換至資料來源視角並定位至該資料來源;若單擊歸屬來源系統的名稱,系統會切換至來源系統視角並定位至該來源系統。
查看採集任務
僅當資產對象為資料表時支援操作。您可以單擊採集任務的名稱,查看該對象的採集任務配置資訊;儀表板對象可單擊應用系統後面的詳情表徵圖快速跳轉查看對應的採集任務。
查看中繼資料詳情
您可以單擊中繼資料的名稱或操作列下的查看表徵圖,跳轉至中繼資料詳情頁,詳情請參見查看中繼資料詳情。
查看版本詳情
僅當資產對象為資料表且中繼資料 > 中繼資料變更記錄的資料來源表配置開啟時支援操作。您可以單擊操作列下的版本管理表徵圖,跳轉至中繼資料詳情的版本管理頁簽,查看不同版本之間的資訊,詳情請參見版本管理。
刪除
若源系統資料未刪除,下一次採集後該資料仍會重新展示。
查看中繼資料詳情
單擊目標中繼資料的名稱或操作列下的查看表徵圖,進入中繼資料詳情頁面。
在中繼資料詳情頁面,針對不同的資產對象所展示的中繼資料資訊有所差異。
資料表
為您展示中繼資料的基本資料、表詳情、欄位詳情、分區詳情以及版本管理。
基本資料:為您展示中繼資料的名稱、資料來源類型、資料來源及資料來源編碼、租戶模式(僅OceanBase支援展示該資訊)、所屬Schema/所屬Database/所屬MaxCompute專案、中繼資料類型、採集任務資訊。
查看採集任務:單擊採集任務的名稱,支援跳轉至採集工作清單頁面自動篩選出對應的採集任務。
表詳情:為您展示表、視圖(包括物化視圖)的系統屬性資訊,包括業務屬性和技術屬性。
業務屬性:包括歸屬的來源系統資訊。
技術屬性:包括描述、是否湖表、湖表格式、儲存類型、儲存量等資訊,針對不同資料來源支援採集的資訊有所差異,詳情請參見中繼資料屬性。
說明當資料表為Oracle表時,儲存量通過錶行數和每行平均使用空間(單位為位元組)進行估算,不包括索引、未使用的空間、片段等資訊的統計,統計值會低於實際佔用的空間大小。
若資料來源表為分區表,錶行數通常為估計值,僅供參考,是否更新取決於每個資料來源系統的中繼資料更新機制(如:MySQL、OceanBase等可能需要手動執行
analyze命令才能更新)。當前暫不支援採集分區表主表的錶行數資訊。
當資料來源為OceanBase(Oracle租戶)時,需執行
analyze命令才能採集錶行數資訊。命令如下:--角括弧(<>)中的表名替換為業務中的資料表名稱 analyze table <schema.tablename> COMPUTE STATISTICS;針對支援建立湖表的資料來源,根據採集到的資訊判斷是否湖表以及對應的湖表格式,如:Hive。
DDL語句:當中繼資料類型為視圖或物化視圖時,支援查看當前視圖/物化視圖在資料來源中建立的DDL語句,並可一鍵複製。
欄位詳情:若當前表為分區表,可查看分區資訊,其中,部分資料來源展示的資訊有差異,詳情請參見中繼資料屬性。
您可以根據欄位的名稱或描述進行搜尋,也可以切換查看不同版本的欄位詳情。
分區詳情:僅部分資料來源類型可採集分區資訊,詳情請參見中繼資料屬性。
多級分區將按照各級分區組合結果展示,不同分區之間用正斜線(/)串連。
說明分區的記錄數和儲存量資訊僅供參考。
版本管理:支援查看中繼資料的版本記錄,您可以在中繼資料 > 中繼資料變更記錄中修改可查看的版本數量。
系統將根據採集任務的採集策略配置和源系統資料變更情況,對比最近2次儲存的來源系統產生中繼資料變更時,就會產生新的版本。不同資料來源產生中繼資料版本的說明,請參見中繼資料版本。
例如:資料更新策略配置添加新的中繼資料,更新已變更中繼資料、忽略刪除操作;則連續兩次採集時,如果源系統沒有新增或更新的資料,僅有被刪除的資料時,就不會產生新的中繼資料版本。
您可以根據版本的名稱搜尋版本。
為您展示版本號碼、對比上一版本更新、表描述、版本產生時間資訊。同時,您可以查看版本對比資訊。
對比上一版本更新:根據採集任務配置的採集策略,對比上一版本的來源系統中繼資料變更情況。
版本對比:支援切換查看歷史版本記錄,為您展示基本資料、變更欄位、全部欄位,詳情請參見下方版本對比。
版本對比
您可以在版本對比頁面,切換不同版本查看中繼資料是否有更新。
版本選擇:選擇基準版本和對比版本,查看兩個版本之間的中繼資料差異資訊。
基準版本:僅支援選擇早於對比版本產生的歷史版本。
對比版本:僅支援選擇晚於基準版本產生的新版本。
基本資料:為您展示採集完成時間、執行方式、DDL語句(視圖/物化視圖支援查看)及影響版本產生的表屬性資訊,表屬性資訊請參見中繼資料版本。
變更欄位:為您展示已選中的對比版本比較基準版本的差異項,包括變更欄位的序號、欄位名稱、資料類型、是否可為空白、預設值、描述、變更類型。
例如,對比版本修改了欄位的描述,則該欄位的變更類型為更新。
全部欄位:為您分別展示基準版本和對比版本的全部欄位資訊,包括序號、欄位名稱、資料類型、是否可為空白、預設值、描述。
儀表板
為您展示儀表板的基本資料、屬性資訊以及圖表資訊。
基本資料:為您展示儀表板的名稱、應用系統類別型、應用系統以及採集任務資訊。
查看採集任務:單擊採集任務的名稱,支援跳轉至採集工作清單頁面自動篩選出對應的採集任務。
查看中繼資料:您可以快捷搜尋並切換查看其他中繼資料的詳情。
查看儀表板:單擊查看儀表板跳轉至Quick BI系統該儀表板的詳情頁面,查看更多資訊。
屬性資訊:為您展示儀表板的屬性資訊,包括業務屬性、管理屬性、技術屬性。
業務屬性:為您展示儀表板的描述資訊。
管理屬性:為您展示所屬BI工作空間、所屬目錄、負責人、最新動向人、最新動向時間、協同授權策略、是否公開、公開截止時間資訊。
是否公開:公開的報表可通過連結直接存取無需登入,而未公開的報表需登入Quick BI系統後進行訪問。
技術屬性:為您展示來來源資料集名稱、圖表總數、第三方嵌入狀態資訊。
圖表資訊:為您展示最新採集的圖表資訊,包括圖表的序號、圖表名稱、圖表類型、欄位類型、欄位名稱/資料類型資訊。
您可以根據圖表的名稱進行搜尋,或根據圖表類型、維度、度量進行篩選。