全部產品
Search
文件中心

Dataphin:中繼資料採集概覽

更新時間:Nov 19, 2025

中繼資料支援豐富的採集源類型,如傳統資料庫MySQL、Oracle,巨量資料儲存Hive、Hologres、應用系統等,可一覽不同資料來源類型或應用系統已建立的採集任務數、採集物件類型等資訊。

前提條件

需先在管理中心 > 資料來源管理 > 應用系統建立應用系統,才能使用應用系統類別型的採集源。

使用限制

預設支援關係型資料庫的中繼資料採集,如需採集其他資料來源類型,請增購對應功能。

V5.3版本之前,部分資料來源需要先在元倉租戶中完成中繼資料中心初始化配置才可採集,包括AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、SAP HANA、Hologres;V5.3及之後版本,無需進行中繼資料中心初始化配置,可直接開始配置採集任務。

中繼資料採集工作流程說明

若採集的資料來源網路環境與Dataphin叢集所在網路環境不通,需要依賴註冊調度叢集功能,並將採集資料寫入到Dataphin部署依賴的Object Storage Service系統(如OSS)作中轉,再將資料寫入Dataphin系統,此時會產生額外的儲存費用。

操作步驟

  1. 在Dataphin首頁的頂部功能表列,選擇治理 > 中繼資料

  2. 在左側導覽列選擇中繼資料採集 > 採集概覽

  3. 歡迎使用中繼資料採集與管理頁面,Dataphin以卡片的形式為您展示不同資料來源或應用系統配置的採集任務數、支援的採集物件類型等資訊。

    • 資料來源:支援豐富的資料來源類型,如關係型資料庫、巨量資料儲存資料庫等,詳情請參見Dataphin支援的資料來源

      其中,MySQL、Oracle、Hive(MySQL中繼資料庫、HMS中繼資料)支援的版本如下:

      • MySQLMySQL5.1.43、MySQL5.6/5.7、MySQL8、RDS MySQL。

      • OracleOracle11g、Oracle12c、Oracle18c、Oracle19c、Oracle21c、Oracle23c。

      • Hive(MySQL中繼資料庫、HMS中繼資料):CDH5.x Hive 1.1.0、EMR3.x Hive 2.3.5、EMR5.x 3.1.x、CDH6.x Hive 2.1.1、FusionInsight 8.x Hive 3.1.0、CDP7.x Hive 3.1.3、亞信DP5.x Hive 3.1.0

    • 應用系統:支援Quick BI。

  4. 您可以對目標資料來源或應用系統快捷建立採集任務。

    建立採集任務:滑鼠移至上方至卡片可快捷建立採集任務,詳情請參見建立及管理中繼資料採集任務

    說明

    一個資料來源僅支援配置一個採集任務,同一個資料來源的2個不同環境源(開發環境和生產環境)可分別配置採集任務。