DataWorks：中繼資料採集

MaxCompute 預設採集器

用於採集您帳號下MaxCompute專案的中繼資料。您可以進入詳情頁，通過修改數據範圍來選擇需要採集的專案，並通過權限配置來設定中繼資料在租戶內的可見度。

1. 在中繼資料採集頁面的系統內置地區，找到 MaxCompute Default Crawler 卡片，單擊詳情。

2. MaxCompute Default Crawler詳情頁包含基本信息和數據範圍兩個標籤頁。

   • 基本信息：展示採集器的基礎屬性，如採集類型、方式等，此處資訊為唯讀。

   • 數據範圍：管理此採集器要採集哪些MaxCompute專案。

3. 修改採集範圍：

   1. 切換到數據範圍頁簽，單擊修改數據範圍按鈕。

   2. 在彈出的對話方塊中，勾選或取消勾選您希望採集的MaxCompute專案。

      重要

      預設範圍為本租戶下當前地區下綁定到工作空間的所有MaxCompute專案。修改資料範圍後，在資料地圖中採集的中繼資料對象和當前資料範圍保持一致，即未勾選的中繼資料將不可見。

   3. 單擊確定儲存更改。

4. 配置中繼資料可見度：

   • 在數據範圍列表中，找到目標專案，單擊其操作列下的權限配置。

   • 根據您的資料治理要求，選擇可見度策略：

     • 租戶內公開：租戶內所有成員都可以搜尋和查看該專案的中繼資料。

     • 僅關聯的工作空間下的成員可搜索和查看：只有特定工作空間的成員才能訪問該專案的中繼資料，保障資料的隔離性。

DLF 預設採集器

DLF Default Crawler採集器用於採集您帳號下DLF（Data Lake Formation）中的中繼資料。

1. 在中繼資料採集頁面的系統內置地區，找到 DLF Default Crawler 卡片，單擊詳情查看基本資料。

2. 切換到數據範圍頁簽，查看當前已納入採集範圍的DLF Catalog列表及其包含的表數量。

   預設會採集所有可訪問的Catalog（包含DLF以及DLF-Legacy版本）。

創建自定義採集器

1. 在中繼資料採集頁面的自訂採集器列表地區，單擊建立中繼資料採集。

2. 選擇採集類型：在類型選擇頁面，選擇要採集的目標資料來源類型，例如Hologres、StarRocks等。

3. 配置基礎與資源群組：

   • 基礎配置：

     • 選擇工作空間：選擇採集資料來源所在的工作空間。

     • 選擇數據源：從下拉式清單中選擇一個已建立好的目標資料來源。選擇後，系統會自動展示該資料來源的詳細資料。

     • 名稱：為採集器命名，以便後續識別。預設和資料來源同名。

   • 資源組配置：

     • 資源組：選擇一個用於執行採集任務的 Serverless 資源群組。

     • 測試連通性：此步驟至關重要。單擊測試連通性，確保資源群組可以成功訪問資料來源。

       重要

       • 請確認資料來源是否開啟白名單限制，如果需要採集已開啟白名單存取控制的中繼資料，請參考網路連通方案概述和通用配置：添加白名單配置白名單許可權。

       • 如果資料來源未開啟白名單限制，請參考資源群組操作及網路連通文檔進行資料來源網路打通。

       • 如遇連通性測試報錯：後端服務調用失敗：test connectivity failed.not support data type，請聯絡支援人員對資源群組進行升級。

4. 配置中繼資料採集：

   • 採集範圍：定義需要採集的資料庫（Database/Schema）。若資料來源為資料庫粒度，預設選中資料來源對應的資料庫，可支援選擇資料來源之外的更多資料庫。

     重要

     • 同一個資料庫僅支援配置在一個採集器中，若不可勾選資料庫，則表示該資料庫已被其他採集器採集。

     • 當縮小採集範圍後，資料地圖中將搜尋不到採集範圍外的中繼資料。

5. 配置智能增強與採集計劃：

   • 智能增強配置 (Beta)：

     • AI採集描述：開啟後，系統將利用大模型能力，在採集中繼資料後，為您的表和欄位自動產生業務描述，極大提升中繼資料可讀性和易用性。可在採集完畢之後，進入資料地圖表對象的詳情頁查看AI智能產生的資訊（例如，表說明、欄位描述）。

   • 採集計劃：

     • 觸發方式：選擇手動或周期。

       • 手動：採集器僅在您手動觸發時運行，適用於一次性或按需採集的情境。

       • 周期：配置定時任務（如每月、每日、每周、每小時），系統將自動周期性地更新中繼資料。

         若需要配置分鐘級定時任務，採集周期選擇每小時，並勾選所有分鐘粒度，可實現每5分鐘的定時任務。

         重要

         僅生產環境資料來源支援周期採集方式。

6. 儲存配置：單擊保存或保存並運行，完成採集器的建立。

管理自訂採集器

採集器建立後，會出現在自訂欄表中，您可以進行如下管理操作：

• 列表操作：在列表中，您可以直接對採集器進行運行、停止、删除等操作。通過頂部的篩選和搜索功能，可以快速定位目標採集器。

  重要

  刪除中繼資料採集器後，該採集器在資料地圖中採集的中繼資料對象也將失效，使用者將無法搜尋、查看來自於該採集器的對象及詳細資料。請謹慎操作！

• 大量操作：在採集器列表頁勾選多個採集器後，可使用列表底部的批量運行或批量停止，一次性觸發或終止多個採集任務，提升管理效率。

• 採集器狀態：採集器列表中會展示每個採集器的目前狀態，常見狀態包括未運行、等待中、運行中、運行成功、運行失敗、手動終止。

  說明

  若採集器關聯的資料來源已被解除綁定或失效，採集器會進入凍結狀態。凍結狀態下的採集器不允許運行，僅允許刪除。

• 查看詳情與日誌：單擊目標採集器名稱，進入其詳情頁。

  • 基本信息：查看採集器的所有配置項。

  • 數據範圍：查看或修改數據範圍。

    未採集時查看，表數量和最新動向時間將顯示為空白。

    以下資料來源不支援修改範圍：EMR Hive、CDH Hive、Lindorm、Elasticsearch、OTS、MongoDB以及 AnalyticDB MySQL中的AnalyticDB for Spark。

  • 運行日誌：跟蹤每一次採集任務的執行歷史。您可以查看任務的開始時間、耗時、狀態和採集的資料量。當任務失敗時，單擊查看日誌是定位和解決問題的關鍵入口。

• 手動執行採集：在詳情頁右上方，單擊採集元數據按鈕，可以立即觸發一次採集任務。適用於在新表建立後希望立刻在資料地圖中看到它的情境。

資料表

任務代碼

資料地圖支援任務程式碼搜尋與快速定位，以下為支援搜尋的代碼範圍說明。

API資產

資料地圖支援查看資料服務API的中繼資料，具體如下：

AI資產

資料地圖支援查看與管理AI資產，並提供AI資產血緣功能用於追蹤資料和模型的來源、使用及演變過程，以下為各AI資產的支援情況。

工作空間

資料地圖支援查看工作空間中繼資料，具體如下：