DataWorks：節點開發問題診斷和治理

開啟配置項

根據個人習慣，對問題診斷功能進行精細化配置。所有配置項僅對當前登入帳號生效。

1. 進入 DataWorks工作空間列表頁，選擇目標工作空間，單擊 操作 列的 快速進入 > Data Studio。

2. 單擊左側導覽列底部 > 設定，進入設定頁面的使用者頁簽。

內建規則庫管理

資料治理外掛程式的檢查行為由規則庫驅動，分成內建規則和自訂規則。您可按需啟用或禁用特定規則。

1. 在 Data Studio 頁面左側導覽列中，單擊治理表徵圖，進入資料資產治理外掛程式配置。

2. 在資料資產治理外掛程式面板的內建規則庫中，找到目標治理規則，單擊其後面的開關表徵圖即可啟用或禁用。

   • 啟用（預設）：儲存節點時，會觸發此規則的檢查。

   • 禁用：儲存節點時，將不再觸發此規則的檢查。

自訂規則庫

當內建規則無法滿足您團隊特定的商務邏輯或編碼規範時，資料資產治理外掛程式提供自訂規則庫，允許使用自然語言描述和正/反樣本來定義新檢查規則。

深度檢查

除了快速入門章節提到的單檔案檢查之外，還支援批量深度檢查。

1. 在 Data Studio 頁面左側導覽列中，單擊治理表徵圖，進入資料資產治理外掛程式配置。

2. 在資料資產治理外掛程式面板的深度檢查中，選擇批量待檢查檔案和需要規則，發起深度檢查。

   重要

   • 批量檢查範圍僅限於當前在編輯器中已開啟的檔案頁簽，最多可選5個檔案，暫不支援選擇未開啟的檔案。

   • 批量檢查時，同一時間僅支援執行一個深度檢查。

   

3. 在深度檢查結果欄，單擊右上方的查看日誌，可查詢大模型對檢查規則的深度判斷過程。

分區表查詢必須帶分區

• 風險說明：查詢 MaxCompute 分區表時不指定分區，將觸發全表掃描，消耗大量計算資源併產生高昂的計算費用。

• 錯誤碼樣本：

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid';

• 正確程式碼範例：

  SELECT user_id, order_amount
  FROM user_orders
  WHERE status = 'paid'
  AND pt = '${bizdate}'; -- 添加分區過濾條件

• 自動修複邏輯：支援一鍵修複。系統會在 WHERE 子句中自動添加分區條件，例如 AND pt = '${bizdate}'。

禁止使用INSERT INTO+重跑屬性

• 風險說明：如果 SQL 任務僅包含 INSERT INTO 邏輯且在調度配置中允許任務重跑，那麼每次重跑都會向目標表追加資料，極易導致資料重複，影響資料正確性。

• 錯誤碼樣本：

  -- 任務屬性設定為“可重跑”
  INSERT INTO target_table SELECT * FROM source_table;

• 正確程式碼範例：

  -- 任務屬性設定為“可重跑”
  INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;

• 自動修複邏輯：支援一鍵修複。系統會將 INSERT INTO 修改為 INSERT OVERWRITE，確保重跑時覆蓋資料而非追加。

JOIN欄位類型必須一致

• 風險說明：在 MaxCompute SQL 中，JOIN 操作的關聯欄位類型不一致，會導致隱式類型轉換，可能引發計算錯誤、效能下降，影響資料品質。

• 錯誤碼樣本：

  -- a.user_id 是 BIGINT, b.uid 是 STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = b.uid;

• 正確程式碼範例：

  -- a.user_id 是 BIGINT, b.uid 是 STRING
  SELECT * FROM table_a a JOIN table_b b ON a.user_id = CAST(b.uid AS BIGINT);

• 自動修複邏輯：支援一鍵修複。系統會自動檢測並對其中一個欄位使用 CAST 函數進行顯式類型轉換，使其與另一個欄位類型匹配。

INSERT非本專案的表

• 風險說明：在 A 專案的任務中向 B 專案的表寫入資料，被視為高危操作。這破壞了專案間的隔離性，可能導致資料訪問越權和資料泄漏風險。

• 錯誤碼樣本：

  -- 在 project_A 的任務中執行
  INSERT INTO project_B.some_table SELECT * FROM my_table;

• 正確程式碼範例：

  -- 建議方案：資料應由表的歸屬專案（project_B）的任務來寫入。
  -- 在 project_A 中應避免此操作。

• 自動修複邏輯：不支援自動修複。需要您根據業務需求，調整資料同步鏈路，確保由目標專案自身任務完成資料寫入。

禁止線上周期任務寫開發環境的表

• 風險說明：生產環境的周期任務將資料寫入開發環境的表中，會降低資料的防護等級，帶來資料安全隱患。

• 錯誤碼樣本：

  -- 在生產環境（PROD）的任務中執行
  INSERT OVERWRITE TABLE user_dev.temp_data SELECT * FROM user_prod.source_data;

• 正確程式碼範例：

  -- 生產任務應寫入生產環境的表
  INSERT OVERWRITE TABLE user_prod.result_data SELECT * FROM user_prod.source_data;

• 自動修複邏輯：不支援自動修複。需要您手動修改目標表，確保資料流向符合環境隔離規範。

SQL中禁止建立表

• 風險說明：在調度執行的 SQL 任務中直接使用 CREATE TABLE，會導致表的歸屬混亂（通常歸屬於主帳號或調度帳號），增加管理成本，並存在資料被意外清除的風險。

• 錯誤碼樣本：

  CREATE TABLE my_temp_table (id INT);
  INSERT INTO my_temp_table VALUES (1);

• 正確程式碼範例：

  -- 應在 DataWorks 的表管理模組預先建立表，然後在 SQL 任務中直接使用。
  INSERT INTO my_temp_table VALUES (1);

• 自動修複邏輯：不支援自動修複。建議您在 DataWorks 的中繼資料管理中建立表，或使用 CREATE TABLE IF NOT EXISTS 規避部分情境的報錯。

調度參數遺漏檢查器

• 風險說明： 周期性調度任務的核心是按時間維度增量處理資料。如果在 WHERE 條件中遺漏了調度參數（如 ${bizdate}），任務可能會每天處理全量資料，或處理錯誤的日期範圍，導致資料遺漏、錯亂和巨大的資源浪費。

• 錯誤碼樣本：

  -- 錯誤：缺少調度參數，無法按天增量處理
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id  FROM    login_log; -- 缺少 WHERE pt = '...'

• 正確程式碼範例：

  -- 正確：使用調度參數作為過濾條件，實現每日增量處理
  INSERT OVERWRITE TABLE users_active_today PARTITION (pt = '${bizdate}')
  SELECT    user_id FROM    login_log
  WHERE    pt = '${bizdate}';

• 自動修複邏輯： 不完全支援自動修複。外掛程式會高亮提示此處可能缺少調度參數過濾，但由於商務邏輯複雜，建議您根據實際需求手動添加正確的過濾條件。