DataWorks：通過嚮導模式配置單表離線任務

1. 資料來源

在資料來源區域，配置資料表。並根據介面提示填寫所需參數。

2. 資料處理

資料處理支援將來源表中的資料通過字串替換、AI輔助處理、資料向量化等方式，將處理後的資料寫入目標表。

以字串替換為例，配置項包括名稱和描述。替換規則中需選擇欄位名，填寫被替換的內容（支援正則匹配和大小寫匹配）及要替換成的內容，可單擊新增規則添加多條替換規則，並通過右上方資料輸出預覽查看處理結果。

1. 單擊開啟按鈕，開啟資料處理開關。

2. 在數據處理列表中單擊加節點，選擇資料處理類型：字符串替換、AI輔助處理、資料向量化。資料處理節點支援添加多個，DataWorks將按照順序進行處理。

3. 根據介面提示，配置資料的處理規則。其中AI輔助處理和資料向量化可參考：資料處理。

   說明

   資料處理需要額外佔據計算資源，增加任務的資源佔用開銷。同時增加資料同步任務啟動並執行時間長度，請盡量減輕處理過程的複雜度，避免影響同步效率。

3. 資料去向

在資料去向地區，配置資料表。並根據介面提示填寫所需參數。

MaxCompute 分區表配置說明

當資料去向為 MaxCompute 分區表時，請注意以下事項：

• 分區欄位識別：DataWorks 會自動識別 MaxCompute 目標表的分區結構。若介面僅顯示部分分區欄位，請檢查該表在開發環境和生產環境中是否均已正確定義所有分區欄位。若任務運行報錯並提示需配置表分區資訊，請在去向配置中補全分區參數。

• 欄位對應重新整理：當源端或目標端新增欄位後，若欄位對應地區未顯示新欄位，可嘗試以下方法重新整理緩衝：

  1. 確認開發環境和生產環境的表結構已同步更新。

  2. 在配置頁面切換選擇其他表，再切回原表以重新整理緩衝。

  3. 如仍未重新整理，可重啟瀏覽器或使用無痕模式重新進入配置頁面。

4. 配置欄位對應關係

選擇資料來源和資料去向後，需要指定讀取端和寫入端列的映射關係。配置欄位對應關係後，任務將根據欄位對應關係，將源端欄位寫入目標端對應類型的欄位中。

• 當源端某欄位未與目標端欄位進行映射時，源端該欄位資料將不會同步到目標端。

• 若自動對應與期望的映射不同時，需手動調整映射。

• 如果不需要某個欄位的映射關係，您可以手動刪除源端與目標欄位對應的連線，源端該欄位資料將不會同步到目標端。

同步過程中可能存在源端與目標端欄位類型不符，產生髒資料，導致資料無法正常寫入目標端。關於同步過程中髒資料的容忍條數，請參考下一步高級配置進行配置。

支援同名映射、同行映射、智能映射和規則映射。在使用過程中，您還可以：

• 智能映射：為了提升配置效率，降低人工匹配錯誤率，Data Integration現已支援 智能欄位對應 功能。系統基於 AI 語義分析，自動識別源表與目標表的欄位名稱、資料類型及注釋，一鍵推薦最優映射關係。您只需確認推薦結果或進行微調即可完成配置。

  在欄位對應地區單擊智能映射，開啟智能映射對話方塊。您可以用自然語言描述映射需求，

  • 適用情境	典型特徵樣本	推薦提示詞
    全域語義匹配	欄位名完全不同但含義一致 (例：user_id ↔ device_id)	請對源表和目標表的所有欄位進行語義匹配，自動識別含義相同的欄位。
    特定業務域匹配	僅需映射某類業務欄位 (例：只關注“使用者”或“訂單”)	僅將源表中包含“使用者資訊”（如姓名、手機號、ID）的欄位，映射到目標表的對應欄位。 （註：可替換關鍵詞為“訂單”、“物流”、“支付”等）
    首碼/尾碼規範差異	核心名相同，但前尾碼不同 (例：src_user_name ↔ tgt_user_name)	忽略欄位的首碼和尾碼差異，僅根據核心名稱進行語義匹配。
    縮寫與全稱匹配	一方使用縮寫，一方使用全稱 (例：amt ↔ amount)	識別常見的英文縮寫與全稱對應關係（如 amt=amount, addr=address），並建立映射。
    排除特定欄位	某些欄位雖相似但不需要同步 (例：不需要 create_time)	進行語義匹配，但請排除所有包含“時間”或“日誌”字樣的欄位。
    複雜邏輯修正	自動匹配結果有誤，需人工引導	不要將源表的 id 欄位對應到目標表的 order_id，請重建映射建議。

  • 輸入完成後，單擊產生預覽，系統會在匹配結果預覽地區展示建議的映射關係。您可以逐條查看並勾選需要的映射，最後單擊應用將選中的映射添加到欄位對應中。如果對結果不滿意，可以調整描述後重建預覽。

• 規則映射：當源端與目標端欄位名存在規律性的差異時，您可以使用規則映射功能，通過配置前尾碼匹配或字元替換等規則，批量建立欄位對應關係。在欄位對應地區單擊規則映射，選擇映射方式和映射規則，配置完成後預覽映射結果，確認無誤後單擊應用。

• 為目標欄位賦值：通過在源表字段列加入欄位的方式，為目標表添加常量、調度參數、內建變數。例如，'123'，'${調度參數}'，'#{內建變數}#'。

  說明

  關於調度參數的使用詳情請參見：調度參數支援的格式。

• 添加內建變數：您可以通過手動添加內建變數，映射到目標欄位，將內建變數輸出到下遊。

  各個外掛程式可用內建變數如下：

  內建變數	變數說明	支援外掛程式
  '#{DATASOURCE_NAME_SRC}#'	來來源資料源名稱	MySQL Reader MySQL（分庫分表）Reader PolarDB Reader PolarDB（分庫分表）Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O（分庫分表）Reader
  '#{DB_NAME_SRC}#'	來源表所在的資料庫名稱	MySQL Reader MySQL（分庫分表）Reader PolarDB Reader PolarDB（分庫分表）Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O（分庫分表）Reader
  '#{SCHEMA_NAME_SRC}#'	來源表所在的模式名稱	PolarDB Reader PolarDB（分庫分表）Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O（分庫分表）Reader
  '#{TABLE_NAME_SRC}#'	來源表名稱	MySQL Reader MySQL（分庫分表）Reader PolarDB Reader PolarDB（分庫分表）Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O（分庫分表）Reader
  '#{FILE_NAME_SRC}#'	檔案名稱	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader
  '#{FILE_PATH_SRC}#'	檔案絕對路徑	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader

• 編輯源端欄位：您可以通過單擊手動編輯映射關係實現如下功能：

  • 使用源端資料庫支援的函數，對欄位進行函數處理，例如，通過Max（id）控制僅同步最大值。

  • 在欄位對應未拉取全部欄位的情況下，手動編輯源端欄位。

  說明

  MaxCompute Reader暫不支援使用函數。

周期性調度的單表離線任務需要配置任務自動調度時的相關屬性，進入節點的編輯頁面，單擊右側的調度配置，配置節點調度屬性。

您需為同步任務配置調度參數、調度策略、調度時間和調度依賴，配置方式與其他資料開發節點一樣。此處不再重複敘述。

• 新版資料開發調度配置參見：節點調度（新版）。

• 舊版資料開發調度配置參見：節點調度配置（舊版）。

調度參數使用說明請參見：調度參數在Data Integration的典型應用情境。

• 配置運行參數。

  在單表離線任務配置頁面右側單擊回合組態，配置以下參數，用於測試回合任務使用。

  配置項	配置說明
  資源組	選擇與資料來源連通的資源群組。
  腳本參數	為資料同步中的預留位置參數進行賦值。例如：若Data Integration中配置了${bizdate}參數，則需配置格式為yyyymmdd的日期參數。

• 運行任務。

  單擊工具列的運行按鈕，可以在資料開發中對任務進行運行調試。後續，您可以建立目標表類型對應的節點類型來查詢目標表資料，確認同步後的資料是否符合預期。

• 發布任務。

  任務測試回合成功後，若任務需要進行周期性調度運行，您需要單擊節點編輯頁面上方的按鈕，將任務發布至生產環境。關於任務發布，詳情請參見：發布任務。