DataWorks：同步資料

您可根據以下操作將MySQL資料來源中的使用者資訊同步到您所建立的OSS中。

1. 開啟單表離線節點。

   在工作流程編排頁面，滑鼠懸浮於單表離線節點ods_user_info_d_2oss_emr上，單擊上方出現的開啟節點，進入任務配置介面。

2. 資料來源與運行資源。

   參考以下參數資訊，完成資料來源與資源群組配置。

   參數	描述
   來源	資料來源：MySQL。 資料來源名稱：user_behavior_analysis_mysql。
   去向	資料去向：OSS。 資料來源名稱：選擇前文建立的OSS資料來源，此處樣本為test_g。
   運行資源	請在資源群組選擇已購買的Serverless資源群組。

3. 配置資料來源與去向。

   1. 以下為本教程所需配置的關鍵參數，未說明參數保持預設即可。

      參數	描述
      資料來源	表：選擇資料來源中的ods_user_info_d。 切分鍵：建議使用主鍵或有索引的列作為切分鍵，僅支援類型為整型的欄位。此處設定切分鍵為uid。
      資料去向	文本類型：選擇text類型。 檔案名稱（含路徑）：根據您OSS的目錄進行輸入，樣本為ods_user_info_d/user_${bizdate}/user_${bizdate}.txt。其中ods_user_info_d為您OSS的目錄名，$bizdate表示擷取前一天的日期。 資料行分隔符號：輸入資料行分隔符號為|。

   2. 確認欄位對應及進階配置。

      DataWorks通過配置源端與目標端欄位對應關係，實現源端指定欄位資料寫入目標端指定欄位，同時支援在進階配置中設定任務並發數、髒資料策略等。本教程髒資料策略配置為不容忍髒資料，其他配置保持預設。更多資訊，請參見嚮導模式配置。

4. 配置調試參數。

   配置頁面單擊右側回合組態，配置以下參數，用於在步驟四調試運行中使用調試配置的相關參數測試回合。

   配置項	配置內容
   資源群組	選擇準備環境階段購買的Serverless資源群組。
   指令碼參數	無需配置。本教程提供的範例程式碼中統一使用${bizdate}表示業務日期，在步驟四調試運行工作流程時，設定本次運行值為具體常量（例如20250223），任務運行將會使用此常量替換任務中定義的變數。

5. 儲存單表離線任務。

   配置完成後，單擊工具列中的表徵圖儲存任務節點。

您可根據以下操作將HttpFile資料來源中的日誌資訊同步到您所建立的OSS中。

1. 開啟單表離線節點。

   在工作流程編排頁面，滑鼠懸浮於單表離線節點ods_raw_log_d_2oss_emr上，單擊上方出現的開啟節點，進入任務配置介面。

2. 資料來源與運行資源。

   參考以下參數資訊，完成資料來源與資源群組配置。

   參數	描述
   資料來源	資料來源：HttpFile。 資料來源名稱：user_behavior_analysis_httpfile。
   資料去向	資料去向：OSS。 資料來源名稱：選擇前文建立的OSS資料來源，此處樣本為test_g。
   運行資源	請在資源群組選擇已購買的Serverless資源群組。

3. 配置資料來源與去向。

   1. 以下為本教程所需配置的關鍵參數，未說明參數保持預設即可。

      參數	描述
      來源	檔案路徑：/user_log.txt。 文本類型：選擇text類型。 資料行分隔符號：輸入資料行分隔符號為|。 壓縮格式：包括None、Gzip、Bzip2和Zip四種類型，此處選擇None。 是否跳過表頭：選擇No。
      去向	文本類型：選擇text類型。 檔案名稱（含路徑）：根據您OSS的目錄進行輸入，樣本為ods_raw_log_d/log_${bizdate}/log_${bizdate}.txt，其中ods_raw_log_d為您OSS的目錄名，$bizdate表示擷取前一天的日期。 資料行分隔符號：輸入資料行分隔符號為|。

   2. 配置調試參數。

      配置頁面單擊右側回合組態，配置以下參數，用於在步驟四調試運行中使用調試配置的相關參數測試回合。

      配置項	配置內容
      資源群組	選擇準備環境階段購買的Serverless資源群組。
      指令碼參數	無需配置。本教程提供的範例程式碼中統一使用${bizdate}表示業務日期，在步驟四調試運行工作流程時，設定本次運行值為具體常量（例如20250223），任務運行將會使用此常量替換任務中定義的變數。

4. 儲存單表離線任務。

   配置完成後，單擊工具列中的表徵圖儲存任務節點。

1. 開發代碼。

   在工作流程編排頁面，滑鼠懸浮於EMR Hive節點ods_user_info_d_emr上，單擊上方出現的開啟節點，進入EMR Hive節點編輯頁面。輸入以下樣本SQL語句。

   CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info_d_emr
   (
       `uid` STRING COMMENT '使用者ID',
       `gender` STRING COMMENT '性別',
       `age_range` STRING COMMENT '年齡段',
       `zodiac` STRING COMMENT '星座'
   ) PARTITIONED BY (
     dt STRING
   )
   ROW FORMAT  delimited fields terminated by '|'
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/';
   
   ALTER TABLE ods_user_info_d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}')
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/';

   說明

   上述代碼中的LOCATION為樣本路徑，與之前配置單表離線任務時的資料去向相同，需要輸入您建立的檔案路徑名稱，其中dw-emr-demo是您準備環境時建立的OSS Bucket名稱。

2. 配置調試參數。

   配置頁面單擊右側調試配置，配置以下參數，用於在調試運行中使用調試配置的相關參數測試。

   配置項	配置內容
   計算資源	選擇準備環境階段綁定的EMR計算資源。
   資源群組	選擇準備環境階段購買的Serverless資源群組。
   指令碼參數	無需配置。本教程提供的範例程式碼中統一使用${bizdate}表示業務日期，在調試運行任務時，設定本次運行值為具體常量（例如20250223），任務運行將會使用此常量替換任務中定義的變數。

3. 配置完成後，您可單擊儲存節點。

1. 開發代碼。

   在工作流程編排頁面，滑鼠懸浮於EMR Hive節點ods_raw_log_d_emr上，單擊上方出現的開啟節點，進入EMR Hive節點編輯頁面。輸入以下樣本SQL語句。

   --建立OSS日誌對應目標表
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_raw_log_d_emr
   (
     `col` STRING
   ) PARTITIONED BY (
     dt STRING
   );
   ALTER TABLE ods_raw_log_d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}')
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/';

   說明

   上述代碼中的LOCATION為樣本路徑，與之前配置單表離線任務時的資料去向相同，需要輸入您建立的檔案路徑名稱，其中dw-emr-demo是您準備環境時建立的OSS Bucket名稱。

2. 配置調試參數。

   配置頁面單擊右側調試配置，配置以下參數，用於在調試運行中使用調試配置的相關參數測試回合。

   配置項	配置內容
   計算資源	選擇準備環境階段綁定的EMR計算資源。
   資源群組	選擇準備環境階段購買的Serverless資源群組。
   指令碼參數	無需配置。本教程提供的範例程式碼中統一使用${bizdate}表示業務日期，在調試運行任務時，設定本次運行值為具體常量（例如20250223），任務運行將會使用此常量替換任務中定義的變數。

3. 儲存運行節點任務。

   配置完成後，您可單擊儲存和運行節點。