E-MapReduce：同步資料

配置使用者日誌同步至OSS

通過離線Data Integration任務，實現從平台的HttpFile資料來源內的擷取使用者日誌資訊，同步至私人OSS資料來源中。

同步HttpFile資料來源的日誌資訊至自建的OSS。

1. 在資料開發頁面，雙擊ods_raw_log_d_2oss_spark節點，進入節點配置頁面。

2. 配置同步網路連結。

   完成以下網路與資源配置後，單擊下一步，並根據介面提示完成連通性測試。

   參數	描述
   資料來源	資料來源：HttpFile。 資料來源名稱：user_behavior_analysis_httpfile。
   我的資源群組	選擇已購買的Serverless資源群組。
   資料去向	資料去向：OSS。 資料來源名稱：選擇前文建立的私人OSS資料來源，此處樣本為test_g。

3. 配置同步任務。

   參數	描述
   資料來源	檔案路徑：/user_log.txt。 文本類型：選擇text類型。 資料行分隔符號：輸入資料行分隔符號為|。 壓縮格式：包括None、Gzip、Bzip2和Zip四種類型，此處選擇None。 是否跳過表頭：選擇No。
   資料去向	文本類型：選擇text類型。 檔案名稱（含路徑）：根據您自建OSS的目錄進行輸入，樣本為ods_raw_log_d/log_${bizdate}/log_${bizdate}.txt，其中ods_raw_log_d為您自建的目錄名，$bizdate表示擷取前一天的日期。 資料行分隔符號：輸入資料行分隔符號為|。

4. 調度設定。

   配置頁面單擊右側調度配置，可進入調度配置面板配置調度與節點資訊。以下為配置的內容。

   說明

   DataWorks提供調度參數，可實現在調度情境下，將每日資料寫入不同的OSS路徑及檔案下，並以業務日期對路徑目錄與檔案進行命名。

   在實際情境下，您可以在資料去向的檔案名稱（含目錄）配置中通過${變數名}格式自訂路徑中的變數，並通過在調度配置頁面為變數賦值調度參數的方式，實現調度情境下動態產生資料去向目錄與檔案名稱。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1] 詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為workspacename.節點名。 詳情可參見：配置調度依賴。

5. 配置完成後，單擊工具列中的表徵圖，進行儲存。

配置使用者資料同步至OSS

通過離線Data Integration任務，實現從平台的MySQL資料來源內的擷取使用者資料資訊，同步至私人OSS資料來源中。

配置ods_raw_log_d_spark節點

基於通過EMR Spark SQL建立的外部表格ods_raw_log_d_spark，用LOCATION來訪問離線Data Integration任務寫入私人OSSObject Storage ServiceBucket的日誌資訊。

1. 代碼配置。

   -- 情境：以下SQL為Spark SQL，通過EMR Spark SQL建立的外部表格ods_raw_log_d_spark，用LOCATION來擷取離線Data Integration任務寫入私人OSSObject Storage ServiceBucket的日誌資訊，並添加對應的dt分區。
   -- 補充：
   --      DataWorks提供調度參數，可實現調度情境下，將每日增量資料寫入目標表對應的業務分區內。
   --      在實際開發情境下，您可通過${變數名}格式定義代碼變數，並在調度配置頁面通過變數賦值調度參數的方式，實現調度情境下代碼動態入參。 
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_raw_log_d_spark
   (
     `col` STRING
   ) 
   PARTITIONED BY (
     dt STRING
   )
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/';
   
   ALTER TABLE ods_raw_log_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/'
   ;

   說明

   上述代碼中的location為樣本路徑，與之前配置離線同步任務時的資料去向相同，需要輸入您建立的檔案路徑名稱，其中dw-emr-demo是您準備環境時建立的OSS Bucket網域名稱。

2. 配置調度配置。

   為ods_raw_log_d_spark節點配置任務調度，通過配置的調度參數來擷取對應業務日期的私人OSS記錄檔，並寫入同樣業務日期分區的Spark表內。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1]，詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為workspacename.節點名。 詳情可參見：配置調度依賴。

   說明

   本章節在SQL中配置了調度參數${bizdate}，並將其賦值為T-1。在離線計算情境下bizdate為業務交易發生的日期，也常被稱為業務日期。例如，今天統計前一天的營業額，此處的前一天指的是交易發生的日期，也就是業務日期。

3. 完成配置後，單擊儲存節點。

配置ods_user_info_d_spark節點

基於通過EMR Spark SQL節點建立的外部表格ods_user_info_d_spark，用LOCATION來訪問離線Data Integration任務寫入私人OSSObject Storage ServiceBucket的使用者資訊。

1. 代碼配置。

   -- 情境：以下SQL為Spark SQL，通過EMR Spark SQL節點建立的外部表格ods_user_info_d_spark，用LOCATION來擷取離線Data Integration任務寫入私人OSSObject Storage ServiceBucket的使用者資訊，並寫入對應的dt分區。
   -- 補充：
   --      DataWorks提供調度參數，可實現調度情境下，將每日增量資料寫入目標表對應的業務分區內。
   --      在實際開發情境下，您可通過${變數名}格式定義代碼變數，並在調度配置頁面通過變數賦值調度參數的方式，實現調度情境下代碼動態入參。
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info_d_spark
   (
       `uid`        STRING COMMENT '使用者ID'
       ,`gender`    STRING COMMENT '性別'
       ,`age_range` STRING COMMENT '年齡段'
       ,`zodiac`    STRING COMMENT '星座'
   )
   PARTITIONED BY 
   (
       dt           STRING
   )
   ROW FORMAT DELIMITED 
   FIELDS
   TERMINATED
   BY'|'
   STORED AS TEXTFILE
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;
   
   ALTER TABLE ods_user_info_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;

   說明

   上述代碼中的location為樣本路徑，與之前配置離線同步任務時的資料去向相同，需要輸入您建立的檔案路徑名稱，其中dw-emr-demo是您準備環境時建立的OSS Bucket網域名稱。

2. 配置調度配置。

   為ods_user_info_d_spark節點配置任務調度，通過配置的調度參數來擷取對應業務日期的私人OSS使用者資訊檔，並寫入同樣業務日期分區的Spark表內。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1]，詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為worksspacename.節點名 詳情可參見：配置調度依賴。

3. 完成配置後，單擊儲存節點。