DataWorks：配置分庫分表離線同步任務

分庫分表資料來源+嚮導模式

1. 進入Data Integration頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的Data Integration > Data Integration，在下拉框中選擇對應工作空間後單擊進入Data Integration。

2. 在左側導覽列單擊数据源，然後單擊新增數據源，選擇資料來源類型，當前此方式支援MySQL、PolarDB和PolarDB-O。

3. 將每個分庫建立為普通資料來源。本文以MySQL為例，詳細步驟請參見資料來源配置。

   建立完成後，在資料來源列表頁面可看到每個分庫對應的MySQL資料來源，例如資料來源名稱為MySQL_20241114，對應資料庫名user_info_20241114。

4. 建立分庫分表資料來源，將多個普通資料來源合并為一個資料來源，作為資料同步的資料來源。

   1. 單擊新增數據源，選擇分庫分表。在新增資料來源對話方塊中，單擊分庫分表分類標籤，可選的資料來源類型包括MySQL（分庫分表）、PolarDB-O（分庫分表）和PolarDB（分庫分表）。

   2. 按需選擇分庫分表資料來源類型，配置相關參數。本文以MySQL（分庫分表）為例。

      在資料來源名稱中輸入名稱（如Database_and_Table_Sharding_of_MySQL），配置完成後單擊完成建立分庫分表資料來源。

      關鍵參數說明：

      • 自訂數據源名稱。

      • 選擇資料來源：選擇已建立的各分庫普通資料來源。

      • Meta資料來源：分庫分表同步，所有資料來源內的庫表結構必須保持一致，請選擇其中一個資料來源作為預設中繼資料的模板，供配置同步任務時拉取預設庫表結構使用。

        重要

        資料來源內的庫表結構不一致時，後續同步任務將會執行報錯。

5. 建立離線同步節點。

6. 配置分庫分表同步任務。

   嚮導模式配置分庫分表：數據來源選擇MySQL（分庫分表），然後選擇已建立的分庫分表資料來源。完整的任務配置步驟請參見嚮導模式配置。

   說明

   本文以MySQL（分庫分表）為例，實際配置時請按需選擇。

   網路連通性測試頁面顯示資料來來源資料源名稱為 Database_and_Table_Sharding_of_MySQL，資源群組為 Serveless_Resource（華東2-上海，隨用隨付，佔用0.5 CU），資料去向選擇 MaxCompute(ODPS) 類型、資料來源名稱為 doc_test_project，三者網路連通性測試均顯示可連通。

7. 單擊下一步。

8. 選擇需要同步的表，保存並发布，完成後續步驟。

   在配置資料來源與去向頁面的步驟2配置任務中，左側資料來源地區選取項目資料來源為MySQL(分庫分表)，選表方式為固定選表，表選擇user_info，切分鍵填寫id（分庫分表要求所有表的結構必須保持一致，否則執行報錯）。右側資料去向地區選取項目資料來源為MaxCompute(ODPS)，表名為user_info，分區資訊填寫pt=${bizdate}，寫入模式選擇寫入前清理已有資料(Insert Overwrite)，Null 字元串轉為Null寫入選擇否。

普通資料來源+嚮導模式

1. 將每個分庫建立為普通資料來源。本文以MySQL為例，詳細步驟請參見資料來源配置。

2. 建立離線同步節點。

3. 配置分庫分表同步任務。

   嚮導模式配置分庫分表：在數據來源地區單擊+編輯資料來源，在彈出的資料來源選擇面板中勾選並添加多個分庫對應的資料來源。完整的任務配置步驟請參見嚮導模式配置。

4. 將多個普通資料來源加入到已選中數據源中，單擊確定。

5. 單擊下一步。

6. 選擇每個資料來源中需要同步的表，保存並发布，完成後續步驟。

   重要

   此配置中，分庫分錶數據源使用相同賬號密碼選項會預設勾選，表示所有分庫分表資料來源將使用第一個資料來源中配置的賬戶和密碼去訪問資料庫。如果您的分庫分表資料庫使用的帳號密碼不同，請取消勾選，使用各自資料來源配置中的賬戶和密碼去訪問資料庫。

   在配置資料來源與去向頁面，左側資料來源地區配置了三個MySQL分庫分表資料來源（如MySQL_20241112、MySQL_20241114、MySQL_20241113），每個資料來源均選擇user_info表。頁面顯示警告"分庫分表要求：所有表的schema必須保持一致，否則執行報錯"。右側資料去向地區選取項目MaxCompute(ODPS)資料來源，表為user_info，分區資訊設定為pt=${bizdate}，寫入模式為寫入前清理已有資料 (Insert Overwrite)。

指令碼模式

1. 建立離線同步節點。

2. 配置分庫分表同步任務。

   指令碼模式配置分庫分表：指令碼樣本如下，完整的任務配置步驟請參見指令碼模式配置。

   重要

   實際運行時，請刪除下述代碼中的注釋。

   {
       "type":"job",
       "version":"2.0",
       "steps":[
           {
               "stepType":"mysql",
               "parameter":{
                   "envType":0,
                   "column":[
                       "id",
                       "name"
                   ],
                   "socketTimeout":3600000,
                   "tableComment":"",
                   "connection":[    //根據分庫數配置connection
                       {
                           "datasource":"datasourceName1",  //分庫分表的資料來源1
                           "table":[           //分庫分表的Table列表1
                               "tb1"
                           ]
                       },
                       {
                           "datasource":"datasourceName2", //分庫分表的資料來源2
                           "table":[          //分庫分表的Table列表2
                               "tb2",
                               "tb3"
                           ]
                       }
                   ],
                   "useSpecialSecret":true,//各個資料來源使用各自的密碼
                   "where":"",
                   "splitPk":"id",
                   "encoding":"UTF-8"
                   },
               "name":"Reader",
               "category":"reader"
               },
           {
               "stepType":"odps",
               "parameter":{
                   "partition":"pt=${bizdate}",
                   "truncate":true,
                   "datasource":"odpsname",
                   "envType":0,
                   "isSupportThreeModel":false,
                   "column":[
                       "id",
                       "name"
                   ],
                   "emptyAsNull":false,
                   "tableComment":"",
                   "table":"t1",
                   "consistencyCommit":false
                   },
               "name":"Writer",
               "category":"writer"
               }
       ],
       "setting":{
           "executeMode":null,
           "errorLimit":{
               "record":""
               },
           "speed":{
               "concurrent":2,
               "throttle":false
               }
       },
       "order":{
           "hops":[
               {
                   "from":"Reader",
                   "to":"Writer"
                   }
           ]
       }
   }

常見問題