Serverless同步任務配置
本文介紹Data IntegrationServerless同步任務的特性以及相關配置。
使用限制
-
支援地區:華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、中國香港、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)、日本(東京)、德國(法蘭克福)、馬來西亞(吉隆坡)。
-
目前支援的同步類型:
-
MySQL-Hologres整庫即時
-
MySQL-MaxCompute整庫即時
-
MySQL-StarRocks整庫即時
-
-
目前只支援當前地區當前主賬戶擁有的資料來源。
使用說明
-
Serverless同步任務無資源群組的概念,您只需關注同步業務本身。
-
Serverless同步任務無需關注網路打通情況,但是兩端資料來源關聯的VPC網段不能衝突。
-
Serverless同步任務屬於隨用隨付任務,任務啟動自動產生一個訂單ID,訂單ID在阿里雲訂單系統可以查詢詳情計費資訊,計費參考:DataWorks Serverless資源群組效能指標。
-
Serverless任務只有在啟動的時候才會進行隨用隨付,當任務停止或者失敗時(非運行態)停止計費。如果不需要任務可以進行任務刪除,刪除為無法復原操作,刪除任務的同時會進行訂單釋放。
配置Serverless同步任務
步驟一:建立Serverless同步任務
進入Data Integration頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入Data Integration。
-
在左側導覽列單擊Serverless 同步任務。
-
在Serverless同步任務地區,選擇資料來源和資料去向,單擊新建Serverless同步任務。
步驟二:配置基本資料
-
如需使用已添加的資料來源,可單擊使用已有數據源,從已有資料來源中選擇,資料來源的相關資訊將會自動擷取。
-
此處選擇的數據來源與數據去向無需先在Data Integration或管理中心中添加資料來源,您也可以直接在此處配置數據來源或數據去向的詳細資料。
-
資料來源和資料去向資訊配置完成後,單擊測試,對於阿里雲RDS以及阿里雲Hologres執行個體,在沒有特殊設定白名單時,連通性會自動化的測試通過,如果設定了白名單,請允許存取相關IP地址,具體IP地址清單請參見網路連通與白名單配置。
步驟三:任務配置
根據具體任務類型按介面說明進行同步相關配置。
步驟四:完成配置
配置上述資訊後,單擊完成配置。
第一次完成配置會自動進行配置檢查,注意這裡的配置檢查不阻塞完成配置,只是做預檢查。
啟動任務
-
啟動任務會自動再觸發一次配置檢查,注意此處的配置檢查為強制行為,當配置檢查不通過時,則阻塞任務啟動。
-
配置檢查的檢查項根據同步任務不同而有所不同。
-
初次啟動會檢查啟動使用者的許可權是否允許,許可權與Serverless通用資源群組隨用隨付購買許可權一致,需擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess許可權的使用者才可以啟動。
任務詳情
單擊Serverless同步任務的任務名稱/ID列或單擊執行概況列的內容,進入任務詳情頁。
-
基本資料:包括任務的資料來源資訊,計費訂單ID以及同步方案。
-
執行狀態:同步任務每一步驟的具體執行狀態,您還可以查看作業記錄、Failover和資源使用率。
-
詳細資料:包括結構遷移、全量初始化和即時同步的詳細資料。
任務修改
-
單擊目標Serverless同步任務操作列的编辑,進入任務配置頁面。
-
您可以對同步表進行新增、刪除或修改,然後單擊完成配置。
-
單擊操作列的應用更新。
-
應用更新會自動進行預檢查,如果檢查不過會阻塞應用更新。
-
應用更新對應的檢查項比初次啟動時要少,由於資源已經初始化完成,所以應用更新比初次啟動少了個資源準備的階段。
-
附錄
查看任務訂單詳情
Serverless同步任務與其他同步任務不同,此類任務無資源群組資訊,而是以任務訂單進行結算,任務為隨用隨付。
Serverless任務只有在啟動的時候才會進行隨用隨付,當任務停止或者同步失敗的時候(非運行態)停止計費。如果不需要任務可以進行任務刪除,刪除為無法復原操作,刪除任務時會進行訂單釋放。
您可以通過如下方式查詢訂單。
-
單擊Serverless同步任務的任務名稱/ID列或單擊執行概況列的內容,進入任務詳情頁。
-
在基本信息地區擷取計費訂單ID。
-
前往阿里雲訂單管理,根據計費訂單ID查詢訂單詳情。
進階配置
設定同步來源與規則
選擇源端資料來源中需要同步的庫和表後,同步任務預設將源端資料庫、資料表寫入目標端同名Schema或同名表中,如果目標端不存在該schema或表,將會自動建立。同時,您可以通過目標Schema名映射自定義、目標表名映射自定義定義最終寫入目標端的Schema或表名稱。實現統一將源端某固定首碼的庫名或表名在寫入目標庫或表時更新為其他首碼。
設定目標表
您可以定義寫入目標表的相關屬性,例如,選擇寫入目標端已有表還是建立表、添加字段、是否寫入分區表以及設定分區字段名稱、存儲模式以及配置目標表字段賦值等。
此步驟中,單擊應用並刷新映射按鈕後,將會根據配置的表規則來映射源端表與目標端表的寫入關係。
設定寫入規則
來來源資料源會包含許多DDL或DML操作,為保障資料符合預期,您可以根據寫入的目標端資料來源類型配置DDL或DML訊息處理策略。DDL訊息處理策略詳情請參見:DDL訊息處理規則、DML訊息處理策略。