本文介紹如何使用資料移轉功能,將外部資料源的資料全量遷移至雲資料庫 SelectDB 版。
功能簡介
資料移轉功能支援將以下資料來源的全量資料移轉至雲資料庫 SelectDB 版:
-
Apache Doris
-
SelectDB
-
StarRocks
前提條件
-
已準備好源叢集的串連資訊,包括地址、連接埠、使用者名稱和密碼。
-
已準備好用於資料中轉的臨時Object Storage Service,並擷取其訪問地址和授權資訊。遷移任務將使用該Object Storage Service臨時存放資料,任務完成後將自動清理。
操作步驟
導航至資料移轉頁面
-
在頁面左上方,選擇執行個體所在地區。
-
在執行個體列表頁面,單擊目標執行個體ID,進入到執行個體詳情頁面。
-
單擊頁面左側菜單中的數據開發與管理(Studio) 下的資料移轉 。
說明首次使用資料開發與管理,系統會提示將您本地公網IP添加到執行個體白名單分組webui_whitelist中,請仔細閱讀,單擊確定。
建立遷移任務
在資料移轉頁面,單擊建立遷移任務,並按照嚮導分步完成配置。
-
配置源叢集與任務基本資料
在左側導覽列進入遷移模組,單擊建立遷移任務。根據介面提示,配置以下資訊,然後單擊下一步以驗證連通性。
-
任務名稱、備忘:自訂任務的名稱和描述。
-
源叢集串連資訊:填寫源叢集的地址、JDBC 連接埠、HTTP 連接埠、使用者名稱和密碼。
-
-
配置臨時Object Storage Service
選擇Object Storage Service雲端服務商後,填寫相應的Object Storage Service地址和授權資訊。
-
選擇遷移對象
勾選要遷移的資料庫和表。您可以通過批量選擇或使用搜尋方塊來篩選對象。此外,您還可以通過資料過濾功能為特定表設定過濾條件,僅遷移滿足條件的資料。遷移任務會根據源端表的結構定義自動在目標雲資料庫 SelectDB 版中建立對應表,無需預先手動建表。如果您通過 JDBC(MySQL 協議)串連雲資料庫 SelectDB 版執行
INSERT寫入資料,當目標表不存在時會返回Table does not exist錯誤,需先執行CREATE TABLE建立表結構後才能寫入資料。 -
進階設定
在此步驟中,配置遷移任務的績效參數:
-
叢集:選擇執行遷移任務所使用的計算資源。
-
表級並發:設定同時遷移的表的數量。
-
表內並發:設定單個表內的資料分區(Tablet)的遷移並發數。
-
-
預檢查與啟動
系統將對配置進行預檢查。檢查通過後,即可啟動遷移任務。
資料一致性說明
遷移後表結構和資料的一致性取決於欄位類型:
-
普通欄位(如 INT、VARCHAR、DECIMAL 等)的表結構和資料可保持一致。
-
BITMAP 和 HLL 彙總類型欄位不支援隨即轉移,需在目標端重建立表並通過配套函數重新匯入:
-
BITMAP 欄位:建表時指定 BITMAP_UNION 彙總類型,使用
bitmap_hash()函數匯入資料。 -
HLL 欄位:建表時指定 HLL_UNION 彙總類型,使用
hll_hash()函數匯入資料。
-
遷移完成後,建議對比源端和目標端的表結構(列名、類型、約束)和資料完整性(行數、資料內容),確保遷移結果符合預期。
查看與管理遷移任務
遷移任務啟動後,頁面將自動跳轉至資料移轉列表。您可以在此查看和管理所有遷移任務。
-
查看工作清單:在資料移轉頁面,您可以查看所有任務的遷移任務名稱、資料來源、狀態、建立時間等基本資料。
-
查看任務詳情:單擊目標任務操作列對應的按鈕查看詳細資料,可以進入任務詳情頁面,瞭解該任務的遷移進度、表層級詳情以及配置資訊。