您可以使用阿里雲 Milvus 資料移轉服務,將本地 IDC、其他雲平台或阿里雲 ECS 上自建的 Milvus 資料庫資料移轉至阿里雲 Milvus 服務,同時也支援不同阿里雲 Milvus 執行個體間的資料移轉。該服務採用全量加增量的遷移機制,確保資料完整同步。本文以 ECS 上自建的 Milvus 執行個體為例,詳細介紹如何通過資料移轉服務將資料安全、高效地遷移至阿里雲 Milvus。
限制與配置要求
遷移前準備(必須執行)
操作狀態控制
叢集類型
要求
說明
源叢集
停止所有資料變更操作
包括寫入、刪除和更新操作,確保叢集處於唯讀狀態,防止資料變動導致遷移過程中出現不一致。
目的地組群
暫停所有資料操作
包括查詢、寫入、刪除和更新操作,保持不可用狀態,避免與遷移資料衝突。
版本相容性
要求
規範
源叢集版本
必須高於 2.3.6(即 ≥ v2.3.7)
目的地組群版本
必須不低於源叢集版本
遷移任務限制
任務管理
並發限制:同一時間僅能執行1個遷移任務。
資料範圍
資料庫限制:每個遷移任務僅支援同一資料庫下的Collection。
Collection數量:最多包含5個Collection。
資料總量:所有Collection的總實體數量不超過5億。
資料狀態
來源資料要求:待遷移的Collection必須處於已載入狀態(load狀態)。
目標執行個體要求:必須是空執行個體(無任何現有實體資料)。
阿里雲 Milvus 2.6 向下相容 2.5 版本。如果源叢集為 2.5.x 版本(如 2.5.12),可直接將資料移轉至 2.6 版本的目標執行個體,無需額外的資料格式轉換。
網路安全配置
資料移轉服務通過其固定IP地址從源Milvus讀取資料並傳輸至目標Milvus。為確保資料正常遷移,源Milvus必須允許這些IP位址區段(CIDR)的入站串連。請根據目標地區,在資料庫防火牆、安全性群組或存取控制清單(ACL)中配置相應的IP範圍。例如,目標地區為杭州時,需將杭州地區的IP位址區段添加到ECS安全性群組。
|
地區 |
IP位址區段(CIDR) |
|
華北 2(北京) |
|
|
華南 1(深圳) |
|
|
華東 2(上海) |
|
|
中國(香港) |
|
|
華東1(杭州) |
|
|
烏蘭察布 |
|
|
新加坡(亞太地區東南) |
|
|
德國(法蘭克福) |
|
遷移步驟
步驟 1:配置防火牆白名單
在部署源端 Milvus 服務的伺服器安全性群組中,開放預設連接埠 19530,並配置入站規則,僅允許資料移轉服務的固定 IP 位址段(CIDR)訪問。
以ECS自建Milvus為例,在ECS執行個體中配置以下安全性群組規則:
授權策略選擇允許,優先順序設為1,協議選擇自訂 TCP,訪問來源填寫資料移轉服務的 CIDR 115.29.196.0/24,訪問目的(本執行個體)連接埠填寫 19530,單擊提交。
步驟 2:啟動資料移轉任務
-
登入阿里雲Milvus控制台,單擊数据迁移,單擊Milvus(通过 EndPoint 迁移 )。
-
配置源集群串連資訊並選擇目标集群,然後單擊下一步。
源叢集為ECS自建Milvus時:
-
源集群 Endpoint:http://ECS_公網IP:9091
-
用户名和密码:ECS自建Milvus中的使用者名稱和密碼。
配置頁面頂部提示:源叢集版本需為 2.3.6 以上、需提前完成叢集網路設定、網路不通時可使用 VTS 工具、不支援高版本向低版本遷移。填寫完成後,單擊 下一步。
使用第三方遷移工具(如 Milvus Migration Tool)串連阿里雲 Milvus 執行個體時,Token 參數的格式為
使用者名稱:密碼(例如root:YourPassword123)。預設管理使用者名為 root,在建立執行個體時確定,不可修改。密碼為建立執行個體時設定的登入密碼。如需重設密碼,在实例详情頁面,單擊安全配置頁簽,在叢集配置地區單擊重置 root 账户密码。 -
-
選擇待遷移的Database並將其添加到目標Database中,然後單擊下一步。
請確保源叢集中需要遷移的 Collection 處於載入(Load)狀態。在 遷移來源 面板選擇 Database 和 Collection,通過箭頭按鈕將其添加到右側 遷移目標 面板。
-
檢查並配置欄位對應,然後單擊确认啟動遷移任務。
在欄位對應頁面,源 Collection 與目標 Collection 均為 minimal_vectors,欄位包括 id(Int64,Primary Key,Auto ID)和 vector(FloatVector)。動態列開關已開啟,Shard 值為 2。
單擊目標 Collection 中欄位右側的齒輪表徵圖,可在彈出的浮層中配置 Auto ID(自動產生 ID 開關)、Default Value(預設值)和 Partition Key(分區鍵)等進階選項。其中 Partition Key 支援 INT64 或 VARCHAR 類型,最多可選擇 1 個欄位作為 Partition Key,且不可設定支援 Null 值。
步驟 3:監控與驗證
-
在控制台查看遷移進度、錯誤記錄檔;
遷移任務完成後,資料移轉頁面的工作清單中,對應任務的狀態列顯示成功,進度列顯示完整的綠色進度條,表示遷移已成功完成。
-
遷移完成後,建議校正目的地組合的資料量與召回一致性。