Vector Retrieval Service for Milvus：使用鏡像工具遷移資料至阿里雲Milvus

網路要求

源 Milvus 與目標阿里雲 Milvus 可被容器所在網路訪問，建議部署在相同 VPC下。

1. 啟動容器（後台運行）

   docker run -d -it \
     --name milvus-migration \
     registry.cn-hangzhou.aliyuncs.com/taihao-executor/taihao-executor:release_2.22.0-ali \
     /bin/bash

2. 查看容器 ID 並進入

   bash# 查詢容器
   docker ps
   
   # 進入容器（替換為實際容器ID）
   docker exec -it <container_id> bash

   樣本：

   docker exec -it 55ac98f3b054 bash

配置模板說明

hoconenv {
  parallelism = 1           # 並發度，建議初始設為1
  job.mode = "BATCH"        # 批量模式
}

source {
  Milvus {
    url = "http://<源執行個體地址>:19530"       # 支援內網地址
    token = "<使用者名稱>:<密碼>"                 # 如 root:Test123456@
    database = "default"                    # 預設 default，可通過 list_databases 查詢
    collections = ["col_a", "col_b"]        # 要遷移的集合列表
    batch_size = 10000                      # 每次讀取條數，大表可調高
  }
}

sink {
  Milvus {
    url = "http://<目標阿里雲Milvus地址>:19530"
    token = "<目標執行個體token>"
    database = "default"
    batch_size = 1000
    enable_auto_id = false                 # 若原集合有自增ID，設為false；否則true
  }
}

注意事項

• 必須載入源 Collection：所有待遷移的 Collection 必須已執行 load()，否則會報錯；

• 如需遷移全部集合：刪除 collections 行即可自動同步所有已載入集合；

• 推薦使用內網地址：若容器與目標執行個體在同一地區，請使用內網 endpoint 提升傳輸速度。

方式1：Local 模式（單機運行）

nohup ./bin/seatunnel.sh --config ./migration.conf -m local > migration.log 2>&1 &

-Xms4g
-Xmx8g

方式2：Cluster 模式（高效能推薦）

適用於巨量資料量遷移：

bash# 建立日誌目錄
mkdir -p ./logs

# 啟動叢集服務
./bin/seatunnel-cluster.sh -d

# 提交任務
nohup ./bin/seatunnel.sh --config ./migration.conf > migration.log 2>&1 &

1. 建立索引

   milvus_client = milvus.prepare_index_params()
   index_params.add_index(
           field_name="vector",  # Name of the vector field to be indexed
           index_type="HNSW",  # Type of the index to create
           index_name="vector_index",  # Name of the index to create
           metric_type="L2",  # Metric type used to measure similarity
           params={
               "M": 64,  # Maximum number of neighbors each node can connect to in the graph
               "efConstruction": 100  # Number of candidate neighbors considered for connection during index construction
           }  # Index building params
       )
   milvus_client.create_index("collectionName", index_params)

2. 載入集合到記憶體

   milvus_client.load_collection()

   索引需在載入前建立，否則無法啟用加速檢索。關鍵參數：

   參數	擷取方式
   url	登入阿里雲Milvus控制台，在安全配置頁簽下查看公網或者內網地址，建議優先使用內網地址以提升效能。
   token	格式為使用者名稱:密碼，例如：root:YourPassword123@，登入阿里雲Milvus控制台，在安全配置頁簽下查看root帳號對應的密碼。
   database	預設為 default，如使用多資料庫功能，可通過 list_databases()API 查詢。

   完整配置：

   env {
     parallelism = 1
     job.mode = "BATCH"
   }
   
   source {
     Milvus {
       url = "http://xx.xx.xx.xx:19530"
       token = "root:SourcePass123@"
       database = "default"
       collections = ["medium_articles"]
       batch_size = 10000
     }
   }
   
   sink {
     Milvus {
       url = "http://proxy-bj.vpc.milvus.aliyuncs.com:19530"
       token = "root:TargetPass123@"
       database = "default"
       batch_size = 10000
       enable_auto_id = false
     }
   }

Q1：遷移過程中報錯 “Collection not loaded”

A：請確保源端所有要遷移的 Collection 已調用 .load() 方法載入至記憶體。

Q2：能否只遷移部分欄位？

A：目前的版本僅支援整 Collection 遷移，暫不支援欄位過濾。

Q3：如何監控遷移進度？

A：查看 migration.log 日誌輸出；也可通過 Attu 觀察目的地組合行數變化。