為提升遷移速度與平滑性,Elasticsearch推出了一款基於節點融合的線上遷移工具。該工具能夠高效、無縫地將自建Elasticsearch叢集資料(基於IDC ECS部署),遷移至全託管的Elasticsearch。本文為您介紹使用線上遷移工具進行資料移轉的相關操作流程。
背景資訊
節點融合的遷移方案會將自建Elasticsearch和Elasticsearch融合為一個大叢集。融合後,將對自建Elasticsearch的資料進行灰階遷移,遷移過程依次進行副本遷移、主節點遷移、主分區遷移。資料移轉完成後,您可將業務資料請求(例如,查詢、寫入)從自建Elasticsearch切換為Elasticsearch的網域名稱地址,使用Elasticsearch提供後續服務。同時,需通過網路隔離自建Elasticsearch,停止其繼續提供服務。在驗證業務資料準確無誤後,方可下線自建Elasticsearch。具體操作請參見下文。
資料移轉過程中,副本遷移支援執行復原操作,主節點及主分區遷移不支援復原,請謹慎操作。
使用限制
地區限制:不支援跨地區的資料移轉,即自建Elasticsearch所在的ECS,需要與Elasticsearch同地區。
網路限制:不支援跨VPC的資料移轉,即自建Elasticsearch所在ECS的VPC網路,需要與Elasticsearch的VPC一致。
版本限制:僅支援將自建Elasticsearch資料移轉至Elasticsearch的
6.7、6.8、7.10、7.17、8.13、8.15、8.17等版本。若自建Elasticsearch版本,包含在上述Elasticsearch版本內,建議同版本遷移。例如,自建Elasticsearch
6.7,遷移至Elasticsearch6.7。若自建Elasticsearch版本,不包含在上述Elasticsearch版本內,建議就近選擇高於自建Elasticsearch版本的Elasticsearch。例如,自建Elasticsearch
8.5,遷移至Elasticsearch8.13。說明不支援跨大版本的資料移轉(例如,7.x遷移到8.x)。
其他限制:
僅支援將自建Elasticsearch資料移轉至基於雲原生新管控(v3)模式部署的Elasticsearch執行個體。
自建Elasticsearch叢集索引必須已棄置站台,叢集本地建議有快照。
前提條件
自建Elasticsearch側
已基於ECS部署自建Elasticsearch叢集。該叢集作為進行遷移的源叢集。
自建Elasticsearch叢集的索引已棄置站台。
已準備解密的P12檔案。P12檔案用於儲存公開金鑰和私密金鑰,並包含數位憑證。後續資料移轉過程中,可通過P12檔案確保節點之間能夠正常通訊。
(可選)若自建Elasticsearch未鑒權,則需開啟
X-Pack Security(即配置xpack.security.enabled: true),保障遷移過程資料安全。
Elasticsearch側
已建立Elasticsearch,該叢集作為進行遷移的目的地組群,用於接收自建Elasticsearch的遷移資料。為保障遷移過程順暢,請確保建立的Elasticsearch:
基於雲原生新管控(v3)模式部署。
與自建Elasticsearch所在的ECS同地區、同VPC網路。
與自建Elasticsearch版本建議保持一致。
說明如需執行跨版本的資料移轉請聯絡Elasticsearch的技術支援人員。
執行個體規格及節點數的配置,不低於自建Elasticsearch的配置。
使用者名稱及密碼建議與自建Elasticsearch保持一致。
若自建Elasticsearch安裝了自訂外掛程式(例如,用於執行相似性搜尋的外掛程式
elasticsearch-knn),則需在Elasticsearch安裝相同外掛程式。外掛程式相關操作,請參見外掛程式配置。需確保雲上叢集功能(例如,叢集配置、詞典等)符合業務預期、網路可達。
操作流程
步驟一:建立遷移任務
進入線上遷移入口。
在左側導覽列單擊,進入線上遷移入口。
單擊建立,建立遷移任務並配置相關參數。

參數
描述
類型
選擇自建Elasticsearch遷移,用於將自建Elasticsearch的資料移轉至Elasticsearch中。
目的地組群
用於接收自建Elasticsearch資料的Elasticsearch執行個體。請按需選擇與自建Elasticsearch所在ECS同地區的執行個體,選擇後,需按照介面指引,輸入執行個體的虛擬交換器ID。
說明僅支援選擇雲原生新管控(v3)模式部署的執行個體,若沒有合適執行個體,請按需建立Elasticsearch執行個體。
虛擬交換器用於進行網路隔離及存取控制,可通過查看執行個體的基本資料擷取。
自建ES VPC
自建Elasticsearch的VPC ID。
自建ES ECS IP
自建Elasticsearch中,任意一個節點所在的ECS執行個體的IP地址。
自建ES P12檔案
按照介面指引上傳解密後的P12檔案。P12檔案用於儲存公開金鑰和私密金鑰,並包含數位憑證。後續資料移轉過程中,可通過P12檔案確保節點之間能夠正常通訊。
自建ES使用者名稱
登入自建Elasticsearch的使用者名稱。
自建ES密碼
登入自建Elasticsearch的密碼。
單擊確定,完成任務建立。
步驟二:配置並執行遷移任務
在該步驟,您需按照介面指引配置遷移任務並完成資料移轉。
遷移任務中的源叢集為自建Elasticsearch,目的地組群為Elasticsearch。
遷移檢查及配置融合。
在源與目的地組群設定頁簽,您需按照如下步驟完成遷移任務的可行性檢查及融合配置。

可行性檢查:執行遷移操作前,系統會自動檢測源叢集與目的地組群的網路連通性、版本相容性、資源充足性等,確保資料移轉操作安全可行。
說明若可行性檢查不通過,請按照介面提示修改相關配置。
配置融合:系統自動檢測源叢集的配置參數(例如,分區副本數、分區策略、使用者權限配置等)並適配至目的地組群,確保源叢集與目的地組群的配置參數、資源分派、分區策略等無縫同步,從而實現平滑遷移和高效運行。
說明該步驟預計耗時20分鐘左右,請耐心等待。
進行資料移轉。
在資料移轉頁簽,需按下圖步驟,依次完成叢集融合、副本遷移、主節點遷移及主分區遷移。

操作項
描述
說明
叢集融合
系統將源叢集和目的地組群合并為一個大叢集,合并後,
叢集內的總節點數 = 源叢集節點數 + 目的地組群節點數。叢集融合後,目的地組群的Kibana將被臨時關閉。在資料移轉期間,您仍可使用源叢集的Kibana,直至業務切換完成。
副本遷移
系統將索引複本分區,從源叢集節點遷移至目的地組群節點。
若在遷移過程中出現非預期故障或對業務造成影響,可執行復原操作。復原完成後,當前遷移任務將無法繼續執行,需重新建立遷移任務。
主節點遷移
系統將融合後叢集中的主節點,從源叢集遷移至目的地組群。
主節點遷移任務發起後立即變更,不支援任何情境的復原,請謹慎操作。
主分區遷移
系統將儲存未經處理資料的主分區,從源叢集節點遷移至目的地組群節點。
主分區遷移啟動後,不支援任何情境的復原,請謹慎操作。
進行業務切換及網路隔離。
在該步驟,您會將當前業務切換至目的地組群,同時,通過網路隔離,停止原有叢集的服務提供。
業務切換。
在業務切換頁簽,按照介面提示,基於您的業務應用,將當前業務中所有查詢及寫入請求,從源叢集的網域名稱切換至目的地組群的網域名稱,後續將使用目的地組群提供相關服務。
網路隔離。
業務切換完成後,您需發起網路隔離請求,禁止源叢集的節點再加入至目的地組群中,即後續將停止使用源叢集提供服務。
說明當介面出現下線自建叢集節點時,請按照提示下線自建叢集ECS節點或關閉ES進程(建議通過
kill -15 <ES進程PID>方式下線),操作完成後,系統會繼續執行網路隔離操作。該過程預計耗時20分鐘,請耐心等待。
完成遷移。
網路隔離執行成功後,此次遷移任務完成。您可單擊前往執行個體列表,查看執行個體詳情。
步驟三:資料驗證
資料移轉任務執行完成後,您可通過Kibana控制台訪問目標Elasticsearch,執行相關查詢或寫入操作,驗證叢集是否符合預期。
後續步驟
資料移轉完成且驗證無誤後,您可下線自建Elasticsearch叢集。
相關文檔
更多自建Elasticsearch的資料移轉方式,請參見自建Elasticsearch資料移轉。
Elasticsearch的相關操作,請參見快速存取與配置。