Elasticsearch：通過CCR實現跨叢集資料複製

基本架構

CCR採用主動-被動（Active-Passive）架構。Leader叢集負責接收所有寫操作，Follower叢集為唯讀狀態，僅從Leader叢集複製資料。

• Leader叢集：源端叢集，承擔所有寫操作。

• Follower叢集：目標端叢集，唯讀狀態，通過CCR從Leader叢集同步資料。

資料複製流程

CCR的資料複製分為兩個階段：

初始化階段

Follower叢集向Leader發起初始化請求，Leader將索引的所有Lucene segment檔案傳輸到Follower索引，類似於快照恢複機制。

增量同步處理階段

Follower索引的分區定期（預設每秒）向Leader發起提取要求，擷取自上次同步點之後的最新操作。具體過程如下：

1. 定位拉取起點：Follower本地維護一個remote_checkpoint，表示已成功應用到本地的最新操作位置，對應Leader Translog（交易記錄）中的global_checkpoint。

2. 從Leader Translog讀取操作：Leader根據Follower提供的from_seq_no定位Translog中的起始位置，讀取後續所有操作（index、update、delete），返回巨集指令清單。

3. Follower本地重放：Follower在本地按順序重放這些操作，更新remote_checkpoint。如果重放失敗（如版本衝突），會暫停同步並記錄錯誤。

4. 持續輪詢：Follower以固定間隔持續拉取新操作，通常延遲小於1秒。

Translog的核心作用

Translog（交易記錄）是CCR增量同步處理的資料來源，在ES中承擔以下作用：

• 防止資料丟失：ES預設每秒refresh一次，將記憶體緩衝區資料產生新的Lucene可搜尋段，但這些段尚未同步到磁碟。Translog記錄了所有寫操作，可在節點崩潰後通過重放恢複資料。

• 保障副本一致性：寫操作先寫入Translog，再轉寄給副本分區。只有主副分區都確認寫入後，才返回成功。

• 支援CCR增量同步處理：CCR通過ES內部的Translog API讀取動作記錄，擷取指定序號之後的所有變更，實現近即時資料複製。

Translog按分區隔離儲存，每個分區擁有獨立的Translog目錄，儲存路徑為indices/{index_uuid}/{shard_id}/translog/。Translog檔案（.tlog）以二進位格式儲存，採用Generation機制滾動管理：每次flush或檔案達到大小上限（預設512MB）時，建立新一代檔案。