Elasticsearch：將AWS ES中的索引遷移至阿里雲ES

準備源端AWS資源

• 建立AWS域。AWS OpenSearch Service已下線Elasticsearch 7.1.0.0等早期版本，請以控制台當前可選版本為準（本文以Elasticsearch 7.10.2為例），地區可任選（本文以us-east-1為例）。具體操作請參見建立Amazon OpenSearch Service域。

  說明

  如果該域啟用了精細存取控制（Fine-grained access control）且主使用者類型為IAM，或存取原則僅允許IAM主體（如es:ESHttp*僅授權給帳號根使用者），則無法直接用瀏覽器登入該域的Kibana控制台，會返回403 User: anonymous is not authorized to perform: es:ESHttpGet。此時請統一使用帶AWS簽名（SigV4）的方式執行本文中AWS側的各條命令，例如複用步驟二中的Python用戶端。

• 建立AWS S3儲存空間，用於存放手動快照，並記錄其AWS資源名稱（ARN）。該ARN在兩處會用到：IAM策略的Resource語句、註冊快照存放庫的Python用戶端。

  ARN樣本如下。

  arn:aws:s3:::eric-es-index-backups

• 在AWS ES中準備待遷移的索引，本文樣本索引名稱為movies。

建立IAM角色與策略

IAM角色用於為AWS ES授權訪問S3儲存空間，IAM策略用於限定該角色可執行檔操作，兩者需配套建立並綁定。

• 建立IAM角色，用於為AWS ES授權。註冊快照存放庫時需使用該角色，且只有具備該角色存取權限的IAM使用者才能註冊。

  該角色信任關係中的Service語句必須指定為es.amazonaws.com，如下所示。

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Sid": "",
        "Effect": "Allow",
        "Principal": {
          "Service": "es.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
      }
    ]
  }

  在IAM控制台左側導覽列選擇Roles，找到目標角色後單擊Trust relationships頁簽，再單擊Edit trust relationship，即可查看和編輯信任策略。

  說明

  在IAM控制台建立AWS服務角色時，Select role type下拉式清單中不包含AWS ES。可先選擇AWS EC2完成角色建立，再將ec2.amazonaws.com修改為es.amazonaws.com。

• 建立IAM策略並附加給上述IAM角色，用於限定該角色可對S3儲存空間執行的操作。

  策略的Resource語句中需指定存放快照的S3儲存空間ARN。以下樣本指定了儲存空間eric-es-index-backups。

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Action": [
                  "s3:ListBucket"
              ],
              "Effect": "Allow",
              "Resource": [
                  "arn:aws:s3:::eric-es-index-backups"
              ]
          },
          {
              "Action": [
                  "s3:GetObject",
                  "s3:PutObject",
                  "s3:DeleteObject"
              ],
              "Effect": "Allow",
              "Resource": [
                  "arn:aws:s3:::eric-es-index-backups/*"
              ]
          }
      ]
  }

  建立完成後可在IAM控制台核對：左側導覽列選擇Policies，單擊策略名稱稱進入詳情頁，在Permissions頁簽的JSON視圖中確認策略內容與上述樣本一致，Policy summary中顯示該策略對S3授予Limited: List, Read, Write存取層級。

  再在左側導覽列單擊Roles，選擇目標角色，在Permissions頁簽下確認策略已附加成功。

準備目標端阿里雲資源

• 建立Elasticsearch執行個體，地區為杭州，版本不低於源端AWS ES的具體小版本（源端為7.10.2時選擇7.16.2）。具體操作請參見建立Elasticsearch執行個體。

• 建立OSS Bucket，用於接收從S3遷移過來的快照資料。本文使用的Bucket地區為華東1（杭州）、儲存類型為標準儲存、讀寫權限為私人，其他參數保持預設，具體操作請參見建立儲存空間。

準備註冊指令碼

1. 下載register_snapshot_repository.py檔案。

2. 修改指令碼中注釋標註的參數值，並另存新檔snapshot.py。

   各參數說明如下。

   變數名	描述
   region	建立快照存放庫所在的AWS地區。
   host	AWS ES域的訪問地址。
   aws_access_key_id	IAM憑證ID。
   aws_secret_access_key	IAM憑證Key。
   service	簽名使用的AWS服務識別，Amazon OpenSearch Service（含Elasticsearch版本）固定為es。
   url	註冊快照存放庫的請求地址，格式為https://{host}/_snapshot/{倉庫名稱}，其中倉庫名稱需與後續建立、恢複快照時使用的名稱保持一致。
   payload	必須包含上文步驟一：準備遷移所需資源中，為IAM角色建立的S3儲存空間的名字和ARN。 重要 建議在settings中增加"base_path": "<自訂首碼>"，讓本執行個體的快照檔案集中存放在該首碼下，避免與同一S3儲存空間中其他執行個體的快照混用同一路徑（詳見下文常見問題中的倉庫唯一性說明）。請記錄該首碼，後續在阿里雲ES中註冊OSS倉庫時，base_path必須與快照資料移轉到OSS後的實際首碼保持一致。 如果要為快照存放庫啟用S3託管密鑰的伺服器端加密，請將 "server_side_encryption": true添加到settings JSON中。 如果S3儲存空間在ap-southeast-1地區，請使用"endpoint": "s3.amazonaws.com"替代"region": "ap-southeast-1"。

安裝依賴並執行註冊

1. 安裝樣本Python用戶端所需的依賴。

   樣本Python用戶端使用requests發送請求、使用requests-aws4auth完成AWS簽名，請在執行註冊操作的機器上（Python 3環境）安裝這兩個依賴。

   pip install requests requests_aws4auth

2. 執行Python用戶端，註冊快照存放庫。執行成功後返回HTTP狀態代碼200及{"acknowledged" : true}。

   python snapshot.py

驗證註冊結果

1. 進入對應AWS ES的Kibana控制台，在Dev Tools頁面的Console中，執行以下命令，查看請求結果。如果該域啟用了精細存取控制或存取原則僅允許IAM主體，導致無法登入Kibana，請改用帶簽名的方式（如複用上述Python用戶端，把要求方法改為GET）執行同樣的命令。

   GET _snapshot

   執行該命令後，返回登入的快照倉庫配置資訊。其中系統自動建立的倉庫名為cs-automated；若該域開啟了靜態加密，則為cs-automated-enc。

   {
     "eric-snapshot-repository": {
       "type": "s3",
       "settings": {
         "bucket": "eric-es-index-backups",
         "base_path": "eric-aws",
         "region": "us-east-1",
         "role_arn": "arn:aws:iam::xxx:role/eric-iam-role-es"
       }
     },
     "cs-automated-enc": {
       "type": "s3"
     }
   }

在AWS ES中建立全量快照

• 為在eric-snapshot-repository存放庫中的movies索引，建立名稱為snapshot_movies_1的快照。

  PUT _snapshot/eric-snapshot-repository/snapshot_movies_1
  {
  "indices": "movies"
  }

• 查看快照狀態，state為SUCCESS表示快照建立完成。

  GET _snapshot/eric-snapshot-repository/snapshot_movies_1

  {
    "snapshots": [
      {
        "snapshot": "snapshot_movies_1",
        "uuid": "BlgKLvgoSpSgwBnbD4hIWg",
        "version_id": 7100299,
        "version": "7.10.2",
        "indices": [
          "movies"
        ],
        "data_streams": [],
        "include_global_state": true,
        "state": "SUCCESS",
        "start_time": "2018-02-28T03:00:44.591Z",
        "start_time_in_millis": 1519786844591,
        "end_time": "2018-02-28T03:00:46.236Z",
        "end_time_in_millis": 1519786846236,
        "duration_in_millis": 1645,
        "failures": [],
        "shards": {
          "total": 5,
          "failed": 0,
          "successful": 5
        }
      }
    ]
  }

• 在AWS S3控制台確認快照檔案已產生。

  快照建立成功後，在S3儲存桶eric-es-index-backups中可以看到產生的快照檔案，包括indices檔案夾、index-0、index.latest、meta-BlgKLvgoSpSgwBhbD4hTWg.dat和snap-BlgKLvgoSpSgwBhbD4hTWg.dat等檔案。

將快照資料移轉至阿里雲OSS

從AWS S3提取快照資料至阿里雲OSS，詳細操作方法請參見從Amazon S3上的應用無縫切換至OSS。

遷移完成後，在OSS控制台確認快照資料已到位。

OSS儲存桶中可看到以下快照檔案：indices/（檔案夾）、index-0、index.latest、meta-BlgKLvgoSpSgwBhbD4hTWg.dat和snap-BlgKLvgoSpSgwBhbD4hTWg.dat。

在阿里雲ES中註冊OSS快照存放庫

1. 建立快照存放庫。

   重要

   在進行Elasticsearch快照遷移過程中，必須確保每個Elasticsearch執行個體使用獨立的快照倉庫或路徑。多執行個體共用同一倉庫將導致資料無法恢複，造成資料丟失風險。

   進入目標Elasticsearch執行個體的Kibana控制台（登入Kibana控制台），在Dev Tools頁面的Console中，執行如下命令建立一個同名的快照存放庫。其中base_path必須與快照資料移轉到OSS後的實際首碼一致（若AWS側倉庫未設定base_path、快照檔案位於儲存空間根目錄，則此處也不要設定base_path）。

   PUT _snapshot/eric-snapshot-repository
   {
   "type": "oss",
   "settings": {
               "base_path": "my/snapshot/directory",
               "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
               "access_key_id": "your AccessKeyID",
               "secret_access_key": "your AccessKeySecret",
               "bucket": "eric-oss-aws-es-snapshot-s3",
               "compress": true
         }
   }

2. 查看名稱為snapshot_movies_1的快照狀態。

   GET _snapshot/eric-snapshot-repository/snapshot_movies_1

   返回結果中state為SUCCESS，表示Elasticsearch已能從OSS存放庫中讀到該快照。如果返回snapshot_missing_exception，請檢查base_path是否與快照資料在OSS中的實際首碼一致。

   說明

   記錄本次快照的起始時間和結束時間，遷移增量快照資料時需要用到。例如：

   • “start_time_in_millis”: 1519786844591

   • “end_time_in_millis”: 1519786846236

恢複索引並核對資料

在Elasticsearch的Kibana控制台執行以下命令恢複快照。

POST _snapshot/eric-snapshot-repository/snapshot_movies_1/_restore
{
    "indices": "movies"
}

GET movies/_recovery

在 AWS ES 中建立增量快照

1. 在AWS ES的movies索引中寫入增量資料。

   本文樣本中新寫入2條文檔，寫入後movies索引共5條文檔，_id分別為1～5。執行GET movies/_count可查看當前文檔數量，用於後續與目標端核對。

2. 建立增量快照。

   執行以下命令手動建立快照，詳情請參見上文的在AWS ES中建立全量快照。

   PUT _snapshot/eric-snapshot-repository/snapshot_movies_2
   {
   "indices": "movies"
   }

   建立成功後，執行以下命令查看快照狀態。

   GET _snapshot/eric-snapshot-repository/snapshot_movies_2

   在AWS S3控制台查看新增的快照檔案。

   S3儲存空間中會列出快照倉庫的全部檔案，其中與snapshot_movies_2對應的新增檔案為snap-CWhlF7ShQZaKQlJasPE70A.dat、index.latest、index-1和meta-CWhlF7ShQZaKQlJasPE70A.dat。

遷移增量快照資料至阿里雲OSS

從AWS S3提取增量快照資料至阿里雲OSS，仍使用OSSImport工具遷移。此時S3儲存空間中已包含首次快照的檔案，建議在設定檔local_job.cfg中將isSkipExistFile設定為true，僅遷移新增的快照檔案。

isSkipExistFile為布爾類型，預設值為false，表示覆蓋已有對象；設定為true時，根據對象的size和LastModifiedTime跳過已遷移的對象。當jobType為audit時該配置無效。

遷移完成後，OSS中會出現本次新增的快照檔案。

新增檔案為index-1、index.latest、meta-CWhIF7ShQZaKQUasPE70A.dat和snap-CWhIF7ShQZaKQUasPE70A.dat。

恢複增量快照並切換業務流量

恢複完成後，執行GET movies/_count核對文檔數量。本文樣本中目標端返回5，與源端AWS ES一致，此時可將業務流量切換至Elasticsearch執行個體。