Elasticsearch:Amazon OpenSearch インデックスの Alibaba Cloud Elasticsearch への移行

移行元 AWS リソースの準備

• AWS ドメインを作成します。Amazon OpenSearch Service では、7.1.0.0 などの初期の Elasticsearch バージョンは廃止されています。コンソールで現在利用可能なバージョンのいずれかを使用してください。このトピックでは、Elasticsearch 7.10.2 を例として使用します。任意のリージョンを使用できます。このトピックでは us-east-1 を使用します。詳細については、「Amazon OpenSearch Service ドメインの作成と管理」をご参照ください。

  説明

  ドメインで、きめ細かなアクセス制御が有効になっており、マスターユーザーのタイプが IAM である場合、またはドメインのアクセスポリシーが IAM プリンシパルのみを許可している場合 (たとえば、es:ESHttp* がアカウントのルートユーザーにのみ付与されている場合など)、ブラウザーからドメインの Kibana コンソールにログオンできません。リクエストは 403 エラー User: anonymous is not authorized to perform: es:ESHttpGet を返します。この場合は、このトピックのすべての AWS 側のコマンドを、AWS Signature Version 4 (SigV4) で署名されたリクエストとして実行してください。たとえば、ステップ2で説明されている Python クライアントを再利用します。

• 手動スナップショットを保存する AWS S3 バケットを作成し、バケットの Amazon リソースネーム (ARN) を記録してください。ARN は、IAM ポリシーの Resource ステートメントと、スナップショットリポジトリを登録する Python クライアントの 2 か所で使用されます。

  次の例は ARN を示しています。

  arn:aws:s3:::eric-es-index-backups

• AWS ES で移行するインデックスを準備します。このトピックでは、movies という名前のインデックスを使用します。

IAM ロールと IAM ポリシーの作成

IAM ロールは AWS ES に S3 バケットへのアクセスを許可し、IAM ポリシーはロールが実行できるアクションを制限します。両方を作成し、ポリシーをロールにアタッチする必要があります。

• AWS ES に権限を付与する IAM ロールを作成します。このロールは、スナップショットリポジトリを登録する際に必要であり、このロールを引き受ける権限を持つ IAM ユーザーのみがリポジトリを登録できます。

  ロールの信頼関係の Service ステートメントは、次の例に示すように es.amazonaws.com に設定する必要があります。

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Sid": "",
        "Effect": "Allow",
        "Principal": {
          "Service": "es.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
      }
    ]
  }

  IAM コンソールで、左側のナビゲーションペインで [ロール] を選択し、対象のロールを見つけ、[信頼関係] タブをクリックし、次に [信頼関係の編集] をクリックして信頼ポリシーを表示および編集します。

  説明

  IAM コンソールで AWS サービスのロールを作成する際、[ロールタイプの選択] ドロップダウンリストに AWS ES は表示されません。[AWS EC2] を選択してロールを作成し、ec2.amazonaws.com を es.amazonaws.com に変更します。

• IAM ポリシーを作成し、先ほどの IAM ロールにアタッチして、ロールが S3 バケットで実行できるアクションを制限します。

  ポリシーの Resource ステートメントでは、スナップショットを保存する S3 バケットの ARN を指定する必要があります。次の例では、eric-es-index-backups バケットを指定しています。

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Action": [
                  "s3:ListBucket"
              ],
              "Effect": "Allow",
              "Resource": [
                  "arn:aws:s3:::eric-es-index-backups"
              ]
          },
          {
              "Action": [
                  "s3:GetObject",
                  "s3:PutObject",
                  "s3:DeleteObject"
              ],
              "Effect": "Allow",
              "Resource": [
                  "arn:aws:s3:::eric-es-index-backups/*"
              ]
          }
      ]
  }

  ポリシーの作成後、IAM コンソールで、左側のナビゲーションペインで [ポリシー] を選択し、ポリシー名をクリックして詳細ページを開き、[権限] タブの JSON ビューでポリシーの内容が前述の例と一致することを確認します。[ポリシーの概要] は、ポリシーが S3 への限定：一覧表示、読み取り、書き込みアクセスを許可することを示します。

  次に、左側のナビゲーションペインで[ロール]をクリックし、対象のロールを選択して、[権限]タブでポリシーがアタッチされていることを確認します。

移行先 Alibaba Cloud リソースの準備

• 中国 (杭州) リージョンで Alibaba Cloud Elasticsearch クラスターを作成します。クラスターのバージョンは、移行元の AWS ES クラスターの正確なパッチバージョン以降である必要があります。移行元クラスターが 7.10.2 を実行している場合は、7.16.2 を選択してください。詳細については、「Alibaba Cloud Elasticsearch クラスターの作成」をご参照ください。

• AWS S3 から転送されるスナップショットデータを受信する OSS バケットを作成します。このトピックで使用するバケットは、中国 (杭州) リージョンにあり、Standard ストレージクラスとプライベート ACL を使用し、その他すべてのパラメーターはデフォルト値を保持します。詳細については、「バケットの作成」をご参照ください。

登録スクリプトの準備

1. register_snapshot_repository.py ファイルをダウンロードします。

2. スクリプト内のコメントでマークされているパラメーター値を変更し、スクリプトを snapshot.py として保存してください。

   次の表にパラメーターを示します。

   パラメーター	説明
   region	スナップショットリポジトリが作成される AWS リージョン。
   host	AWS ES ドメインのエンドポイント。
   aws_access_key_id	IAM 認証情報の ID。
   aws_secret_access_key	IAM 認証情報のキー。
   service	署名に使用される AWS サービス識別子。Elasticsearch バージョンを含む Amazon OpenSearch Service の場合、値は常に es です。
   url	スナップショットリポジトリを登録するリクエスト URL。https://{host}/_snapshot/{repository-name} の形式です。リポジトリ名は、スナップショットの作成と復元時に使用する名前と同じである必要があります。
   payload	「ステップ1：移行リソースの準備」で IAM ロール用に作成した S3 バケットの名前と ARN を含める必要があります。 重要 設定に "base_path": "<custom-prefix>" を追加して、このクラスターのスナップショットファイルが指定されたプレフィックス配下に保存され、同じ S3 バケット内の他のクラスターのスナップショットとパスを共有しないようにすることを推奨します。詳細については、FAQ セクションのリポジトリの一意性の説明をご参照ください。プレフィックスを記録してください。Alibaba Cloud Elasticsearch で OSS リポジトリを登録する際に指定する base_path 値は、OSS 内のスナップショットデータの実際のプレフィックスと一致させる必要があります。 スナップショットリポジトリに対して S3 管理キーを使用したサーバー側の暗号化を有効にするには、設定 JSON に "server_side_encryption": true を追加します。 S3 バケットが ap-southeast-1 リージョンにある場合は、"endpoint": "s3.amazonaws.com" を使用し、"region": "ap-southeast-1" は使用しないでください。

依存関係のインストールと登録の実行

1. サンプル Python クライアントが必要とする依存関係をインストールします。

   サンプル Python クライアントは、requests を使用してリクエストを送信し、requests-aws4auth を使用してリクエストに署名します。Python 3 環境で、登録を実行するマシンに両方の依存関係をインストールしてください。

   pip install requests requests_aws4auth

2. Python クライアントを実行して、スナップショットリポジトリを登録します。登録が成功すると、HTTP ステータスコード 200 と {"acknowledged" : true} が返されます。

   python snapshot.py

登録結果の確認

1. AWS ES ドメインの Kibana コンソールにログオンし、[Dev Tools] > [Console] ページで次のコマンドを実行して結果を表示します。 ドメインできめ細かなアクセスコントロールが有効になっている場合、またはアクセスポリシーで IAM プリンシパルのみが許可されていて Kibana にログオンできない場合は、同じコマンドを署名付きリクエストとして実行します。 たとえば、前述の Python クライアントを再利用して、リクエストメソッドを GET に変更します。

   GET _snapshot

   レスポンスには、登録されたスナップショットリポジトリの設定が返されます。システムが自動的に作成するリポジトリの名前は cs-automated です。ドメインで保管時の暗号化が有効になっている場合、リポジトリの名前は cs-automated-enc です。

   {
     "eric-snapshot-repository": {
       "type": "s3",
       "settings": {
         "bucket": "eric-es-index-backups",
         "base_path": "eric-aws",
         "region": "us-east-1",
         "role_arn": "arn:aws:iam::xxx:role/eric-iam-role-es"
       }
     },
     "cs-automated-enc": {
       "type": "s3"
     }
   }

AWS ES でのフルスナップショットの作成

• eric-snapshot-repository リポジトリに、movies インデックスのスナップショットとして snapshot_movies_1 を作成します。

  PUT _snapshot/eric-snapshot-repository/snapshot_movies_1
  {
  "indices": "movies"
  }

• スナップショットのステータスを確認します。state が SUCCESS の場合、スナップショットの作成が完了しています。

  GET _snapshot/eric-snapshot-repository/snapshot_movies_1

  {
    "snapshots": [
      {
        "snapshot": "snapshot_movies_1",
        "uuid": "BlgKLvgoSpSgwBnbD4hIWg",
        "version_id": 7100299,
        "version": "7.10.2",
        "indices": [
          "movies"
        ],
        "data_streams": [],
        "include_global_state": true,
        "state": "SUCCESS",
        "start_time": "2018-02-28T03:00:44.591Z",
        "start_time_in_millis": 1519786844591,
        "end_time": "2018-02-28T03:00:46.236Z",
        "end_time_in_millis": 1519786846236,
        "duration_in_millis": 1645,
        "failures": [],
        "shards": {
          "total": 5,
          "failed": 0,
          "successful": 5
        }
      }
    ]
  }

• AWS S3 コンソールで、スナップショットファイルが生成されていることを確認してください。

  スナップショットの作成後、S3 バケット eric-es-index-backups には、生成されたスナップショットファイル (indices フォルダー、index-0、index.latest、meta-BlgKLvgoSpSgwBnbD4hIWg.dat、および snap-BlgKLvgoSpSgwBnbD4hIWg.dat) が格納されます。

スナップショットデータの Alibaba Cloud OSS への転送

スナップショットデータを AWS S3 から Alibaba Cloud OSS へ転送します。詳細については、「Amazon S3 から OSS へアプリケーションを移行する」をご参照ください。

転送が完了したら、OSS コンソールでスナップショットデータが配置されていることを確認してください。

OSS バケットには、次のスナップショットファイルが格納されています：indices/ (フォルダー)、index-0、index.latest、meta-BlgKLvgoSpSgwBnbD4hIWg.dat、および snap-BlgKLvgoSpSgwBnbD4hIWg.dat。

Alibaba Cloud Elasticsearch での OSS スナップショットリポジトリの登録

1. スナップショットリポジトリを作成します。

   Elasticsearch スナップショットの移行時には、各 Elasticsearch クラスターが専用のスナップショットリポジトリまたはパスを使用するようにする必要があります。複数のクラスターが同じリポジトリを共有すると、データの復元が失敗したり、データが失われたりする可能性があります。

   移行先の Alibaba Cloud Elasticsearch クラスターの Kibana コンソールにログイン (Kibana コンソールへのログイン) し、[Dev Tools] > [Console] ページで次のコマンドを実行して、同じ名前のスナップショットリポジトリを作成します。 base_path の値は、データが OSS に転送された後のスナップショットデータの実際のプレフィックスと同じである必要があります。 AWS 側のリポジトリで base_path が設定されておらず、かつスナップショットファイルがバケットのルートディレクトリにある場合は、こちらでも base_path を設定しないでください。

   PUT _snapshot/eric-snapshot-repository
   {
   "type": "oss",
   "settings": {
               "base_path": "my/snapshot/directory",
               "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
               "access_key_id": "your AccessKeyID",
               "secret_access_key": "your AccessKeySecret",
               "bucket": "eric-oss-aws-es-snapshot-s3",
               "compress": true
         }
   }

2. snapshot_movies_1 という名前のスナップショットのステータスを確認します。

   GET _snapshot/eric-snapshot-repository/snapshot_movies_1

   レスポンスの state が SUCCESS の場合、Alibaba Cloud Elasticsearch は OSS リポジトリからスナップショットを読み取れることを意味します。snapshot_missing_exception が返される場合は、base_path が OSS 内のスナップショットデータの実際のプレフィックスと一致しているか確認してください。

   説明

   このスナップショットの開始時刻と終了時刻を記録してください。これらの値は、増分スナップショットデータを移行する際に必要になります。例：

   • "start_time_in_millis": 1519786844591

   • "end_time_in_millis": 1519786846236

インデックスの復元とデータの確認

Alibaba Cloud Elasticsearch クラスターの Kibana コンソールで次のコマンドを実行して、スナップショットを復元します。

POST _snapshot/eric-snapshot-repository/snapshot_movies_1/_restore
{
    "indices": "movies"
}

GET movies/_recovery

Alibaba Cloud Elasticsearch クラスターの Kibana コンソールでデータを検証するには、[Discover] ページで [movies] インデックスを選択します。この例では、復元後にソースクラスターと同じ 3 つのドキュメント (The Manchurian Candidate、Mars Attacks!、U.S. Marshals) が返されます。

Create an incremental snapshot in AWS ES

1. Write incremental data to the movies index in AWS ES.

   In this example, 2 documents are written. After the write operation, the movies index contains 5 documents whose _id values are 1 to 5. Run GET movies/_count to check the current number of documents, which is used for comparison with the destination cluster.

2. Create the incremental snapshot.

   Run the following command to manually create a snapshot. For more information, see Create a full snapshot in AWS ES.

   PUT _snapshot/eric-snapshot-repository/snapshot_movies_2
   {
   "indices": "movies"
   }

   After the snapshot is created, run the following command to check the snapshot status.

   GET _snapshot/eric-snapshot-repository/snapshot_movies_2

   View the new snapshot files in the AWS S3 console.

   The S3 bucket lists all files of the snapshot repository. The new files that correspond to snapshot_movies_2 are snap-CWhlF7ShQZaKQlJasPE70A.dat, index.latest, index-1, and meta-CWhlF7ShQZaKQlJasPE70A.dat.

Transfer the incremental snapshot data to Alibaba Cloud OSS

Transfer the incremental snapshot data from AWS S3 to Alibaba Cloud OSS by using ossimport. The S3 bucket already contains the files of the first snapshot. We recommend that you set isSkipExistFile to true in the local_job.cfg configuration file to transfer only the new snapshot files.

isSkipExistFile is a boolean parameter. The default value false indicates that existing objects are overwritten. If the value is true, the objects that are already migrated are skipped based on the size and LastModifiedTime values of the objects. This parameter does not take effect when jobType is audit.

After the transfer is complete, the new snapshot files appear in OSS.

The new files are index-1, index.latest, meta-CWhIF7ShQZaKQUasPE70A.dat, and snap-CWhIF7ShQZaKQUasPE70A.dat.

Restore the incremental snapshot and switch service traffic

After the restoration is complete, run GET movies/_count to verify the number of documents. In this example, the destination cluster returns 5, which is the same as the source AWS ES cluster. You can then switch service traffic to the Alibaba Cloud Elasticsearch cluster.