:OSS を使用して自己管理 Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行する

手順

1. 手順 1: 準備

   自己管理 Elasticsearch クラスターを準備し、OSS バケットと Alibaba Cloud Elasticsearch クラスターを作成します。

2. 手順 2: elasticsearch-repository-oss プラグインをインストールする

   自己管理 Elasticsearch クラスターの各ノードに elasticsearch-repository-oss プラグインをインストールします。プラグインをインストールした後にのみ、自己管理 Elasticsearch クラスター用の OSS リポジトリを作成できます。

3. 手順 3: 自己管理 Elasticsearch クラスターのスナップショットリポジトリを作成する

   スナップショット API を呼び出して、自己管理 Elasticsearch クラスターのスナップショットリポジトリを作成します。

4. 手順 4: 特定のインデックスのスナップショットを作成する

   移行するインデックスのスナップショットを作成し、作成したスナップショットリポジトリにスナップショットを保存します。

5. 手順 5: Alibaba Cloud Elasticsearch クラスターに同じスナップショットリポジトリを作成する

   Alibaba Cloud Elasticsearch クラスターの Kibana コンソールで、スナップショット API を呼び出してクラスターのスナップショットリポジトリを作成します。スナップショットリポジトリは、自己管理 Elasticsearch クラスターのスナップショットリポジトリと同じ名前である必要があります。

6. 手順 6: 作成したスナップショットから Alibaba Cloud Elasticsearch クラスターにデータを復元する

   自己管理 Elasticsearch クラスターのスナップショットリポジトリにあるスナップショットから Alibaba Cloud Elasticsearch クラスターにデータを復元します。

7. 手順 7: 復元結果の表示

   復元されたインデックスとインデックス内のデータを表示します。

手順 1: 準備

1. 自己管理 Elasticsearch クラスターを準備します。

   詳細については、「Installing and Running Elasticsearch」をご参照ください。

   説明

   Alibaba Cloud Elasticsearch クラスターと同じ VPC 内の Alibaba Cloud Elastic Compute Service (ECS) インスタンスを使用して、自己管理 Elasticsearch クラスターをデプロイすることをお勧めします。自己管理サーバーを使用してクラスターをデプロイすると、ネットワーク接続の問題が発生する可能性があります。

   この例では、シングルノードの Elasticsearch V6.7.0 クラスターを使用します。実際の運用では、同じ VPC 内にある複数の ECS インスタンスを購入して、マルチノードの Elasticsearch クラスターをデプロイできます。ECS インスタンスの購入方法の詳細については、「カスタム起動タブでインスタンスを作成する」をご参照ください。

2. OSS を有効化し、自己管理 Elasticsearch クラスターをホストする ECS インスタンスが存在するリージョンにバケットを作成します。

   詳細については、「OSS の有効化」および「バケットの作成」をご参照ください。

   重要

   バケットのストレージタイプは標準である必要があります。Elasticsearch はアーカイブストレージタイプをサポートしていません。

3. 作成したバケットが存在するリージョンに Alibaba Cloud Elasticsearch クラスターを作成します。

   詳細については、「Alibaba Cloud Elasticsearch クラスターの作成」をご参照ください。

手順 2: elasticsearch-repository-oss プラグインをインストールする

1. 自己管理 Elasticsearch クラスターをホストする ECS インスタンスに接続します。

   詳細については、「パスワードまたはキーを使用して Linux インスタンスに接続する」をご参照ください。

   説明

   この例では、一般ユーザを使用します。

2. elasticsearch-repository-oss プラグインのインストールパッケージをダウンロードします。

   この例では、プラグインのバージョンは V6.7.0 で、JDK 11.0 以降が必要です。

   wget https://github.com/aliyun/elasticsearch-repository-oss/releases/download/v6.7.0/elasticsearch-repository-oss-6.7.0.zip

   説明

   別のバージョンの elasticsearch-repository-oss プラグインのインストールパッケージの入手方法の詳細については、「よくある質問」をご参照ください。

3. インストールパッケージを、ECS インスタンス上の自己管理 Elasticsearch クラスターのインストールパスにある plugins フォルダに解凍します。

   sudo unzip -d /usr/local/elasticsearch-6.7.0/plugins/elasticsearch-repository-oss elasticsearch-repository-oss-6.7.0.zip

   コマンドを使用してプラグインをインストールすることもできます。

   sudo ./bin/elasticsearch-plugin install file:///usr/local/elasticsearch-repository-oss-6.7.0.zip

4. 自己管理 Elasticsearch クラスターの各ノードを起動します。

   cd /usr/local/elasticsearch-6.7.0
   ./bin/elasticsearch -d

手順 3: 自己管理 Elasticsearch クラスターのスナップショットリポジトリを作成する

自己管理 Elasticsearch クラスターをホストする ECS インスタンスに接続し、次のコマンドを実行してスナップショットリポジトリを作成します。

sudo curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",  "access_key_id": "<yourAccesskeyId>",  "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'

成功した応答には "acknowledge":true が含まれます。

手順 4: 特定のインデックスのスナップショットを作成する

curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'

<yourBackupName> は、「手順 3: 自己管理 Elasticsearch クラスターでリポジトリを作成する」で作成したリポジトリの名前です。index1 と index2 は、バックアップするインデックスの名前です。成功した応答には "accepted" : true が含まれます。

スナップショットの作成中に、GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status コマンドを実行してスナップショットのステータスを表示できます。応答の state パラメーターが SUCCESS になると、スナップショットは完了です。

手順 5: Alibaba Cloud Elasticsearch クラスターに同じスナップショットリポジトリを作成する

1. Elasticsearch クラスターの Kibana コンソールにログインし、プロンプトに従って Kibana コンソールのホームページに移動します。

   Kibana コンソールへのログイン方法の詳細については、「Kibana コンソールへのログイン」をご参照ください。

   説明

   この例では、Elasticsearch V6.7.0 クラスターを使用します。他のバージョンのクラスターでの操作は異なる場合があります。コンソールでの実際の操作が優先されます。

2. 表示されたページの左側のナビゲーションウィンドウで、[Dev Tools] をクリックします。

3. 表示されたページの [コンソール] タブで、次のコマンドを実行して、自己管理 Elasticsearch クラスターのスナップショットリポジトリと同じ名前のスナップショットリポジトリを作成します。

   PUT _snapshot/<yourBackupName>
   {
       "type": "oss",
       "settings": {
           "endpoint": "oss-cn-hangzhou-internal.aliyuncs.com",
           "access_key_id": "<yourAccesskeyId>",
           "secret_access_key": "<yourAccesskeySecret>",
           "bucket": "<yourBucketName>",
           "compress": true
       }
   }

   <yourBackupName> と <yourBucketName> を、「手順 3: 自己管理 Elasticsearch クラスターのスナップショットリポジトリを作成する」で指定したリポジトリ名とバケット名に置き換えます。

手順 6: 作成したスナップショットから Alibaba Cloud Elasticsearch クラスターにデータを復元する

PUT _cluster/settings
{
  "persistent": {
    "cluster.restore.ignore_revision.enable": true
  }
}

POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}

成功した応答には "accepted" : true が含まれます。

POST _snapshot/es_backup/snapshot_1/_restore
{
  "indices":"index1",
  "rename_pattern": "index(.+)",
  "rename_replacement": "restored_index_$1"
}

手順 7: 復元結果の表示

よくある質問

Q: 別のバージョンの elasticsearch-repository-oss プラグインのインストールパッケージを入手するにはどうすればよいですか？