Elasticsearch:elasticsearch-dumpによるデータ移行

前提条件

• ソース/宛先クラスター： Alibaba Cloud Elasticsearch クラスターが作成されていること。 詳細については、「Alibaba Cloud Elasticsearchクラスターの作成」をご参照ください。

• 自動インデックス作成： 宛先クラスターで自動インデックス作成が有効になっているか、事前にターゲットインデックスが手動で作成されている必要があります。 詳細については、「YMLファイルの設定」をご参照ください。

• 移行ノード： ツールを実行するために Elastic Compute Service (ECS) が必要です。

  • ECS インスタンスと Elasticsearch クラスターが同じ Virtual Private Cloud (VPC) 内にある場合は、内部エンドポイントを使用することで、より高速かつ無料でデータ転送を行えます。

  • 異なるリージョン/VPC にある場合は、パブリックエンドポイントを使用し、ECS の IP アドレスがクラスターのホワイトリストに追加されていることを確認してください。 詳細については、「IPアドレスホワイトリストの管理」をご参照ください。

elasticsearch-dumpのインストール

1. ECS インスタンスに接続します。

   詳細については、「パスワードまたはキーを使用したLinuxインスタンスへの接続」をご参照ください。

2. Node.js をインストールします。

   1. パッケージをダウンロードします：

      wget https://nodejs.org/dist/v16.18.0/node-v16.18.0-linux-x64.tar.xz

   2. 解凍して移動します：

      tar -xf node-v16.18.0-linux-x64.tar.xz

   3. 環境変数を設定します：

      • 一時的な設定 (現在のセッションのみ)：

        export PATH=$PATH:/root/node-v16.18.0-linux-x64/bin/

      • 永続的な設定 (シェルプロファイルに追加)：

        vim ~/.bash_profile
        export PATH=$PATH:/root/node-v16.18.0-linux-x64/bin/
        source ~/.bash_profile

3. elasticsearch-dump をインストールします：

   npm install elasticdump -g

使用例

elasticdump --input=<YourLocalFile> --output=http://"<UserName>:<YourPassword>"@<YourEsHost>/<YourEsIndex> --type=data

よくある質問とトラブルシューティング

[root@i-xxx ~]# elasticdump --input=http://"xxx.public.elasticsearch.aliyuncs.com:9200/customers --output=/root/customers.json --type=settings
Tue, 04 Jul 2023 08:42:53 GMT | starting dump
(node:25448) NOTE: We are formalizing our plans to enter AWS SDK for JavaScript (v2) into maintenance mode in 2023.

Please migrate your code to use AWS SDK for JavaScript (v3).
For more information, check the migration guide at https://a.co/7PzMCcy
(Use `node --trace-warnings ...` to show where the warning was created)
Tue, 04 Jul 2023 08:43:13 GMT | Error Emitted => getaddrinfo ENOTFOUND elastic
Tue, 04 Jul 2023 08:43:13 GMT | Error Emitted => getaddrinfo ENOTFOUND elastic
Tue, 04 Jul 2023 08:43:13 GMT | Total Writes: 0
Tue, 04 Jul 2023 08:43:13 GMT | dump ended with error (get phase) => Error: getaddrinfo ENOTFOUND elastic