Elasticsearch:セルフマネージド Logstash クラスターを使用した Alibaba Cloud Elasticsearch クラスターへのデータ移行

手順 1： (オプション) ロールとユーザーの作成

セルフマネージド Logstash インスタンスが Elasticsearch クラスターにアクセスし、Kibana コンソールで Logstash の監視データを表示するには、Elasticsearch アカウントが必要です。組み込みの elastic ユーザーまたはカスタムユーザーのいずれかを使用できます。

手順 2：ECS インスタンスへの Logstash のインストール

1. ECS インスタンスに接続します。

   詳細については、「接続方法」をご参照ください。

2. Logstash インストールパッケージをダウンロードします。

   Elastic のウェブサイトにアクセスし、Elasticsearch クラスターと同じバージョンの Logstash インストールパッケージをダウンロードします。

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   説明

   Logstash V7.4 のコマンド：

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Logstash インストールパッケージを解凍します。

   この例では、Logstash V8.5.1 を使用します。

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

手順 3：Logstash パイプラインの設定と実行

1. Logstash ディレクトリに移動します。

   cd logstash-8.5.1

2. .conf ファイルを作成します。

   touch test.conf

3. test.conf ファイルを設定します。

   次のサンプルコードに設定例を示します。

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "http://<instanceId>.elasticsearch.aliyuncs.com:9200"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   パラメーター	説明
   path	ログファイルのパス。この例では、/var/log/messages を使用します。
   hosts	Alibaba Cloud Elasticsearch クラスターのエンドポイント。instanceId をお使いのインスタンスの ID に置き換えてください。例：http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。
   index	ログファイル内のデータが書き込まれるインデックスの名前。カスタム名を指定できます。
   user	Elasticsearch クラスターへのアクセスに使用するユーザー名。この例では、elastic を使用します。 重要 システムのセキュリティを確保するため、業務では elastic ユーザーではなくカスタムユーザーを使用することを推奨します。 ユーザー名は二重引用符 ("") で囲む必要があります。これにより、Logstash パイプラインの実行時に、ユーザー名に含まれる特殊文字による潜在的なエラーを回避できます。
   password	Elasticsearch クラスターへのアクセスに使用するパスワード。 重要 パスワードは二重引用符 ("") で囲む必要があります。これにより、Logstash パイプラインの実行時に、パスワードに含まれる特殊文字による潜在的なエラーを回避できます。

   Logstash はさまざまな入力、フィルター、出力プラグインを提供しています。データ転送は、これらのプラグインを簡単に設定するだけで行えます。詳細については、「設定ファイルの構造」をご参照ください。

4. Logstash パイプラインを実行します。

   bin/logstash -f test.conf

   コマンドが正常に実行されると、Logstash は監視対象のログファイルにデータが追加されるたびに、その変更を自動的に Elasticsearch クラスターに同期します。

手順 4：移行されたデータの表示

1. Elasticsearch クラスターの Kibana コンソールにログインします。

   詳細については、「Kibana コンソールへのログイン」をご参照ください。

2. 表示されるページの左上隅にある アイコンをクリックし、[管理] > [開発者ツール] を選択します。

3. 表示されるページの [コンソール] タブで、次のコマンドを実行します:

   GET /logstash-*/_search

手順 5： (オプション) Logstash ノードの監視

1. Logstash ディレクトリの config フォルダーに移動します。

   cd logstash-8.5.1/config

2. logstash.yml ファイルを設定します。

   1. logstash.yml ファイルを開きます。

      vim logstash.yml

   2. logstash.yml ファイルで、次の表に示すパラメーターのコメントアウトを解除し、パラメーターを設定します。

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      パラメーター	説明
      xpack.monitoring.enabled	このパラメーターを true に設定します。デフォルト値は false です。
      xpack.monitoring.elasticsearch.username	Logstash 監視用に作成したユーザーの名前。この例では、elastic ユーザーを使用します。 重要 システムのセキュリティを確保するため、業務では elastic ユーザーではなくカスタムユーザーを使用することを推奨します。
      xpack.monitoring.elasticsearch.password	Logstash 監視用に作成したユーザーのパスワード。
      xpack.monitoring.elasticsearch.hosts	Alibaba Cloud Elasticsearch クラスターのエンドポイント。例：http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。

3. Logstash ディレクトリに移動し、Logstash サービスを起動します。

   cd ../
   bin/logstash -f test.conf

4. Elasticsearch クラスターの Kibana コンソールにログインします。

   詳細については、「Kibana コンソールへのログイン」をご参照ください。

5. 表示されたページの左上隅にある アイコンをクリックし、[管理] > [スタックモニタリング] を選択します。

6. (任意) [ルールの作成] ダイアログボックスで、[OK] をクリックします。

7. [クラスター概要] ページで、Logstash モニタリングデータを表示します。