Elasticsearch:セルフマネージド Logstash クラスターを使用して、Alibaba Cloud Elasticsearch クラスターにデータを移行する

ステップ 1: (オプション) ロールとユーザーを作成する

セルフマネージド Logstash クラスターを Alibaba Cloud Elasticsearch クラスターに接続する場合、または Kibana コンソールで Logstash 監視データを表示する場合は、Elasticsearch ユーザーを使用する必要があります。 elastic ユーザーまたはカスタムユーザーを使用できます。

ステップ 2: ECS インスタンスに Logstash をインストールする

1. ECS インスタンスに接続します。

   詳細については、「ECS インスタンスに接続する」をご参照ください。

2. Logstash インストールパッケージをダウンロードします。

   Elastic Web サイト にアクセスし、Elasticsearch クラスターと同じバージョンの Logstash インストールパッケージをダウンロードします。

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz
   // Logstash V7.4 のコマンド: wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz
   

   説明

   Logstash V7.4 のコマンド:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Logstash インストールパッケージを解凍します。

   この例では、Logstash V8.5.1 を使用します。

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

ステップ 3: Logstash パイプラインを構成して実行する

1. Logstash ディレクトリに移動します。

   cd logstash-8.5.1

2. .conf ファイルを作成します。

   touch test.conf

3. test.conf ファイルを構成します。

   次のサンプルコードは、構成例を提供します。

   input {
       file {
           path => "/your/file/path/xxx" // ログファイルのパス。この例では、/var/log/messages が使用されます。
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>" // Elasticsearch クラスタのエンドポイント。 を Elasticsearch クラスタの ID に置き換えます。クラスタの [基本情報] ページでクラスタ ID を照会できます。例: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。
     	index => "<index-name>" // ログファイル内のデータが書き込まれるインデックスの名前。カスタム名を指定できます。
       user => "<user-name>" // Elasticsearch クラスタにアクセスするために使用されるユーザー名。この例では、elastic が使用されます。システムのセキュリティを確保するために、実際のビジネスでは elastic ユーザーではなくカスタムユーザーを使用することをお勧めします。ユーザー名は二重引用符("") で囲む必要があります。これにより、Logstash パイプラインを実行するときにユーザー名に特殊文字が含まれている場合に発生する可能性のあるエラーを回避できます。
       password => "<logstash-password>" // Elasticsearch クラスタにアクセスするために使用されるパスワード。パスワードは二重引用符("") で囲む必要があります。これにより、Logstash パイプラインを実行するときにパスワードに特殊文字が含まれている場合に発生する可能性のあるエラーを回避できます。
     }
   }

   パラメーター	説明
   path	ログファイルのパス。この例では、/var/log/messages を使用します。
   hosts	Elasticsearch クラスターのエンドポイント。 instanceId を Elasticsearch クラスターの ID に置き換えます。クラスタの [基本情報] ページで、クラスタ ID を照会できます。例: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。
   index	ログファイル内のデータが書き込まれるインデックスの名前。カスタム名を指定できます。
   user	Elasticsearch クラスターにアクセスするために使用されるユーザー名。 この例では、elastic を使用します。 重要 システムのセキュリティを確保するために、実際のビジネスでは elastic ユーザーではなくカスタムユーザーを使用することをお勧めします。 ユーザー名は二重引用符(") で囲む必要があります。これにより、Logstash パイプラインを実行するときにユーザー名に特殊文字が含まれている場合に発生する可能性のあるエラーを回避できます。
   password	Elasticsearch クラスターにアクセスするために使用されるパスワード。 重要 パスワードは二重引用符(") で囲む必要があります。これにより、Logstash パイプラインを実行するときにパスワードに特殊文字が含まれている場合に発生する可能性のあるエラーを回避できます。

   Logstash は、さまざまな入力、フィルター、および出力プラグインを提供します。データ転送のためにこれらのプラグインを簡単に構成するだけで済みます。詳細については、「構成ファイルの構造」をご参照ください。

4. Logstash パイプラインを実行します。

   bin/logstash -f test.conf

   コマンドが正常に実行されると、Logstash はログファイルの変更を自動的に検出し、変更を Elasticsearch クラスターに同期します。監視対象のログファイルにデータが追加されるたびに、Logstash は自動的にデータを Elasticsearch クラスターに同期します。

ステップ 4: 移行されたデータを表示する

1. Elasticsearch クラスターの Kibana コンソールにログオンします。

   詳細については、「Kibana コンソールにログオンする」をご参照ください。

2. 表示されるページの左上隅にある アイコンをクリックし、[管理] > [開発ツール] を選択します。

3. 表示されるページの [コンソール] タブで、次のコマンドを実行します。

   GET /logstash-*/_search

ステップ 5: (オプション) Logstash ノードを監視する

1. Logstash ディレクトリ内の config フォルダーに移動します。

   cd logstash-8.5.1/config

2. logstash.yml ファイルを構成します。

   1. logstash.yml ファイルを開きます。

      vim logstash.yml

   2. logstash.yml ファイルで、次の表にリストされているパラメーターの注釈を削除します。次に、パラメーターを構成します。

      xpack.monitoring.enabled:true // true に設定します。デフォルト値: false。
      xpack.monitoring.elasticsearch.username:"<user-name>" // Logstash 監視用に作成したユーザーの名前。この例では、elastic ユーザーが使用されます。システムのセキュリティを確保するために、実際のビジネスでは elastic ユーザーではなくカスタムユーザーを使用することをお勧めします。
      xpack.monitoring.elasticsearch.password:"<logstash-password>" // Logstash 監視用に作成したユーザーのパスワード。
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"] // Elasticsearch クラスタのエンドポイント。例: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。
      

      パラメーター	説明
      xpack.monitoring.enable	このパラメーターを true に設定します。デフォルト値: false。
      xpack.monitoring.elasticsearch.username	Logstash 監視用に作成したユーザーの名前。この例では、elastic ユーザーを使用します。 重要 システムのセキュリティを確保するために、実際のビジネスでは elastic ユーザーではなくカスタムユーザーを使用することをお勧めします。
      xpack.monitoring.elasticsearch.password	Logstash 監視用に作成したユーザーのパスワード。
      xpack.monitoring.elasticsearch.hosts	Elasticsearch クラスターのエンドポイント。例: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200。

3. Logstash ディレクトリに移動し、Logstash サービスを起動します。

   cd ../
   bin/logstash -f test.conf

4. Elasticsearch クラスターの Kibana コンソールにログオンします。

   詳細については、「Kibana コンソールにログオンする」をご参照ください。

5. 表示されるページの左上隅にある アイコンをクリックし、[管理] > [スタック監視] を選択します。

6. (オプション) [ルールの作成] ダイアログボックスで、[OK] をクリックします。

7. [クラスタの概要] ページで、Logstash 監視データを表示します。