Elasticsearch:Elastic Agent を使用した NetFlow ログの収集

• Alibaba Cloud Elasticsearch クラスターを作成します。詳細については、「Alibaba Cloud Elasticsearch クラスターの作成」をご参照ください。このトピックでは、Elasticsearch 8.5 クラスターを例として使用します。

• Elastic Compute Service (ECS) インスタンスを作成します。インスタンスは、Elasticsearch クラスターと同じ Virtual Private Cloud (VPC) 内にある必要があります。詳細については、「ウィザードを使用したインスタンスの作成」をご参照ください。

  説明

  ECS インスタンスは、Elastic Agent が NetFlow データを収集するソースサーバーとして機能します。

ステップ1：エージェントポリシーの作成

1. Kibana コンソールにログインします。詳細については、「Kibana コンソールへのログイン」をご参照ください。

2. > [Management] > [Fleet] に移動します。

3. [Fleet] ページで、[Agent policies] タブをクリックします。

4. [Create agent policy] をクリックし、表示されるパネルでエージェントポリシーを設定します。

   1. 名前 に netflow-log と入力します。

   2. [Collect system logs and metrics] チェックボックスをオフにします。

   3. 詳細設定 をクリックします。[Agent monitoring] で、[Collect agent logs] と [Collect agent metrics] チェックボックスをオフにします。

      説明

      このシナリオでは、NetFlow Records のみを収集する必要があるため、システムログ、メトリクス、およびエージェントモニタリングデータの収集を無効にできます。

5. 完了したら、右下隅にある [Create agent policy] をクリックします。

ステップ2：Fleet Server インテグレーションの作成

1. [Fleet] ページの [Agent policies] タブで、エージェントポリシー netflow-log をクリックします。

2. 統合 タブで、[Add integration] をクリックします。

3. [Browse integrations] タブで、Fleet Server を検索してクリックします。

4. Fleet Server インテグレーションをインストールします。

   1. [Fleet Server] ページで、設定 タブをクリックします。

   2. [Install Fleet Server assets] をクリックし、表示されるダイアログボックスで [Install Fleet Server] をクリックします。

      説明

      インテグレーションがインストールされると、[Settings] タブにバージョンが表示されます。

5. ページの右上隅にある [Add Fleet Server] をクリックします。

6. [Add Fleet Server integration] ページで、インテグレーションの名前を入力し、エージェントポリシー netflow-log を選択します。

7. 右下隅にある [Save and continue] をクリックします。表示されるダイアログボックスで、[Add Elastic Agent later] をクリックします。

ステップ3：NetFlow Records インテグレーションの作成

1. netflow-log エージェントポリシーの 統合 タブで、[Add integration] をクリックします。

2. [Browse integrations] タブで、NetFlow Records を検索してクリックします。

3. NetFlow Records インテグレーションをインストールします。

   1. [NetFlow Records] ページで、設定 タブをクリックします。

   2. [Install NetFlow Records assets] をクリックし、表示されるダイアログボックスで [Install NetFlow Records] をクリックします。

      説明

      インテグレーションがインストールされると、[Settings] タブにバージョンが表示されます。

4. ページの右上隅にある [Add NetFlow Records] をクリックします。

5. [Add NetFlow Records integration] ページで、インテグレーションを設定します。

   1. インテグレーション設定 で、[Integration name] に netflow-1 を入力します。

   2. [Collect NetFlow logs] の横にある [Change defaults] をクリックします。UDP リスニングアドレスとして 0.0.0.0 を入力し、UDP ポートはデフォルトの 2055 のままにします。

   3. [Where to add this integration] の [Existing hosts] タブで、エージェントポリシー netflow-log を選択します。

6. 完了したら、右下隅にある [Save and continue] をクリックします。表示されるダイアログボックスで、[Add Elastic Agent later] をクリックします。

ステップ1：Fleet Server ホストの設定

1. Kibana コンソールにログインします。詳細については、「Kibana コンソールへのログイン」をご参照ください。

2. > [Management] > [Fleet] に移動します。

3. [Fleet] ページで、設定 タブをクリックします。

   1. [Fleet Server hosts] で、ホストの編集 をクリックします。

   2. [Fleet Server hosts] パネルで、ソースサーバーのプライベート IP アドレスを https://<private_ip>:<port> 形式で入力します (例: https://172.16.*.***:8220)。

      説明

      このトピックでは、プライベート IP アドレスは ECS インスタンスのプライマリプライベート IP アドレスです。設定の詳細については、「Fleet Server ホスト」をご参照ください。

   3. 出力 セクションの Actions 列で、編集アイコン () をクリックします。

   4. [Edit output] パネルで、Alibaba Cloud Elasticsearch クラスターのプライベート IP アドレスを http://<private_address>:<port> 形式で入力します (例: http://es-cn-xxx.elasticsearch.aliyuncs.com:9200)。

   5. [Save and apply settings] をクリックし、表示されるダイアログボックスで 保存とデプロイ をクリックします。

ステップ2：Elastic Agent の追加

Elastic Agent を Fleet Server に追加します。

1. > [Management] > [Fleet] に移動します。

2. [Agent policies] タブをクリックします。

3. netflow-log エージェントポリシーの Actions 列で、 > [Add agent] を選択します。

4. [Add agent] パネルの [Enroll in Fleet Server] で、デフォルトのエージェントポリシーが netflow-log であることを確認します。

5. [Choose a security deployment mode] で、デフォルトの選択である [Quick start] のままにします。

6. [Add Fleet Server host] で、右側の モニターホストを追加 をクリックします。

7. [Generate service token] で、[Generate service token] をクリックします。

8. [Install Fleet Server to a centralized host] で、自動生成されたコードブロックをコピーし、ECS インスタンスで実行します。

   curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.5.1-linux-x86_64.tar.gz
   tar xzvf elastic-agent-8.5.1-linux-x86_64.tar.gz
   cd elastic-agent-8.5.1-linux-x86_64
   sudo ./elastic-agent install \
       --fleet-server-es=http://es-cn-xxx.elasticsearch.aliyuncs.com:9200 \
       --fleet-server-service-token=AAEAAWVsYXN0aWMvZmxlZXQtc2VydmVyL3Rva2xxx \
       --fleet-server-policy=e4b6f6b0-1ef9-11ee-xxx

   コマンドが完了すると、Successfully を含むメッセージが表示され、Elastic Agent が ECS インスタンスにインストールされて実行中であることが確認されます。

ステップ3：NetFlow サービスの設定

この例では、softflowd を使用して NetFlow ログを生成します。ECS インスタンスで次のコマンドを実行して、softflowd をインストールし、起動します。

1. softflowd ソースパッケージをダウンロードします。

   wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/softflowd/softflowd-0.9.9.tar.gz

2. libpcap-devel 依存関係をインストールします。

   yum install libpcap-devel

3. softflowd をコンパイルしてインストールします。

   tar -xvf softflowd-0.9.9.tar.gz
   cd softflowd-0.9.9
   ./configure 
   make
   make install

4. softflowd を実行します。

   nohup softflowd -v 9 -D -i eth0 -t maxlife=1 -n localhost:2055 >/dev/null 2>&1 &