Elasticsearch:Elastic Agent を使用したカスタムログデータの収集

Elasticsearch クラスターの Kibana コンソールにログインします。手順については、「Kibana コンソールへのログイン」をご参照ください。

左上隅の アイコンをクリックし、左側のナビゲーションウィンドウで [管理] > [フリート] を選択します。

[Fleet] ページで、[エージェントポリシー] タブをクリックし、次に [エージェントポリシーの作成] をクリックします。

[Create agent policy] パネルで、次の操作を行います：

1. [Name] フィールドに custom-log と入力します。

2. [Collect system logs and metrics] の選択を解除します。

3. [Advanced options] をクリックします。[Agent monitoring] セクションで、[Collect agent logs] と [Collect agent metrics] の選択を解除します。

   説明

   このガイドではカスタムログのみを収集するため、システムログ、エージェントログ、エージェントメトリックは不要です。

[Create agent policy] をクリックします。

[Agent policies] タブで、custom-log ポリシーをクリックします。

[統合] タブで、[統合の追加] をクリックします。

[Browse integrations] タブで Fleet Server を検索し、[Fleet Server] カードをクリックします。

Fleet Server 統合をインストールします：

1. [Fleet Server] ページで、[Settings] タブをクリックします。

2. [Install Fleet Server assets] をクリックします。確認ダイアログで [Install Fleet Server] をクリックします。

   説明

   インストール後、統合バージョンが [Settings] タブに表示されます。

右上の [Add Fleet Server] をクリックします。

[Add Fleet Server integration] ページで、次の操作を行います：

• [Configure integration] セクションで、[Integration name] フィールドに名前を入力します。

• [Where to add this integration] セクションで、[Agent policy] ドロップダウンリストから custom-log を選択します。

[Save and continue] をクリックします。確認メッセージで [Add Elastic Agent later] をクリックします。

custom-log ポリシーの [Integrations] タブで、[Add integration] をクリックします。

[Browse integrations] タブで Custom Logs を検索し、[Custom Logs] カードをクリックします。

Custom Logs 統合をインストールします：

1. [Custom Logs] ページで、[Settings] タブをクリックします。

2. [Install Custom Logs assets] をクリックします。確認ダイアログで [Install Custom Logs] をクリックします。

   説明

   インストール後、統合バージョンが [Settings] タブに表示されます。

右上の [Add Custom Logs] をクリックします。

[Add Custom Logs integration] ページで、次の操作を行います：

1. [Configure integration] セクションで、[Integration name] フィールドに名前を入力します。

2. [Custom log file] セクションで、[Log file path] フィールドにログファイルのパス (例：/var/log/a2.log) を入力します。

3. [Advanced options] をクリックし、[Dataset name] フィールドに名前を入力します。

   説明

   データセット名は、収集されたデータが保存される Elasticsearch インデックスを決定します。これは Elasticsearch のインデックス命名規則に従う必要があり、文字、数字、アンダースコア (_) のみを含めることができます。データはデータセットと同じ名前のインデックスにルーティングされるため、データ管理がより柔軟になります。

4. [Where to add this integration] セクションの [Existing hosts] タブで、[Agent policy] ドロップダウンリストから custom-log を選択します。

[Save and continue] をクリックします。確認メッセージで [Add Elastic Agent later] をクリックします。

Kibana コンソールにログインし、[Management] > [Fleet] に移動します。

[Fleet] ページで、[Settings] タブをクリックします。

Fleet サーバーホストを設定します：

1. [Fleet server hosts] セクションで、[Edit hosts] をクリックします。

2. [Fleet Server hosts] パネルで、[Specify host URL] フィールドに https://<private-ip-of-ECS>:<port> のフォーマットで Fleet サーバーの URL を入力します (例：https://172.16.*.*:8220)。[Save and apply settings] をクリックし、確認ダイアログで [Save and deploy] をクリックします。

   説明

   ご利用の ECS インスタンスのプライマリプライベート IP アドレスを入力してください。Fleet サーバーホストの設定に関する詳細については、「Fleet Server hosts」をご参照ください。

Elasticsearch の出力を設定します：

1. 「出力」セクションで、「操作」列の アイコンをクリックします。

2. [Edit output] パネルで、[Hosts] フィールドに http://<internal-endpoint>:<port> のフォーマットで Elasticsearch クラスターの URL を入力します (例：http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200)。

3. [Save and apply settings] をクリックし、[Save and deploy] をクリックします。

[Fleet] ページで、[Agent policies] タブをクリックします。

「custom-log」ポリシーを見つけ、[操作] 列の アイコンをクリックし、[エージェントの追加] を選択します。

「Fleet への登録」タブで、「エージェントの追加」パネルの「Fleet サーバーの追加」をクリックします。

[Add a Fleet Server] パネルで、[Advanced] をクリックします。[Select a policy for Fleet Server] セクションで、デフォルト値の custom-log を維持します。

[Choose a deployment mode for security] セクションで、デフォルト値の [Quick start] を維持します。

[Add your Fleet Server host] セクションで、[Add host] をクリックします。

[Generate a service token] セクションで、[Generate service token] をクリックします。

[Install Fleet Server to a centralized host] セクションで、生成されたコマンドをコピーし、ECS インスタンスで実行します。出力に Successfully が含まれている場合、Fleet エージェントはインストールされ、実行中です。

アイコンをクリックし、[Management] > [Stack Management] を選択します。

左側のナビゲーションウィンドウで、[Data] > [Index Management] を選択します。

[Data Streams] タブで、名前に generic を含むデータストリーム (例：logs-generic-default) を探します。

アイコンをクリックし、[Management] > [Dev Tools] を選択します。

[Console] タブで、次のコマンドを実行してデータストリームのインデックス名を取得します：

GET _data_Stream/logs-generic-default

応答の index_name フィールドがバッキングインデックス名です。

インデックス内のログデータをクエリします：

GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}

<index_name> を前のステップで取得した値に置き換えます。一致するドキュメントがあれば、Fleet エージェントがカスタムログデータを正常に収集し、インデックス付けしていることが確認できます。