Elasticsearch:Filebeat を使用した ECS サービスログの収集

操作手順

1. Alibaba Cloud Elasticsearch コンソールにログインします。

2. Beats データシッパーページに移動します。

   1. 上部のナビゲーションバーで、リージョンを選択します。

   2. 左側のナビゲーションウィンドウで、[Beats データシッパー] をクリックします。

   3. オプション：初めて [Beats データシッパー] ページにアクセスする場合は、表示されるメッセージの情報を確認し、[OK] をクリックして、システムがアカウントのサービスリンクロールを作成することを承認します。

      説明

      Beats がさまざまなデータソースからデータを収集する際、Beats はサービスリンクロールと、そのロールに指定されたルールに依存します。Beats の使用に影響が出るため、サービスリンクロールは削除しないでください。詳細については、「Alibaba Cloud ES サービスリンクロール」をご参照ください。

3. ECS サービスログの収集を設定して開始します。

   説明

   以下の手順では Filebeat を例として使用します。

   1. シッパーの作成 セクションで、Filebeat にカーソルを合わせ、ECS ログ をクリックします。

      

      説明

      Metricbeat などの他のタイプのシッパーについては、シッパー名を直接クリックできます。

   2. シッパーの設定 ウィザードで、シッパー情報を入力または選択します。

      

      パラメーター	説明
      シッパー名	シッパーのカスタム名を入力します。名前は 1～30 文字で、先頭は英字である必要があり、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
      バージョン	Filebeat ではバージョン 6.8.5 のみがサポートされています。
      出力	Filebeat からのデータの送信先。既存の Alibaba Cloud Elasticsearch または Logstash インスタンスを選択します。アクセスプロトコルは、選択した Elasticsearch インスタンスのプロトコルと一致する必要があります。 重要 バージョン 8.x 以降の Elasticsearch インスタンスはサポートされていません。
      ユーザー名/パスワード	出力 として Elasticsearch を選択した場合、Filebeat が Elasticsearch インスタンスにデータを書き込めるように、対応するユーザー名とパスワードを入力する必要があります。デフォルトのユーザー名は elastic です。パスワードはインスタンス作成時に設定します。パスワードを忘れた場合は、リセットできます。詳細については、「インスタンスのアクセスパスワードのリセット」をご参照ください。
      Kibana モニタリングの有効化	Filebeat メトリックのモニタリングを有効にします。出力 として Elasticsearch を選択した場合、モニタリングはデフォルトで 出力 と同じ Alibaba Cloud Elasticsearch インスタンスを使用します。出力 として Logstash を選択した場合は、設定ファイルに構成を追加する必要があります。
      Kibana ダッシュボードの有効化	デフォルトの Kibana ダッシュボードを設定します。Alibaba Cloud Kibana は VPC にデプロイされるため、Kibana の設定ページでプライベートネットワークアクセスを有効にする必要があります。詳細については、「Kibana コンソールへのログイン」をご参照ください。
      Filebeat ログファイルパス	Alibaba Cloud は Docker を使用して Beats をデプロイするため、ログ収集用のホストディレクトリを Docker コンテナにマッピングする必要があります。ここで入力するパスは、filebeat.yml ファイルの input.path パラメーターで指定されたパスの親ディレクトリである必要があります。このフィールドではワイルドカード (*) は使用できません。たとえば、input.path: /var/log/*/*.log が設定されている場合、Filebeat ファイルディレクトリは /var/ または /var/log/ になります。 重要 パスはディレクトリまたは完全なパスにすることができます。glob パターンを使用して、パス内の特定の種類のファイルに一致させることもできます。 複数のディレクトリからログを収集する必要がある場合は、追加 をクリックして別のパスを入力します。また、シッパー YML 設定 の paths パラメーターに新しいパスを追加する必要があります。
      シッパー YML 設定	シッパーの設定ファイル。以下のサンプルを使用して、ログ収集が有効になっていること、および paths のディレクトリが [Filebeat ファイルディレクトリ] に入力したディレクトリと一致していることを確認します。 filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log その他のパラメーターについては、ビジネス要件に基づいて設定を変更してください。詳細については、「シッパー YML 設定」をご参照ください。

      重要

      • 出力 を指定した後、シッパー YML 設定 で再度設定する必要はありません。 再度設定すると、インストールエラーが発生します。

      • Alibaba Cloud Filebeat はカスタムインデックス名をサポートしていません。デフォルトでは、filebeat-%{[agent.version]}-%{+yyyy.MM.dd} という名前のインデックスを作成します (例：filebeat-6.8.5-2021.12.11)。

   3. 次へ をクリックします。

   4. オプション： 初めて シッパーのインストール ウィザードを使用する場合は、今すぐ権限付与 をクリックします。[クラウドリソースアクセス承認] ページで、権限の付与に同意する をクリックして、Elasticsearch インスタンスに ECS へのアクセス権限を付与します。

      

      • 権限付与サービスは Resource Access Management (RAM) によって提供されます。権限を付与すると、システムは自動的に AliyunElasticsearchAccessingOOSRole と AliyunOOSAccessingECS4ESRole の 2 つのサービスリンクロールを作成します。アタッチされるデフォルトのシステムポリシーは、それぞれ AliyunElasticsearchAccessingOOSRolePolicy と AliyunOOSAccessingECS4ESRolePolicy です。これらのシステムロールやポリシーは削除しないでください。

      • RAM コンソールからデフォルトのポリシーまたはシステムロールを削除した場合は、クラウドリソースアクセス承認 を使用して権限を再付与できます。また、権限エラーを回避するために、RAM ユーザーに以下のカスタム権限を付与する必要があります。カスタムポリシーの作成方法については、「カスタムポリシーの作成」をご参照ください。

        {
            "Version": "1",
            "Statement": [
                {
                    "Effect": "Allow",
                    "Action": [
                        "ram:CreateRole",
                        "ram:AttachPolicyToRole",
                        "ram:GetRole"
                    ],
                    "Resource": "acs:ram:*:*:role/*",
                    "Condition": {
                        "ForAllValues:StringEquals": {
                            "ram:TrustedPrincipalTypes": "Service",
                            "ram:ServiceNames": [
                                "elasticsearch.aliyuncs.com",
                                "oos.aliyuncs.com"
                            ]
                        }
                    }
                },
                {
                    "Effect": "Allow",
                    "Action": "ram:AttachPolicyToRole",
                    "Resource": "acs:ram:*:*:policy/*"
                },
                {
                    "Action": "ram:PassRole",
                    "Resource": "*",
                    "Effect": "Allow",
                    "Condition": {
                        "StringEquals": {
                            "acs:Service": "elasticsearch.aliyuncs.com"
                        }
                    }
                }
            ]
        }

   5. シッパーのインストール ウィザードで、ターゲットの ECS インスタンスを選択します。

      説明

      インスタンスリストには、出力 に選択された Elasticsearch または Logstash インスタンスと同じ VPC 内にある、アカウント配下のすべての ECS インスタンスが表示されます。シッパーは、Cloud Assistant と Docker の両方がインストールされている ECS インスタンスにのみインストールできます。

   6. 有効化 をクリックします。

   7. シッパーの有効化 ダイアログボックスで、Beats シッパーに戻る をクリックします。シッパーリストで新しく作成されたシッパーを表示します。

      シッパーステータス が 有効 に変わるまで待ちます。これは、シッパーの準備が整ったことを示します。有効 の後の 2 つの数字は、インストールに成功した ECS の数と、対象の ECS インスタンスの総数を表します。すべてのインスタンスへのインストールが成功した場合、この 2 つの数字は一致します。

4. 実行中のインスタンスを表示します。

   シッパーを作成した後、実行中のインスタンスを表示して、インストールのステータスを確認し、例外のトラブルシューティングを行うことができます。

   1. シッパーの管理 セクションで、対象のシッパーを見つけ、アクション 列の インスタンスの表示 をクリックします。

   2. インスタンスの表示 ページで、インストール済みシッパー を確認してください。

      インストール済みシッパー のステータスは、正常なハートビート、ハートビート障害、または インストール失敗 のいずれかになります。ステータスが ハートビート障害 または インストール失敗 の場合は、問題のあるノードを削除するか、インストールを再試行できます。再試行に失敗した場合は、「Beats のインストール失敗のトラブルシューティング」をご参照ください。

5. オプション：モニタリングページまたはダッシュボードを表示します。

   シッパーの作成時に Kibana モニタリングの有効化 または Kibana ダッシュボードの有効化 を選択した場合、シッパーの起動後に Kibana でモニタリング情報またはダッシュボードを表示できます。

   1. シッパーの管理 セクションで、シッパーを見つけ、アクション > > ダッシュボード。

   2. Kibana のログインページで、ユーザー名とパスワードを入力し、[ログイン] をクリックします。

   3. 左側のナビゲーションウィンドウで、[ダッシュボード] をクリックします。次に、メトリックをクリックしてそのダッシュボードを表示します。

   4. 左側のナビゲーションウィンドウで、[モニタリング] をクリックします。次に、モニタリング項目をクリックしてその情報を表示します。

関連ドキュメント

シッパー (API では `collector` と呼ばれます) を作成するための API オペレーション：CreateCollector

よくある質問

• Beats を使用して複数のディレクトリからログを収集するにはどうすればよいですか？

  シッパーを設定する際に、追加 をクリックし、テキストボックスにパスを入力して、そのパスを シッパー YML 設定 の paths パラメーターに追加します。

• ECS インスタンスでの Beats のインストールが失敗した場合はどうすればよいですか？

  トラブルシューティング情報については、「Beats のインストール失敗のトラブルシューティング」をご参照ください。