Elasticsearch:Filebeat を使用した ECS サービスログの収集

ステップ 1：Beats データ転送ツールページの開く

1. Alibaba Cloud Elasticsearch コンソールにログインします。

2. 上部ナビゲーションバーで、リージョンを選択します。

3. 左側のナビゲーションウィンドウで、[Beats Data Shippers] をクリックします。

4. （任意）初めてこのページにアクセスする場合は、表示されるメッセージを読み、OK をクリックして、アカウント向けにサービスリンクロールを作成するためのシステム権限を付与します。

Beats は、データソースにアクセスするためにこのサービスリンクロールに依存します。削除しないでください。詳細については、「Elasticsearch サービスリンクロール」をご参照ください。

ステップ 2：Filebeat 転送ツールの構成

1. 転送ツールの作成 セクションで、Filebeat 上にマウスカーソルを合わせ、ECS ログ をクリックします。

   その他の転送ツールタイプの場合は、転送ツール名を直接クリックしてください。たとえば、Metricbeat 転送ツールを作成するには、Metricbeat をクリックします。

   

2. 転送ツールの構成 ステップで、以下の表に記載されたパラメーターを入力します。転送ツール YML 構成 の最小例：

   重要

   • 転送ツール YML 構成 内で出力先を設定しないでください。出力先は既に 出力 フィールドで選択済みです。重複して設定すると、転送ツールのインストールエラーが発生します。

   • インデックス名は固定されており、カスタマイズできません。システムは filebeat-%{[agent.version]}-%{+yyyy.MM.dd} の形式でインデックスを作成します。たとえば、filebeat-6.8.5-2021.12.11 のようになります。

   パラメーター	説明
   発送者名	1～30 文字。英字、数字、アンダースコア (_)、ハイフン (-) を使用可能。先頭文字は英字である必要があります。
   バージョン	6.8.5 を指定してください — Filebeat でサポートされる唯一のバージョンです。
   出力	送信先クラスター。既存の Elasticsearch または Logstash クラスターから選択してください。プロトコルは選択した Elasticsearch クラスターと一致させる必要があります。Elasticsearch V8.X クラスターはサポートされていません。
   ユーザー名とパスワード	出力 に Elasticsearch を選択した場合、送信先 Elasticsearch クラスターの認証情報を入力します。デフォルトのユーザー名は elastic です。パスワードはクラスター作成時に設定したものであり、必要に応じて再設定できます。詳細については、「Elasticsearch クラスターのアクセスパスワードの再設定」をご参照ください。
   Kibana モニタリングの有効化	Kibana で転送ツールのメトリックをモニタリングします。出力先が Elasticsearch の場合、モニタリングにも同じクラスターが使用されます。出力先が Logstash の場合、Logstash クラスターの構成ファイルでモニタリングを設定します。
   Kibana ダッシュボードの有効化	デフォルトの Kibana ダッシュボードを有効化します。Kibana は VPC 内にデプロイされます — 事前に Kibana の非公開ネットワークアクセス機能を有効化してください。詳細については、「Kibana のパブリックまたは非公開 IP アドレスホワイトリストの設定」をご参照ください。
   Filebeat ファイルパス	ログを収集する ECS インスタンス上のディレクトリ。このパスは Docker コンテナにマウントされ、転送ツール YML 構成 内の paths 値と一致させる必要があります。ワイルドカード (*) を含むパスの場合、ワイルドカードを含まない親ディレクトリのみを指定してください。たとえば、/var/log/*/*.log から収集する場合は、/var/ または /var/log/ を入力します。複数のディレクトリから収集する場合は、追加 をクリックして各パスを入力し、すべてのパスを 転送ツール YML 構成paths
   Shipper YML 設定	Filebeat の構成です。ログ収集を有効化し、paths が Filebeat ファイルパス と一致している必要があります。その他のオプションについては、「転送ツール用 YML 構成ファイルの準備」をご参照ください。

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
     - /var/log/*.log

   

3. 次へ をクリックします。

ステップ 3：転送ツールの承認とインストール

1. （任意）初めて 転送ツールのインストール ステップにアクセスする場合は、今すぐ承認 をクリックします。クラウドリソースアクセス承認 ページで、承認に同意 をクリックします。これにより、Resource Access Management (RAM) 経由で 2 つのシステムロールが作成されます。Beats を利用中は、これらのロールおよびポリシーを削除しないでください。誤って削除した場合は、クラウドリソースアクセス承認 ページから再承認を行ってください。また、RAM ユーザーには以下のカスタムポリシーも必要です — 詳細については、「カスタムポリシーの作成」をご参照ください。

   • AliyunElasticsearchAccessingOOSRole（ポリシー：AliyunElasticsearchAccessingOOSRolePolicy）

   • AliyunOOSAccessingECS4ESRole（ポリシー：AliyunOOSAccessingECS4ESRolePolicy）

   {
       "Version": "1",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:CreateRole",
                   "ram:AttachPolicyToRole",
                   "ram:GetRole"
               ],
               "Resource": "acs:ram:*:*:role/*",
               "Condition": {
                   "ForAllValues:StringEquals": {
                       "ram:TrustedPrincipalTypes": "Service",
                       "ram:ServiceNames": [
                           "elasticsearch.aliyuncs.com",
                           "oos.aliyuncs.com"
                       ]
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": "ram:AttachPolicyToRole",
               "Resource": "acs:ram:*:*:policy/*"
           },
           {
               "Action": "ram:PassRole",
               "Resource": "*",
               "Effect": "Allow",
               "Condition": {
                   "StringEquals": {
                       "acs:Service": "elasticsearch.aliyuncs.com"
                   }
               }
           }
       ]
   }

   

2. 転送ツールをインストールする ECS インスタンスを選択します。

   一覧には、出力先クラスターと同じ VPC 内にあるアカウント内のすべての ECS インスタンスが表示されます。クラウドアシスタントおよび Docker がインストール済みのインスタンスのみが転送ツールを実行できます。

3. 開始 をクリックします。

4. 転送ツールの開始 ダイアログボックスで、Beats 転送ツールに戻る をクリックします。

ステップ 4：転送ツールの実行状態の確認

「[運送業者を管理]」セクションで、新しく作成された運送業者を見つけ、その[ステータス]列を確認します。

• 有効 — 転送ツールが作成されました。その後に続く 2 つの数字（例：2/3）は、転送ツールがインストール済みの ECS インスタンス数と、要求された合計インスタンス数を示します。両方の数字が一致した場合、すべてのインスタンスへのインストールが完了しています。

インスタンスごとのステータスを確認するには、操作 列の インスタンスの表示 をクリックします。インストール済みの転送ツール 列には、以下の 3 つの値のいずれかが表示されます。

ステップ 5：モニタリングおよびダッシュボードの表示（任意）

構成時に Kibana モニタリング または Kibana ダッシュボード を有効化した場合、転送ツールの起動後に Kibana コンソールからアクセスできます。

1. 「[運送業者の管理]」セクションで、運送業者に対応する「[操作]」列の にカーソルを合わせ、「[ダッシュボードの表示]」を選択します。

2. ユーザー名とパスワードで Kibana コンソールにログインします。

3. ダッシュボードを表示するには：左側ナビゲーションウィンドウで ダッシュボード をクリックし、メトリックを選択します。

4. モニタリングデータを表示するには：左側ナビゲーションウィンドウで モニタリング をクリックし、モニタリング項目を選択します。

よくある質問

複数のディレクトリからログを収集するにはどうすればよいですか？

Filebeat ファイルパス パラメーターの構成時に 追加 をクリックし、各追加ディレクトリを入力して、すべてのパスを 転送ツール YML 構成 の paths パラメーターに追加してください。

ECS インスタンスで Beats 転送ツールのインストールが失敗した場合はどうすればよいですか？

「Beats 転送ツールのインストール失敗」のトラブルシューティング手順に従ってください。

API リファレンス

プログラムによる転送ツールの作成には、CreateCollector API オペレーションを使用します。