Elasticsearch:Filebeat を使用した Apache ログデータの収集

詳細については、「Alibaba Cloud Elasticsearch インスタンスの作成」および「Alibaba Cloud Logstash インスタンスの作成」をご参照ください。

セキュリティ上の理由から、Alibaba Cloud Elasticsearch はデフォルトではインデックスの自動作成を許可していません。ただし、Beats はこの機能に依存しています。コレクターの出力を Elasticsearch インスタンスに設定する場合は、インデックスの自動作成を有効にする必要があります。詳細については、「YML パラメーターの設定」をご参照ください。

詳細については、「ウィザードを使用したインスタンスの作成」をご参照ください。

可視化ツールを使用したログの分析と表示を簡素化するために、httpd.conf ファイルで Apache ログフォーマットを JSON として定義します。詳細については、「Magento 2 e コマースサイトの手動構築 (Ubuntu)」をご参照ください。このトピックでは、次の設定を例として使用します。

LogFormat "{\"@timestamp\":\"%{%Y-%m-%dT%H:%M:%S%z}t\",\"client_ip\":\"%{X-Forwa rded-For}i\",\"direct_ip\": \"%a\",\"request_time\":%T,\"status\":%>s,\"url\":\"%U%q\",\"method\":\"%m\",\"http_host\":\"%{Host}i\",\"server_ip\":\"%A\",\"http_referer\":\"%{Referer}i\",\"http_user_agent\":\"%{User-agent}i\",\"body_bytes_sent\":\"%B\",\"total_bytes_sent\":\"%O\"}"  access_log_json
# 元の CustomLog をコメントアウトし、CustomLog "logs/access_log" access_log_json に変更します

詳細については、「クラウドアシスタントエージェントのインストール」および「Docker および Docker Compose のインストールと使用」をご参照ください。

詳細については、「ECS サービスログの収集」および「コレクターの YML 設定」をご参照ください。このトピックでは、次の図に示す設定を使用します。

次の例に基づいてパイプラインを設定します。詳細な設定手順については、「設定ファイルを使用したパイプラインの管理」をご参照ください。

input {
  beats {
      port => 8000
    }
}
filter {
  json {
        source => "message"
        remove_field => "@version"
        remove_field => "prospector"
        remove_field => "beat"
        remove_field => "source"
        remove_field => "input"
        remove_field => "offset"
        remove_field => "fields"
        remove_field => "host"
        remove_field => "message"
      }

}
output {
  elasticsearch {
    hosts => ["http://es-cn-mp91cbxsm00******.elasticsearch.aliyuncs.com:9200"]
    user => "elastic"
    password => "<YOUR_PASSWORD>"
    index => "<YOUR_INDEX>"
  }
}

Kibana コンソールへのログイン方法の詳細については、「Kibana コンソールへのログイン」をご参照ください。

GET <YOUR_INDEX>/_search