Elasticsearch:Filebeat を使用して Apache ログデータを収集する

詳細については、「Alibaba Cloud Elasticsearch クラスタを作成する」または「Alibaba Cloud Logstash クラスタを作成する」をご参照ください。

セキュリティ上の理由から、Alibaba Cloud Elasticsearch はデフォルトで [自動インデックス作成] 機能を無効にしています。ただし、Beats はこの機能に依存しています。シッパーの作成時に [出力] に [elasticsearch] を選択した場合は、自動インデックス作成機能を有効にする必要があります。詳細については、「YML ファイルを設定する」をご参照ください。

詳細については、「カスタム起動タブでインスタンスを作成する」をご参照ください。

可視化ツールを使用して Apache ログデータの分析と表示を容易にするために、httpd.conf ファイルでログデータの形式として JSON を定義することをお勧めします。詳細については、「手順 1: Apache HTTP Server をインストールして設定する」をご参照ください。この例では、次の設定が使用されています。

LogFormat "{\"@timestamp\":\"%{%Y-%m-%dT%H:%M:%S%z}t\",\"client_ip\":\"%{X-Forwa rded-For}i\",\"direct_ip\": \"%a\",\"request_time\":%T,\"status\":%>s,\"url\":\"%U%q\",\"method\":\"%m\",\"http_host\":\"%{Host}i\",\"server_ip\":\"%A\",\"http_referer\":\"%{Referer}i\",\"http_user_agent\":\"%{User-agent}i\",\"body_bytes_sent\":\"%B\",\"total_bytes_sent\":\"%O\"}"  access_log_json
# 元の CustomLog 設定を CustomLog "logs/access_log" access_log_json に変更します。 // Translated comment

詳細については、「Cloud Assistant エージェントをインストールする」および「Docker をインストールする」をご参照ください。

詳細については、「ECS インスタンスのログを収集する」および「シッパーの YML 設定ファイルを準備する」をご参照ください。次の図は、この例で使用されている設定を示しています。

詳細については、「設定ファイルを使用してパイプラインを管理する」をご参照ください。この例では、次の設定が使用されています。

input {
  beats {
      port => 8000
    }
}
filter {
  json {
        source => "message"
        remove_field => "@version"
        remove_field => "prospector"
        remove_field => "beat"
        remove_field => "source"
        remove_field => "input"
        remove_field => "offset"
        remove_field => "fields"
        remove_field => "host"
        remove_field => "message"
      }

}
output {
  elasticsearch {
    hosts => ["http://es-cn-mp91cbxsm00******.elasticsearch.aliyuncs.com:9200"]
    user => "elastic"
    password => "<your_password>"
    index => "<your_index>"
  }
}

Kibana コンソールへのログオン方法の詳細については、「Kibana コンソールにログオンする」をご参照ください。

GET <your_index>/_search