Logtail設定ファイルとレコードファイル - Simple Log Service

このトピックでは、Logtailの基本構成ファイルとレコードファイルについて説明します。 Logtailがアクティブの場合、設定ファイルを使用してレコードファイルを生成します。

起動構成ファイル (ilogtail_config.json)

The ilogtail_config.json file is used to configure the startup parameters of Logtail. 詳細については、「Logtailの起動パラメーターの設定」をご参照ください。

重要

ファイルは有効なJSONファイルである必要があります。正しくなければ、Logtail は起動されません。
If you modify the file, you must restart Logtail for the modification to take effect. 詳細については、「Logtailの再起動」をご参照ください。

サーバーにLogtailをインストールした後、ilogtail_config.jsonファイルに対して次の操作を実行できます。

Logtailのランタイムパラメーターを変更します。
インストールコマンドが正しいかどうかを確認してください。
The values of the config_server_address and data_server_list parameters in the ilogtail_config.json file vary based on the installation command that you select. If the region in the command is different from the region where the Log Service project resides or the address in the command cannot be accessed, the command is incorrect. If the command is incorrect, Logtail cannot collect logs and must be reinstalled.

ファイルパス
- Linux: /usr/local/ilogtail/ilogtail_config.json
- Windows:
  - 64ビット: C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json
  - 32ビット: C:\Program Files\Alibaba\Logtail\ilogtail_config.json
  説明
  64ビットWindowsオペレーティングシステムで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
  Windows 用 Logtail は 32 ビットアプリケーションです。したがって、Logtailは64ビットWindowsのProgram Files (x86) ディレクトリにインストールされます。 64ビットWindows用のLogtailが使用可能な場合、LogtailはデフォルトでProgram Filesディレクトリにインストールされます。
- コンテナー: ファイルはLogtailコンテナーに保存されます。 The file path is specified in the environment variable ALIYUN_LOGTAIL_USER_ID of the Logtail container. docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_IDコマンドを実行して、ファイルパスを表示します。 Example: /etc/ilogtail/conf/cn_hangzhou/ilogtail_config.json.

サンプルファイル

$cat /usr/local/ilogtail/ilogtail_config.json
{
    "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
    "data_server_list" :
    [
        {
            "cluster" : "cn-hangzhou" 、
            "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
        }
    ],
    "cpu_usage_limit" : 0.4,
    "mem_usage_limit" : 100,
    "max_bytes_per_sec" : 2097152,
    "process_thread_count" : 1,
    "send_request_concurrency" : 4,
    "streamlog_open" : false
}

ユーザー识别ファイル

The user identifier file contains the ID of your Alibaba Cloud account. このファイルは、アカウントがLogtailがインストールされているサーバーからログを収集する権限を持つことを指定します。詳細については、「ユーザー識別子の設定」をご参照ください。

説明

サーバーが別のAlibaba Cloudアカウントに属するECS (Elastic Compute Service) インスタンス、自己管理型データセンターにデプロイされているサーバー、またはサードパーティのクラウドサービスプロバイダーによって提供されているサーバーの場合、Logtailのインストール後にサーバーのユーザー識別子としてAlibaba cloudアカウントのIDを指定する必要があります。次に、Logtailを使用して、アカウントを使用してサーバーからログを収集できます。
ユーザー識別子ファイルで、Alibaba CloudアカウントのIDをユーザー識別子として指定する必要があります。ユーザーIDとしてRAMユーザーのIDを指定することはできません。
ユーザー识别ファイル名を指定する必要があります。 You do not need to specify the file extension.
1つのサーバーで複数のユーザー識別子を指定できます。ただし、Logtailコンテナに指定できるユーザー識別子は1つだけです。

ファイルパス
- Linux: /etc/ilogtail/users/
- Windows: C:\LogtailData\users\
- コンテナー: ファイルはLogtailコンテナーに保存されます。ファイルパスは、Logtailコンテナの環境変数ALIYUN_LOGTAIL_USER_IDで指定します。 docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_IDコマンドを実行して、ファイルパスを表示します。

サンプルファイル

$ls /etc/ilogtail /ユーザー /
**************** *****************

カスタム識別子ファイル (user_defined_id)

user_defined_idファイルは、マシングループのカスタム識別子を設定するために使用されます。詳細については、「カスタム識別子ベースのマシングループを作成する」をご参照ください。

説明

カスタム識別子ベースのマシングループを作成するときは、user_defined_idファイルを設定する必要があります。

ファイルパス
- Linux: /etc/ilogtail/user_defined_id
- Windows: C:\LogtailData\user_defined_id
- コンテナー: ファイルはLogtailコンテナーに保存されます。ファイルパスは、Logtailコンテナーの環境変数ALIYUN_LOGTAIL_USER_DEFINED_IDで指定します。 docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_IDコマンドを実行して、ファイルパスを表示します。

サンプルファイル

$cat /etc/ilogtail/user_defined_id
aliyun-ecs-rs1e16355

Logtail configuration file (user_log_config.json)

user_log_config.jsonファイルには、LogtailがLog Serviceから受信したLogtail設定の情報が記録されます。 The file is in the JSON format and is updated along with configuration updates. user_log_config.jsonファイルを使用して、LogtailがインストールされているサーバーにLogtail設定が配信されているかどうかを確認できます。 If the Logtail configuration file exists and the configurations in the file are the same as the settings of the Logtail configuration in Log Service, the Logtail configuration is delivered.

説明

We recommend that you do not modify the Logtail configuration file unless you need to specify sensitive information, such as the AccessKey pair and database password.

ファイルパス
- Linux: /usr/local/ilogtail/user_log_config.json
- Windows:
  - 64-bit: C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json
  - 32ビット: C:\Program Files\Alibaba\Logtail\user_log_config.json
- コンテナー: /usr/local/ilogtail/user_log_config.json

サンプルファイル

$cat /usr/local/ilogtail/user_log_config.json
{
   "metrics" : {
      "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
         "aliuid" : "16542189*****50",
         "category" : "app-java",
         "create_time" : 1534739165,
         "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
         "delay_alarm_bytes" : 0,
         "enable" : true,
         "enable_tag" : true,
         "filter_keys" : [],
         "filter_regs" : [],
         "group_topic" : "",
         "local_storage" : true,
         "log_type" : "plugin",
         "log_tz" : "",
         "max_send_rate" : -1,
         "merge_type" : "topic",
         "plugin" : {
            "inputs" : [
               {
                  "detail" : {
                     "IncludeEnv" : {
                        "aliyun_logs_app-java" : "stdout"
                     },
                     "IncludeLable" : {
                        "io.kubernetes.container.name" : "java-log-demo-2",
                        "io.kubernetes.pod.namespace" : "default"
                     },
                     "Stderr" : true,
                     "Stdout": true,
                  },
                  "type" : "service_docker_stdout"
               }
            ]
         },
         "priority" : 0,
         "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
         "raw_log" : false,
         "region"： "cn-hangzhou"、
         "send_rate_expire" : 0,
         "sensitive_keys" : [],
         "tz_adjust" : false,
         "version" : 1
      }
   }
}

AppInfoレコードファイル (app_info.json)

The app_info.json file records the information about Logtail, such as the startup time, obtained IP address, and hostname.

サーバーのIPアドレスがサーバーの /etc/hostsファイルのホスト名に関連付けられている場合、LogtailはIPアドレスを取得します。 If you do not associate the IP address of a server with the hostname, Logtail obtains the IP address of the first network interface controller (NIC) on the server.

重要

AppInfoレコードファイルには、Logtailに関する基本情報のみが記録されます。ファイルを変更しても、Logtailによって取得されるIPアドレスは変更されません。
サーバーのホスト名またはその他のネットワーク設定を変更する場合は、Logtailを再起動して新しいIPアドレスを取得する必要があります。

ファイルパス
- Linux: /usr/local/ilogtail/app_info.json
- Windows:
  - 64ビット: C:\Program Files (x86)\Alibaba\Logtail\app_info.json
  - 32ビット: C:\Program Files\Alibaba\Logtail\app_info.json
- コンテナー: /usr/local/ilogtail/app_info.json

サンプルファイル

$cat /usr/local/ilogtail/app_info.json
{
   "UUID"： ""、
   "hostname" : "logtail-ds-slpn8",
   "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315 "、
   "ip" : "1**.***.***.*** "、
   "logtail_version" : "0.16.13",
   "os"： "Linux; 3.10.0-693.2.2.el7.x86_64;＃1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64"、
   "update_time" : "2018-09-04 09:28:36"
}

フィールド	説明
UUID	サーバーのシリアル番号。
hostname	ホスト名。
instance_id	Logtailの一意の識別子。この識別子はランダムに生成される。
ip	The IP address that is obtained by Logtail. If Logtail does not obtain an IP address, the value of this parameter is empty. Logtailは期待どおりに実行できません。サーバーのIPアドレスを指定してから、Logtailを再起動する必要があります。説明 IPアドレスベースのマシングループを作成する場合は、マシングループに指定したIPアドレスがこのフィールドの値と同じであることを確認する必要があります。 2つのIPアドレスが異なる場合は、Log Serviceコンソールでマシングループに指定したIPアドレスを変更します。 1分後にIPアドレスをもう一度確認してください。
logtail_version	Logtailのバージョン。
os	オペレーティングシステムのバージョン。
update_time	Logtailの最後の起動時刻。

Logtail 操作ログファイル (ilogtail.LOG)

ilogtail.LOGファイルには、Logtailの操作ログが記録されます。昇順のログのレベルには、INFO、WARN、ERRORが含まれます。 INFOレベルではログを無視できます。

If an exception occurs during log collection, troubleshoot the exception based on the exception type and corresponding Logtail operational log. 詳細については、「Logtail収集エラーの表示方法?」をご参照ください。

説明

Logtailコレクションの例外について、 [チケットを起票] の場合、ログをアップロードする必要があります。

ファイルパス
- Linux: /usr/local/ilogtail/ilogtail。ログ
- Windows:
  - 64-bit: C:\Program Files (x86)\Alibaba\Logtail\ilogtail. Log
  - 32-bit: C:\Program Files\Alibaba\Logtail\ilogtail.LOG
- コンテナー: /usr/local/ilogtail/ilogtail。ログ

サンプルファイル

$tail /usr/local/ilogtail/ilogtail.LOG
[2018-09-13 01:13:59.024679] [情報] [3155] [build/release64/sls/ilogtail/elogtail.cpp:123] change working dir:/usr/local/ilogtail /
[2018-09-13 01:13:59.025443] [情報] [3155] [build/release64/sls/ilogtail/AppConfig.cpp:175] logtail設定ファイルをロードします。パス:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
[2018-09-13 01:13:59.025460] [情報] [3155] [build/release64/sls/ilogtail/AppConfig.cpp:176] logtail設定ファイルをロード、詳細: {
   "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
   "data_server_list" : [
      {
         "cluster" : "ap-southeast-1",
         "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
      }
]

Operational logs of Logtail plug-ins (logtail_plugin.LOG)

logtail_plugin.LOGファイルには、Logtailプラグインの操作ログが記録されます。昇順のログのレベルには、INFO、WARN、ERRORが含まれます。 INFOレベルではログを無視できます。

CANAL_RUNTIME_ALARMなどの例外が発生した場合、logtail_plugin.LOGファイルに基づいて例外のトラブルシューティングを行うことができます。

説明

Logtailプラグイン例外の [チケットを起票] の場合、ファイルをアップロードする必要があります。

ファイルパス
- Linux: /usr/local/ilogtail/logtail_plugin ログ
- Windows:
  - 64ビット: プログラムファイル (x86)\Alibaba\Logtail\logtail_plugin ログ
  - 32ビット: C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG
- コンテナー: /usr/local/ilogtail/logtail_plugin。ログ

サンプルファイル

$tail /usr/local/ilogtail/logtail_plugin.LOG
2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0# sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout] オープンファイル読み取り用ファイル, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d62 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.logオフセット: 40379573ステータス: 794354-64769-40379963
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0###k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout] open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d62 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.logオフセット: 40379573ステータス: 794354-64769-40379963
2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0# sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout] ファイルを閉じる、理由: 読み取りタイムアウトファイルなし:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d62 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.logオフセット: 40379963-64769-794354-40379963
2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout] ファイルを閉じる、理由: 読み取りタイムアウトファイルなし:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d62 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log 4/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.logオフセット: 40379963ステータス: 794354-64769-40379963
2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

コンテナパスマッピングファイル (docker_path_config.json)

docker_path_config.jsonファイルは、コンテナログを収集するときにのみ作成されます。このファイルは、コンテナログファイルとホストログファイルの間のパスマッピングを記録します。ファイルはJSON形式です。

ログ収集例外のトラブルシューティング時にDOCKER_FILE_MAPPING_ALARMメッセージが表示された場合、Dockerファイルはホストファイルにマップされません。 You can use the docker_path_config.json file to troubleshoot the exception.

説明

docker_path_config.jsonファイルは情報記録ファイルです。このファイルの変更は有効になりません。このファイルを削除すると、サービスを中断することなく別のファイルが自動的に作成されます。
You must upload the file when you submit a ticket for a container log collection exception.

ファイルパス
/usr/local/ilogtail/docker_path_config.json

サンプルファイル

$cat /usr/local/ilogtail/docker_path_config.json
{
   "detail" : [
      {
         "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
         "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
         "params" : "{\n \" ID\" : \" df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n \" Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd189287 4/diff/var/log\",\n \" タグ \" : [\n \" nginx-type\",\n \" access-log\"、\n \"_image_name_\"、\n \" registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\ "、\n \"_container_name_\"、\n \" nginx-log-demo\"、\n \"_pod_name_\"、\n \" nginx-log-demo-h2lzc\"、\n \"\n \"default\" 、\n \"_pod_uid_\" 、\n \"87e56ac3-b65b-11e8-b172-00163f008685\" 、\n \"_container_ip_\" 、\n \"172.20.4.224\" 、\n \"目的 \" 、\n \"テスト \"\n}\n"
      }
   ],
   "version" : "0.1.0"
}