Logtail 構成とログファイル - Log Service - Alibaba Cloud ドキュメントセンター

起動構成ファイル (ilogtail_config.json)

Logtail の実行パラメータが記載されており、表示および設定できます。JSON 形式のファイルです。

Logtail をインストールした場合、本ファイルに対して次の操作ができます。

Logtail 実行パラメータの変更
CPU 使用率や常駐メモリー使用率のしきい値といった一般的な設定を変更します。
インストールコマンドが正しいことの確認
config_server_address と data_server_list は、インストール時に指定したものになります。指定されたパラメータのリージョンが Log Service のリージョンと異なる場合、またはアドレスにアクセスできない場合は、インストール中に誤ったパラメータまたはコマンドが使用されたことを意味します。Logtail によるログ収集はできないため、再インストールする必要があります。

注

ファイルは有効な JSON 配列である必要があります。有効な JSON 配列でない場合、Logtail は起動されません。
ファイルに加えた変更は、Logtail を再起動しない限り反映されません。

下表は、デフォルトの構成項目一覧です。その他の構成項目については、「起動パラメータを設定」をご参照ください。

表 1. 起動構成ファイルのデフォルト構成項目
構成項目	説明
config_server_address	サーバーから取得する Logtail 構成に設定されているアドレス (インストール時に指定) アクセス可能なアドレスであり、Log Service と同一リージョンのアドレスを指定する必要があります。
data_server_list	データサーバーのアドレス (インストール時に指定) アクセス可能なアドレスであり、パラメータで指定したリージョンは Log Service と同一リージョンに属している必要があります。
cluster	リージョン名
endpoint	サービスのエンドポイント
cpu_usage_limit	CPU 使用率のしきい値 (コア数による)
mem_usage_limit	常駐メモリの使用率しきい値
max_bytes_per_sec	送信可能な Raw データの最大サイズ。データ送信速度が 20 Mbit/s を超える場合は適用されない。
process_thread_count	Logtail がログファイルにデータを書き込むために使用するスレッド数
send_request_concurrency	Logtail が同時非同期に送信できるデータパケットの数。デフォルトでは、Logtail はデータパケットを非同期で送信します。書き込み TPS が非常に高い場合は、値を大きくします。

ファイルアドレス：

Linux: /usr/local/ilogtail/ilogtail_config.json
コンテナ: ファイルは Logtail コンテナに格納され、ファイルアドレスは環境変数 ALIYUN_LOGTAIL_CONFIG に設定されます。アドレスの確認には、Docker inspect $ {logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIG を実行します (例: /Etc/ilogtail/CONF/CN-Hangzhou/FIG)。
Windows
- x64: C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json
- x32: C:\Program Files\Alibaba\Logtail\ilogtail_config.json

ファイル例

$cat /usr/local/ilogtail/ilogtail_config.json
{
    "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
    "data_server_list" :
    [
        {
            "cluster" : "ap-southeast-2",
            "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
        }
    ],
    "cpu_usage_limit" : 0.4,
    "mem_usage_limit" : 100,
    "max_bytes_per_sec" : 2097152,
    "process_thread_count" : 1,
    "send_request_concurrency" : 4,
    "streamlog_open" : false
}

AliUid 構成ファイル

Alibaba Cloud アカウントの AliUid が含まれます。AliUid は、サーバーにアクセスしてログを収集する権限のある Alibaba Cloud アカウントであることを証明するものです。別の Alibaba Cloud アカウントの ECS インスタンス、または、オンプレミス IDC のログを収集する場合は、AliUid 構成ファイルを手動で作成します。詳細は、Alibaba Cloud ECS インスタンス以外または他のアカウントの ECS インスタンスからログを収集するをご参照ください。

注

オプションファイルであり、別の Alibaba Cloud アカウントの ECS インスタンス、または、オンプレミス IDC からログを収集する場合にのみ使用されます。
ファイルには現在の Alibaba Cloud アカウントの AliUid のみを含めることができます。現在の Alibaba Cloud アカウントであっても、RAM ユーザーアカウントの AliUid を含めることはできません。
ファイル名に拡張子を含めることはできません。
Logtail に複数の AliUid 構成ファイルを設定できますが、Logtail コンテナに設定できる AliUid 構成ファイルは 1 つのみです。

ファイルアドレス

Linux: /etc/ilogtail/users/
コンテナ: Logtail コンテナの環境変数 ALIYUN_LOGTAIL_USER_ID に設定します。ファイルの確認には、docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_IDを実行します。
Windows: C:\LogtailData\users\

ファイル例

$ls /etc/ilogtail/users/
15591*********** 13292***********

カスタム ID ファイル(user_defined_id)

マシングループにカスタム ID を設定した場合に使用されます。詳細は、「マシングループの作成とカスタム ID 割り当て」をご参照ください。

注

カスタム ID でマシングループの構成にのみ使用されるファイルです。
マシングループに複数のカスタム ID を設定する場合は、区切り文字で区切ります。

ファイルアドレス

Linux: /etc/ilogtail/user_defined_id
コンテナ: Logtail コンテナの環境変数 ALIYUN_LOGTAIL_USER_DEFINED_ID にファイルが設定されています。ファイルの確認には、docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_IDを実行します。
Windows: C:\LogtailData\user_defined_id

ファイル例

$cat /etc/ilogtail/user_defined_id
aliyun-ecs-rs1e16355

Logtail 構成ファイル (user_log_config.json)

Logtail のサーバーより取得された Logtail 構成情報が記載されます。JSON 形式のファイルであり、Logtail 構成に変更があると、更新されます。サーバーに Logtail 構成が送信されているかどうかを確認する際に使用します。本ファイルがあり、内容が最新であれば、Logtail 構成情報は正常にサーバーに送信されています。

注

キーまたはデータベースのパスワードを変更する必要がない限り、手動でファイルを変更されないことをお勧めします。
チケットを起票して、サポートセンターにお問い合わせの際は、本ファイルを添付してください。

ファイルアドレス

Linux: /usr/local/ilogtail/user_log_config.json
コンテナ: /usr/local/ilogtail/user_log_config.json
Windows
- x64: C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json
- x32: C:\Program Files\Alibaba\Logtail\user_log_config.json

ファイル例

$cat /usr/local/ilogtail/user_log_config.json
{
   "metrics" : {
      "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
         "aliuid" : "16542189*****50",
         "category" : "app-java",
         "create_time" : 1534739165,
         "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
         "delay_alarm_bytes" : 0,
         "enable" : true,
         "enable_tag" : true,
         "filter_keys" : [],
         "filter_regs" : [],
         "group_topic" : "",
         "local_storage" : true,
         "log_type" : "plugin",
         "log_tz" : "",
         "max_send_rate" : -1,
         "merge_type" : "topic",
         "plugin" : {
            "inputs" : [
               {
                  "detail" : {
                     "IncludeEnv" : {
                        "aliyun_logs_app-java" : "stdout"
                     },
                     "IncludeLable" : {
                        "io.kubernetes.container.name" : "java-log-demo-2",
                        "io.kubernetes.pod.namespace" : "default"
                     },
                     "Stderr" : true,
                     "Stdout": true,
                  },
                  "type" : "service_docker_stdout"
               }
            ]
         },
         "priority" : 0,
         "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
         "raw_log" : false,
         "region"： "cn-hangzhou"、
         "send_rate_expire" : 0,
         "sensitive_keys" : [],
         "tz_adjust" : false,
         "version" : 1
      }
   }
}

AppInfo ログファイル (app_info.json)

Logtail の起動時間や、Logtail の IP アドレスおよびホスト名を取得した時間といったあらゆる時間情報が含まれます。マシングループを作成して IP アドレス割り当てるを実施する際に、本ファイルに記載されている IP アドレスが必要になります。

通常、Logtail は次の規則に従ってサーバの IP アドレスを取得します。

サーバーファイル/etc/hosts で IP アドレスにホスト名を割り当てている場合、Logtail は自動的に IP アドレスを取得します。
ホストに IP アドレスが割り当てられていない場合、Logtail はホストのプライマリ NIC の IP アドレスを自動的に取得します。

注

Logtail の内部情報のみが含まれています。手動でファイルに変更を加えても、Logtail の基本設定は変更されません。
ホスト名の変更といった、サーバーのネットワーク設定を変更した場合は、Logtail を再起動して新しい IP アドレスを取得します。

表 2. フィールド説明
フィールド	フィールドの説明
UUID	サーバーのシリアル番号
hostname	ホスト名
instance_id	ランダムに生成された Logtail 固有の識別子
ip	Logtail の取得した IP アドレス。フィールドが空の場合、Logtail は IP アドレスを取得できず、正常に動作していないことになります。この場合は、サーバーに IP アドレスを設定して Logtail を再起動します。注マシングループの識別に IP アドレスを使用している場合、本フィールドはマシングループに設定されている IP アドレスになっているはずです。サーバーに誤った IP アドレスを設定していた場合には、マシングループの IP アドレスを修正し、1 分後に再度ご確認ください。
logtail_version	Logtail クライアントのバージョン
os	OS のバージョン
update_time	Logtail の最終起動時間

ファイルアドレス

Linux: /usr/local/ilogtail/app_info.json
コンテナ: /usr/local/ilogtail/app_info.json
Windows
- x64: C:\Program Files (x86)\Alibaba\Logtail\app_info.json
- x32: C:\Program Files\Alibaba\Logtail\app_info.json

ファイル例

$cat /usr/local/ilogtail/app_info.json
{
   "UUID" : "",
   "hostname" : "logtail-ds-slpn8",
   "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_172.20.3.158_1536053315",
   "ip" : "172.20.3.158",
   "logtail_version" : "0.16.13",
   "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
   "update_time" : "2018-09-04 09:28:36"
}

Logtail 操作ログファイル(ilogtail.LOG)

Logtail クライアントに関する実行中の情報が含まれています。ログは INFO、WARN、ERROR の順に重要度が高くなります。 INFO タイプのログは無視して構いません。

注

収集のエラー診断を実施し、エラーおよび Logtail 操作ログをもとにトラブルシューティングします。
Logtail 収集の例外に関して、チケットを起票して、サポートセンターにお問い合わせの際は、本ファイルを添付してください。

ファイルアドレス

Linux: /usr/local/ilogtail/ilogtail.LOG
コンテナ: /usr/local/ilogtail/ilogtail.LOG
Windows
- x64: C:\Program Files (x86)\Alibaba\Logtail\logtail_*.log
- x32: C:\Program Files\Alibaba\Logtail\logtail_*.log

ファイル例

$tail /usr/local/ilogtail/ilogtail.LOG
[2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/
[2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-2/ilogtail_config.json
[2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{
   "config_server_address" : "http://logtail.ap-southeast-2-intranet.log.aliyuncs.com",
   "data_server_list" : [
      {
         "cluster" : "ap-southeast-2",
         "endpoint" : "ap-southeast-2-intranet.log.aliyuncs.com"
      }
]

Logtail プラグインログファイル (logtail_plugin.LOG)

コンテナの標準出力、binlog、http プラグイン、その他プラグインに関する実行中の情報が含まれています。ログは、INFO 、WARN、ERRORの順に重要度が高くなります。INFO タイプのログは無視していただいて構いません。

CANAL_RUNTIME_ALARM といったプラグインエラーがあり、収集例外を診断を実施する際は、Logtail プラグインログのエラーをもとにトラブルシューティングします。

注プラグイン例外に関して、チケットを起票して、サポートセンターにお問い合わせの際は、本ファイルを添付してください。

ファイルアドレス

Linux: /usr/local/ilogtail/logtail_plugin.LOG
コンテナ: /usr/local/ilogtail/logtail_plugin.LOG
Windows: プラグインのログには対応していません。

ファイル例

$tail /usr/local/ilogtail/logtail_plugin.LOG
2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

コンテナパスマッピングファイル (docker_path_config.json)

コンテナファイルが収集されるときにのみ自動生成されるファイルです。コンテナファイルのパスと実際のファイルパスとのマッピングが記録されます。JSON 形式のファイルです。

収集のエラー診断を実施する際、DOCKER_FILE_MAPPING_ALARM エラー報告がある場合、Logtail は Docker ファイルマッピングに追加することができません。エラーのトラブルシューティングに本ファイルを使用します。

注

情報のみが含まれているファイルです。ファイルに変更を加えても何の効果もありません。ファイルが削除された場合には自動的に再生成されます。サービスには影響ありません。
コンテナログの収集に例外が発生に関し、チケットを起票して、サポートセンターにお問い合わせの際は、本ファイルを添付してください。

ファイルアドレス

/usr/local/ilogtail/ilogtail_config.json

ファイル例

$cat /usr/local/ilogtail/docker_path_config.json
{
   "detail" : [
      {
         "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
         "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
         "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n"
      }
   ],
   "version" : "0.1.0"
}