Simple Log Service:Logtail のネットワークタイプ、起動パラメーター、および構成ファイル

ネットワークタイプと選択

Logtail をインストールする際には、サーバーと Simple Log Service の関係に基づいて適切なネットワークタイプを選択することで、ログデータの転送をより高速かつ安定させることができます。ネットワークタイプの選択例は次のとおりです。

1. Simple Log Service コンソール にログオンします。[プロジェクト概要] ページに移動し、次の図に示すように [アクセラレーションエンドポイント] を有効にします。

2. ダイアログボックスのプロンプトを読み、[確認] をクリックします。

3. 次のいずれかの方法で、Logtail のログ収集アクセラレーションを構成します。

   転送アクセラレーションを使用して Logtail をインストールする

   Logtail をインストールする前に転送アクセラレーションを有効にした場合は、転送アクセラレーションを使用して Logtail をインストールする ことができます。

   Logtail 構成を変更する

   転送アクセラレーションを有効にする前に Logtail をインストールしている場合は、Logtail 構成を変更する必要があります。

   1. Logtail を停止します。

      • Linux:

        sudo /etc/init.d/ilogtaild stop コマンドを実行します。

      • Windows:

        1. [スタート] > [コントロールパネル] > [管理ツール] > [サービス] を選択します。

        2. [サービス] ダイアログボックスで、LogtailDaemon サービス (Logtail V1.0.0.0 以降) または LogtailWorker サービス (Logtail V0.x.x.x) を見つけます。それを右クリックし、[停止] を選択します。

   2. Logtail 起動構成ファイル ilogtail_config.json を変更します。

      data_server_list パラメーターの endpoint 行を log-global.aliyuncs.com に置き換えます。ファイルパスについては、起動パラメーター構成ファイル (ilogtail_config.json) を参照してください。

   3. Logtail を起動します。

      • Linux:

        sudo /etc/init.d/ilogtaild start コマンドを実行します。

      • Windows:

        1. [スタート] > [コントロールパネル] > [管理ツール] > [サービス] を選択します。

        2. [サービス] ダイアログボックスで、LogtailDaemon サービス (Logtail V1.0.0.0 以降) または LogtailWorker サービス (Logtail V0.x.x.x) を見つけます。それを右クリックし、[開始] を選択します。

関連操作の詳細については、「転送アクセラレーション機能を使用する」をご参照ください。

シナリオ

推奨パラメーター値

完全正規表現モードとデリミタモードでの Logtail のパフォーマンスは JSON モードと同様ですが、シンプルモードは 5 倍高速です。データの複雑さ、ルール、およびディレクトリとファイルの数によって、CPU とメモリの使用状況は異なります。次の推奨パラメーター値とビジネスニーズに応じてパラメーターを構成します。

• サーバー環境

  パラメーター	収集レート
  	デフォルト	10 MB/s 超	20 MB/s 超	40 MB/s 超
  cpu_usage_limit	0.4	1	2	4
  mem_usage_limit	384	1024	2048	4096
  max_bytes_per_sec	20971520	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	4	20	40	80

• コンテナーまたは Kubernetes 環境

  環境変数	収集レート
  	デフォルト	10 MB/s 超	20 MB/s 超	40 MB/s 超
  cpu_usage_limit	2	3	5	9
  mem_usage_limit	2048	2048	2048	4096
  max_bytes_per_sec	209715200	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	20	20	40	80
  resources.limits.cpu	500m	1000m	2000m	4000m
  resources.limits.memory	2 Gi	2 Gi	3 Gi	5 Gi

  次のセクションでは、コンテナーまたは Kubernetes 環境で Logtail の起動パラメーターを変更する方法について説明します。

  • Alibaba Cloud Kubernetes クラスターにデプロイされた Logtail-ds 1.7.3 以降の場合は、Container Service for Kubernetes コンソール で起動パラメーターを変更します。[コンポーネント] ページで、logtail-ds コンポーネントの対応するパラメーターを変更します。

  • セルフマネージド コンテナーまたは Kubernetes クラスターにデプロイされた Logtail-ds 1.7.3 以降の場合は、DaemonSet 関連の環境変数を変更することで、Logtail の起動パラメーターを変更します。一部の環境では ConfigMap を参照します。ConfigMap のパスは configmap > kube-system > alibaba-log-configuration です。

  • Logtail-ds 1.7.3 より前の Logtail の場合は、DaemonSet 関連の環境変数を変更することで、Logtail の起動パラメーターを変更します。一部の環境では ConfigMap を参照します。ConfigMap のパスは configmap > kube-system > alibaba-log-configuration です。また、コンテナーのリソース制限を回避するために、resources.limits.cpuresources.limits.memorydaemonset > kube-system > logtail-ds の と を調整する必要があります。

40 MB/s の収集レート値に基づいて Logtail を構成すると、そのパフォーマンスは最大制限に近づきます。スレッド数を増やしても、パフォーマンスは大幅に向上しません。次の表は、さまざまなモードでの Logtail のパフォーマンス制限を示しています。

起動パラメーターを構成する

1. Logtail がインストールされているサーバーで、/usr/local/ilogtail/ilogtail_config.json ファイルを開きます。

   コンテナーまたは Kubernetes クラスターの場合は、DaemonSet 関連の環境変数を使用して Logtail パラメーターを調整します。一部の環境では、configmap > kube-system > alibaba-log-configuration にある ConfigMap を使用します。

2. 必要に応じて起動パラメーターを構成します。

   次の例は、Logtail の起動パラメーターを示しています。

   {
       ...
       "cpu_usage_limit" : 0.4, // CPU使用率の制限
       "mem_usage_limit" : 384, // メモリ使用量の制限 (MB単位)
       "max_bytes_per_sec" : 20971520, // 1秒あたりの最大バイト数
       "process_thread_count" : 1, // 処理スレッド数
       "send_request_concurrency" : 4, // 送信リクエストの同時実行数
       "buffer_file_num" : 25, // バッファファイル数
       "buffer_file_size" : 20971520, // バッファファイルサイズ (バイト単位)
       "buffer_file_path" : "", // バッファファイルパス
       ...
   }

   次の表に、一般的な Logtail 起動パラメーターを示します。その他のパラメーターについては、デフォルト値を保持します。必要に応じてパラメーターを追加または変更します。

   表 1. Logtail の起動パラメーター

   パラメーター	タイプ	説明	例
   cpu_usage_limit	double	Logtail の CPU 使用率のしきい値。計算はシングルコアに基づいています。 有効な値：0.1 から現在のサーバーの CPU コア数まで デフォルト値：0.4 警告 cpu_usage_limit はソフト制限です。つまり、Logtail の CPU 使用率がこの制限を超える可能性があります。これが 5 分以上続くと、サーキットブレークが発生し、Logtail が自動的に再起動します。 たとえば、このパラメーターを 0.4 に設定すると、Simple Log Service は Logtail の CPU 使用率をシングルコアの 40% に制限しようとします。CPU 使用率がしきい値を超えると、Logtail は自動的に再起動します。 ほとんどの場合、シングルコアはシンプルモードで約 100 MB/s、完全正規表現モードで約 20 MB/s の収集速度をサポートします。 説明 バージョン Logtail-ds 1.7.3 以降の Logtail が Alibaba Cloud Kubernetes クラスターにデプロイされている場合は、Container Service for Kubernetes コンソール で CPU 使用率のしきい値を設定することをお勧めします。[コンポーネント] ページで、LogtailDSLimitCPU パラメーターを logtail-ds コンポーネントで変更します。詳細については、「コンポーネントを管理する」をご参照ください。	"cpu_usage_limit" : 0.4
   mem_usage_limit	int	Logtail のメモリ使用量のしきい値。単位：MB。 有効な値：128 から 8192 まで デフォルト値：ホスト環境の場合は 384、ACK コンポーネントの場合は 2048 警告 mem_usage_limit パラメーターはソフト制限です。Logtail の実際のメモリ使用量がしきい値を超える可能性があります。メモリ使用量が 5 分以上しきい値を超えると、サーキットブレークがトリガーされ、Logtail が自動的に再起動します。 収集レート、監視対象のディレクトリとファイルの数、および送信ブロッキングの程度は、mem_usage_limit パラメーターに関連しています。詳細については、「Logtail の制限」をご参照ください。 説明 バージョン Logtail-ds 1.7.3 以降の Logtail が Alibaba Cloud Kubernetes クラスターにデプロイされている場合は、Container Service for Kubernetes コンソール でメモリ使用量のしきい値を設定することをお勧めします。[コンポーネント] ページで、LogtailDSLimitMemory パラメーターを logtail-ds コンポーネントで変更します。詳細については、「コンポーネントを管理する」をご参照ください。	"mem_usage_limit" : 384
   max_bytes_per_sec	int	Logtail が生データを送信する最大速度。単位：1 秒あたりのバイト数。 有効な値：1024 から 52428800 まで デフォルト値：20971520 重要 パラメーターを 20971520 より大きい値に設定すると、Logtail がデータを送信する速度は制限されません。値 20971520 は、速度が 20 MB/s であることを示します。 たとえば、このパラメーターを 2097152 に設定すると、Logtail がデータを送信する速度は 2 MB/s になります。 説明 バージョン Logtail-ds 1.7.3 以降の Logtail が Alibaba Cloud Kubernetes クラスターにデプロイされている場合は、Container Service for Kubernetes コンソール でフロー制限を設定することをお勧めします。[コンポーネント] ページで、LogtailDSMaxBytePerSec パラメーターを logtail-ds コンポーネントで変更します。詳細については、「コンポーネントを管理する」をご参照ください。	"max_bytes_per_sec" : 2097152
   process_thread_count	int	Logtail がデータの処理に使用するスレッドの数。 有効な値：1 から 64 まで デフォルト値：1 ほとんどの場合、スレッドはシンプルモードで 24 MB/s、完全正規表現モードで 12 MB/s の書き込み速度を提供します。このパラメーターにはデフォルト値を保持することをお勧めします。 説明 バージョン Logtail-ds 1.7.3 以降の Logtail が Alibaba Cloud Kubernetes クラスターにデプロイされている場合は、Container Service for Kubernetes コンソール でスレッド数を設定することをお勧めします。[コンポーネント] ページで、LogtailDSProcessThreadCount パラメーターを logtail-ds コンポーネントで変更します。詳細については、「コンポーネントを管理する」をご参照ください。	"process_thread_count" : 1
   send_request_concurrency	int	Logtail がデータを非同期に送信するために送信できる同時リクエストの数。 有効な値：1 から 50 まで デフォルト値：20 Simple Log Service が高いトランザクション/秒 (TPS) を提供する場合、このパラメーターをより大きな値に設定できます。各同時リクエストは、0.5 MB/s から 1 MB/s のネットワークスループットをサポートします。同時リクエストの実際のネットワークスループットは、ネットワークレイテンシによって異なります。 説明 このパラメーターを大きな値に設定すると、多くのネットワークポートが占有される可能性があります。TCP 関連のパラメーターを調整する必要があります。 Alibaba Cloud Kubernetes クラスターにデプロイされた Logtail-ds 1.7.3 以降の場合は、Container Service for Kubernetes コンソール で同時リクエスト数を設定します。[コンポーネント] ページで、LogtailDSSendRequestConcurrency パラメーターを logtail-ds コンポーネントで変更します。詳細については、「コンポーネントを管理する」をご参照ください。	"send_request_concurrency" : 4
   buffer_file_num	int	キャッシュできるファイルの最大数。 有効な値：1 から 100 まで デフォルト値：25 ネットワークエラーまたはデータ書き込み制限に達した場合、Logtail は解析済みログをインストールディレクトリにローカルにキャッシュします。生ログをリアルタイムで解析し、問題が解決したらキャッシュされたログの送信を再試行します。	"buffer_file_num" : 25
   buffer_file_size	int	キャッシュされたファイルの最大サイズ。単位：バイト。 有効な値：1048576 から 104857600 まで デフォルト値：20971520 キャッシュファイルが使用できるディスク容量の最大値は、buffer_file_size × buffer_file_num です。	"buffer_file_size" : 20971520
   buffer_file_path	String	キャッシュファイルが格納されるディレクトリ。このパラメーターはデフォルトで空であり、キャッシュファイルが Logtail インストールディレクトリ /usr/local/ilogtail に格納されることを示します。 このパラメーターを設定した後、logtail\_buffer\_file_* で始まる名前のファイルを元のディレクトリから新しいディレクトリに手動で移動する必要があります。Logtail はキャッシュファイルを読み取り、ファイルが送信された後に削除できます。	"buffer_file_path" : ""
   bind_interface	String	Logtail がインストールされているサーバーに関連付けられているネットワークインターフェースコントローラー (NIC) の名前。このパラメーターはデフォルトで空であり、サーバーが使用可能な NIC に自動的に関連付けられることを示します。 このパラメーターに値 (eth1 など) を指定すると、Logtail は NIC を使用してログをアップロードします。 このパラメーターは、Logtail が Linux サーバーで実行されている場合にのみ使用できます。	"bind_interface" : ""
   check_point_filename	String	Logtail チェックポイントファイルが格納されるパス。デフォルト値：/tmp/logtail_check_point。 Docker または Kubernetes を使用する場合は、「iLogtail コンテナーの再起動に関するデータの信頼性についての考察」を参照してこのパラメーターを構成することをお勧めします。これにより、Logtail コンテナーの再起動時にチェックポイント情報が失われたことによるログ収集の重複または損失を防ぐことができます。	「check_point_filename」: /tmp/logtail_check_point
   check_point_dump_interval	int	Logtail がチェックポイントファイルを更新する間隔です。デフォルト値：900。単位：秒。デフォルト値を保持する場合、Logtail は 15 分間隔でチェックポイントファイルを更新します。 このパラメーターは、Linux Logtail V1.0.19 以降、または Windows Logtail V1.0.19.0 以降でのみ使用できます。	"check_point_dump_interval" : 900
   ユーザー設定ファイルパス	文字列	Logtail 構成ファイルが保存されているパス。デフォルト値は、バイナリファイルが配置されているディレクトリです。ファイル名は user_log_config.json です。 Docker または Kubernetes を使用している場合は、iLogtail コンテナーの再起動に関するデータの信頼性についての考察 を参照して、このパラメーターを構成することをお勧めします。これにより、Logtail コンテナーの再起動時にログ コレクションの重複や損失を防ぐことができます。	「user_config_file_path」: user_log_config.json
   Dockerfile キャッシュ パス	文字列	このファイルは、コンテナーログファイルとホストログファイル間のパス マッピングを記録します。デフォルト値は /usr/local/ilogtail/docker_path_config.json です。 Docker または Kubernetes を使用している場合は、iLogtail コンテナーの再起動に関するデータの信頼性についての考察 を参照して、このパラメーターを設定することをお勧めします。これにより、Logtail コンテナーの再起動時にログ収集の重複や損失を防ぐことができます。 このパラメーターは、Linux Logtail V0.16.54 以降、または Windows Logtail V0.16.54.0 以降でのみ使用できます。	「docker_file_cache_path」: /usr/local/ilogtail/docker_path_config.json
   discard_old_data	ブール値	履歴ログを破棄するかどうかを指定します。デフォルト値は true で、現在の時刻より 12 時間以上前に生成されたログが破棄されることを示します。	"discard_old_data" : true
   ilogtail_discard_interval	int	ログを破棄する時間しきい値。ログが生成された時間と現在の時間の差がこのしきい値を超えると、ログは破棄されます。デフォルト値：43200（12 時間）。単位：秒。	"ilogtail_discard_interval": 43200
   作業 IP	文字列	このパラメーターはデフォルトで空であり、IP アドレスがこのサーバーから自動的に取得されることを示します。変更後、Logtail はこの値を Simple Log Service にレポートされるサーバー IP アドレスとして使用します。	「working_ip」 : ""
   working_hostname	String	Logtail によって Simple Log Service にレポートされるサーバーのホスト名です。このパラメーターはデフォルトでは空であり、Simple Log Service が Logtail がインストールされているサーバーのホスト名を自動的に取得することを示します。	"working_hostname" : ""
   max_read_buffer_size	long	Logtail が読み取ることができるログの最大サイズです。デフォルト値：524288（512 KB）。最大値：8388608（8 MB）。単位：バイト。 ログのサイズが 524,288 バイトを超える場合は、このパラメーターの値を変更します。	"max_read_buffer_size" : 524288
   oas_connect_timeout	long	Logtail 構成または AccessKey ペアを取得するために Logtail がリクエストを送信して確立する接続のタイムアウト期間です。デフォルト値：5。単位：秒。 ネットワークの状態が悪いためにタイムアウト期間内に接続を確立できない場合は、このパラメーターの値を変更します。	"oas_connect_timeout" : 5
   oas_request_timeout	long	Logtail 構成または AccessKey ペアを取得するために Logtail から送信されるリクエストのタイムアウト期間です。デフォルト値：10。単位：秒。 ネットワークの状態が悪いためにタイムアウト期間内に接続を確立できない場合は、このパラメーターの値を変更します。	"" : 10
   data_server_port	long	data_server_port を 443 に設定すると、Logtail は HTTPS 経由で Simple Log Service にデータを送信します。 このパラメーターは、Linux Logtail V1.0.10 以降または Windows Logtail V1.0.10.0 以降でのみ使用できます。	"data_server_port": 443
   enable_log_time_auto_adjust	ブール値	enable_log_time_auto_adjust を true に設定すると、ログ時間はサーバーのローカル時間に合わせて調整されます。 セキュリティを確保するため、Simple Log Service は Logtail からのリクエストを含め、リクエストのタイミングをチェックします。リクエストはサーバーのローカル時間を反映していると想定し、Simple Log Service の時間から 15 分前または後のリクエストは拒否されます。テスト中にサーバーの時間が未来に変更された場合、Simple Log Service は Logtail のリクエストを拒否し、データの書き込みを阻止します。このパラメーターを使用して、ログ時間をサーバーのローカル時間と一致させます。 このパラメーターは、Linux Logtail V1.0.19 以降、または Windows Logtail V1.0.19.0 以降でのみ使用できます。 重要 enable_log_time_auto_adjust を true に設定すると、Simple Log Service の時間と Logtail サーバー時間のオフセットがログ時間に追加されます。このオフセットは、リクエストが拒否されたときにのみ更新されるため、クエリされたログ時間は書き込み時間と異なる場合があります。 一部の Logtail 機能は、システム時間の変更に依存します。サーバーのローカル時間を調整した後、Logtail を再起動してください。	"enable_log_time_auto_adjust": true
   accept_multi_config	ブール値	複数のLogtail設定を使用して、Logtailが同じファイルからデータを収集できるようにするかどうかを指定します。 デフォルト値: falseです。これは、Logtailが複数のLogtail設定を使用して同じファイルからデータを収集できないことを示します。デフォルトでは、ファイルは1つのLogtail設定で収集されます。 このパラメーターでこの制限を削除できます。 各構成は別々に処理されます。 同じファイルに対して複数の設定を許可すると、CPUとメモリの使用量が増加します。このパラメーターは、Linux Logtail V0.16.26以降またはWindows Logtail V0.16.26.0以降でのみ使用できます。	「accept_multi_config」: true
   enable_checkpoint_sync_write	ブール値	同期書き込み機能を有効にするかどうかを指定します。デフォルト値: false。同期書き込み機能が無効になっていることを示します。 同期書き込み機能は、ExactlyOnce 書き込み機能と連携して動作します。ExactlyOnce が有効になっている場合、Logtail はディスク上に正確なファイルレベルのチェックポイントを作成します。通常、Logtail はパフォーマンスのために同期機能をスキップしますが、再起動時にバッファリングされたデータが保存されない場合、チェックポイントが失われるリスクがあります。enable_checkpoint_sync_write を true に設定すると、同期書き込みが有効になり、データ損失を防ぐことができます。詳細については、「Logtail 構成」をご参照ください。 このパラメーターは、Linux Logtail V1.0.20 以降、または Windows Logtail V1.0.20.0 以降でのみ使用できます。	"enable_checkpoint_sync_write": false
   enable_env_ref_in_config	ブール値	Logtail 構成で環境変数の置換機能を有効にするかどうかを指定します。デフォルト値: false。 この機能を有効にすると、コンソールの Logtail 構成で、環境変数 xxx のプレースホルダーとして ${xxx} を使用できます。たとえば、コレクションパスを /${xxx}/logs に設定し、環境変数を xxx=user に設定した場合、有効になるコレクションパスは /user/logs です。 構成で ${ または } を使用する場合は、エスケープするために $${ または $} を使用します。 このパラメーターは、Linux Logtail V1.0.31 以降、または Windows Logtail V1.0.31.0 以降でのみ使用できます。	"enable_env_ref_in_config": false
   docker_config_update_interval	int	コンテナー パスの更新が行われる最小間隔です。 このパラメーターは、max_docker_config_update_times パラメーターと併用されます。いずれかのパラメーターがしきい値に達すると、コンテナー パスは更新されなくなります。 Linux Logtail V1.0.32 以降または Windows Logtail V1.0.32.0 以降では、デフォルト値は 3 です。単位：秒。 Linux Logtail V1.0.32 より前、または Windows Logtail V1.0.32.0 より前のバージョンでは、デフォルト値は 10 です。単位：秒。	"docker_config_update_interval": 3
   max_docker_config_update_times	int	3 分以内にコンテナー パスを更新できる最大回数です。デフォルトでは、3 分以内にコンテナー パスが 3 回以上更新された場合、その期間が終了するまでコンテナー パスを再度更新することはできません。 Linux Logtail V1.0.32 以降または Windows Logtail V1.0.32.0 以降では、デフォルト値は 10 です。 Linux Logtail V1.0.32 より前、または Windows Logtail V1.0.32.0 より前のバージョンでは、デフォルト値は 3 です。	"max_docker_config_update_times": 10
   DOCKER_HOST	String	Docker と通信するために使用されるソケットアドレス。環境変数を使用して構成する必要があります。 このパラメーターはデフォルトで空であり、デフォルトのソケットアドレス unix:///var/run/docker.sock が使用されることを示します。	DOCKER_HOST=unix:///var/run/docker.sock
   CONTAINERD_SOCK_PATH	String	containerd と通信するために使用されるソケットアドレスです。環境変数を使用して構成する必要があります。 このパラメーターはデフォルトでは空であり、デフォルトのソケットアドレス unix:///run/containerd/containerd.sock が使用されることを示します。 K3s クラスターを使用する場合は、デフォルトのソケットアドレスを例で示されている値に変更できます。	CONTAINERD_SOCK_PATH=/run/k3s/containerd/containerd.sock
   logreader_max_rotate_queue_size	Int	ファイルがローテーションされるキューの最大長です。デフォルト値：20。ログ収集がブロックまたは遅延された場合、ログを収集するファイルにはファイルハンドルが割り当てられ、キューで待機します。 ログ収集が遅延し、最大ディスク使用量を管理する必要がある場合は、このパラメーターをより小さい値に設定できます。 警告 遅延ファイルの数がこのパラメーターの値を超えると、Logtail は新しいファイルからログを収集しません。	"logreader_max_rotate_queue_size" : 10
   force_release_deleted_file_fd_timeout	Int	コンテナーの終了後、またはファイルの削除後、指定された時間内にハンドルが解放されます。この時間を設定できます。デフォルト値： -1（機能が無効になっていることを示します）。値 0 は即時解放を意味します。単位：秒。 このパラメーターを設定して、containerd コンテナーの最大破棄待機時間を制御します。 警告 ログ収集の待機時間が指定された期間を超えると、収集されていないデータは失われます。	"force_release_deleted_file_fd_timeout" : 0
   data_endpoint_policy	文字列	Logtail のエンドポイントスイッチオーバーポリシー。 説明 data_server_list パラメーターで ilogtail_config.json ファイルにデフォルトエンドポイントが構成されているかどうかを確認できます。詳細については、「起動パラメーター構成ファイル (ilogtail_config.json)」をご参照ください。 designated_first (デフォルト) リージョンのデフォルトエンドポイントが指定されていて、デフォルトエンドポイントが使用可能な場合、システムはデフォルトエンドポイントを使用します。 リージョンのデフォルトエンドポイントが指定されていて、デフォルトエンドポイントが使用できない場合、システムは自動的に別の使用可能なエンドポイントを選択します。 リージョンのデフォルトエンドポイントが指定されていない場合、システムは自動的に使用可能なエンドポイントを選択します。 designated_locked リージョンのデフォルトエンドポイントが指定されている場合、エンドポイントが使用可能かどうかに関係なく、システムはデフォルトエンドポイントを使用します。 リージョンのデフォルトエンドポイントが指定されていない場合、システムは自動的に使用可能なエンドポイントを選択します。 このパラメーターは、Linux Logtail V1.5.0 以降または Windows Logtail V1.5.0.0 以降でのみ使用できます。	"data_endpoint_policy" : "designated_first"
   inotify_black_list	Array<String>	inotify のブラックリスト。完全一致のみがサポートされています。inotify は、ブラックリストで指定されたディレクトリをリッスンしません。	"inotify_black_list": ["/tmp"]
   host_path_blacklist	文字列	グローバル ホスト パス ブラックリスト。部分文字列一致のみがサポートされています。 Linux サーバーでは、複数部分文字列をコロン (:) で区切ります。 Windows サーバーでは、複数部分文字列をセミコロン (;) で区切ります。 たとえば、"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-" は、NAS マウントからのデータ収集が禁止されていることを示します。 このパラメーターは、Linux Logtail V1.8.0 以降または Windows Logtail V1.8.0.0 以降でのみ使用できます。	"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-"
   LOGTAIL_LOG_LEVEL	String	ログのレベル。環境変数を使用してログレベルを設定する必要があります。このパラメーターはデフォルトで空であり、ログレベルが info であることを示します。有効な値：trace、debug、info、warning、error、および fatal。 このパラメーターは、Linux Logtail V1.8.0 以降、または Windows Logtail V1.8.0.0 以降でのみ使用できます。	LOGTAIL_LOG_LEVEL=info
   FORCE_RELEASE_STOP_CONTAINER_FILE	ブール値	設定方法: このパラメーターは、環境変数を使用してのみ設定できます。 機能説明: このパラメーターを true に設定すると、アプリケーション コンテナーの終了時に Logtail はコンテナー ファイルハンドルを即座に解放します。 この操作により、ファイルハンドルが解放されないためにコンテナーが正常に終了できないことを防ぎます。 注意事項: この場合、コンテナーからのデータ収集の完全性は保証されません。 ログを完全に収集できるように、ビジネスの終了前に数秒の遅延を追加することをお勧めします。 サポートされているエディション: Linux Logtail V2.1.6 以降	"FORCE_RELEASE_STOP_CONTAINER_FILE" : "true"

3. 構成を有効にするには、Logtail を再起動します。

   /etc/init.d/ilogtaild stop && /etc/init.d/ilogtaild start                        

   再起動後、/etc/init.d/ilogtaild status コマンドを実行して、Logtail のステータスを確認できます。

付録: 環境変数

スタートアップ パラメーター構成ファイル（ilogtail_config.json）

• ファイルパス

  • サーバー環境

    オペレーティング システム	Logtail	ilogtail_config.json ファイルのパス
    Linux	Logtail ( 64 ビット)	/usr/local/ilogtail/ilogtail_config.json
    Windows ( 64 ビット)	Logtail ( 64 ビット)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json
    	Logtail ( 32 ビット)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json 説明 64 ビット Windows オペレーティング システムでは、32 ビット アプリケーションと 64 ビット アプリケーションを実行できます。互換性を確保するために、オペレーティング システムは 32 ビット アプリケーションを別の x86 ディレクトリに保存します。
    Windows ( 32 ビット)	Logtail ( 32 ビット)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json

  • コンテナー環境

    ilogtail_config.json ファイルは Logtail コンテナーに保存されます。ファイルパスは、Logtail コンテナーの ALIYUN_LOGTAIL_CONFIG 環境変数で構成されます。docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIG コマンドを実行して、ファイルパスを表示できます。例：/etc/ilogtail/conf/cn-hangzhou/ilogtail_config.json。

• ファイル例

  $cat /usr/local/ilogtail/ilogtail_config.json
  {
      "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
      "data_server_list" :
      [
          {
              "cluster" : "cn-hangzhou",
              "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
          }
      ],
      "cpu_usage_limit" : 0.4,
      "mem_usage_limit" : 100,
      "max_bytes_per_sec" : 2097152,
      "process_thread_count" : 1,
      "send_request_concurrency" : 4,
      "streamlog_open" : false
  }

ユーザー識別子ファイル

このファイルには、Alibaba Cloud アカウントの ID が含まれています。このファイルは、アカウントが Logtail がインストールされているサーバーにアクセスし、サーバーからログを収集することを承認されていることを指定します。詳細については、「ユーザー識別子を構成する」をご参照ください。

• ファイルパス

  • サーバー環境

    • Linux: /etc/ilogtail/users/.

    • Windows: C:\LogtailData\users\.

  • コンテナー環境

    ユーザー識別子は、Logtail コンテナーの ALIYUN_LOGTAIL_USER_ID 環境変数に保存されます。docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_ID コマンドを実行して表示します。

• ファイル例

  $ls /etc/ilogtail/users/

カスタム識別子ファイル (user_defined_id)

user_defined_id ファイルは、カスタム識別子を構成するために使用されます。詳細については、「カスタム識別子ベースのマシングループを作成する」をご参照ください。

• ファイルパス

  • ホスト環境

    • Linux: /etc/ilogtail/user_defined_id.

    • Windows: C:\LogtailData\user_defined_id.

  • コンテナ環境

    カスタム識別子は、Logtail コンテナの ALIYUN_LOGTAIL_USER_DEFINED_ID 環境変数で構成されます。docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID コマンドを実行して表示します。

• ファイル例

  $cat /etc/ilogtail/user_defined_id
  aliyun-ecs-rs1e16355

Logtail 構成ファイル (user_log_config.json)

user_log_config.json ファイルには、Simple Log Service から取得した Logtail 構成情報が記録されます。このファイルは JSON 形式で、Logtail 構成が更新されるたびに同期的に更新されます。このファイルを使用して、Logtail 構成がサーバーに配信されているかどうかを確認できます。 Logtail 構成ファイルが存在し、その内容が Simple Log Service の Logtail 構成と一致する場合は、Logtail 構成が配信されています。

• ファイルパス

  • ホスト環境

    オペレーティングシステム	Logtail	user_log_config.json ファイルのパス
    Linux	Logtail ( 64 ビット)	/usr/local/ilogtail/user_log_config.json
    Windows ( 64 ビット)	Logtail ( 64 ビット)	C:\Program Files\Alibaba\Logtail\user_log_config.json
    	Logtail ( 32 ビット)	C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json 説明 64 ビット Windows オペレーティングシステムでは、32 ビットアプリケーションと 64 ビットアプリケーションを実行できます。 互換性を確保するために、オペレーティングシステムは 32 ビットアプリケーションを別の x86 ディレクトリに保存します。
    Windows ( 32 ビット)	Logtail ( 32 ビット)	C:\Program Files\Alibaba\Logtail\user_log_config.json

  • コンテナー環境

    user_log_config.json ファイルは、Logtail コンテナーに保存されます。 ファイルパスは /usr/local/ilogtail/user_log_config.json です。

• ファイル例

  $cat /usr/local/ilogtail/user_log_config.json
  {
     "metrics" : {
        "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
           "aliuid" : "16542189*****50",
           "category" : "app-java", // カテゴリ
           "create_time" : 1534739165, // 作成時間
           "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com", // デフォルトエンドポイント
           "delay_alarm_bytes" : 0,
           "enable" : true, // 有効化
           "enable_tag" : true, // タグの有効化
           "filter_keys" : [], // フィルターキー
           "filter_regs" : [], // フィルター正規表現
           "group_topic" : "", // グループ Topic
           "local_storage" : true, // ローカルストレージ
           "log_type" : "plugin", // ログタイプ
           "log_tz" : "", // ログタイムゾーン
           "max_send_rate" : -1, // 最大送信レート
           "merge_type" : "topic", // マージタイプ
           "plugin" : { // プラグイン
              "inputs" : [ // 入力
                 {
                    "detail" : { // 詳細
                       "IncludeEnv" : { // 環境変数の包含
                          "aliyun_logs_app-java" : "stdout" // 標準出力
                       },
                       "IncludeLable" : { // ラベルの包含
                          "io.kubernetes.container.name" : "java-log-demo-2", // コンテナ名
                          "io.kubernetes.pod.namespace" : "default" // 名前空間
                       },
                       "Stderr" : true, // 標準エラー出力
                       "Stdout" : true // 標準出力
                    },
                    "type" : "service_docker_stdout" // Docker 標準出力サービス
                 }
              ]
           },
           "priority" : 0, // 優先度
           "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b", // プロジェクト名
           "raw_log" : false, // 生ログ
           "region" : "cn-hangzhou", // リージョン
           "send_rate_expire" : 0, // 送信レートの有効期限
           "sensitive_keys" : [], // 機密キー
           "tz_adjust" : false, // タイムゾーン調整
           "version" : 1 // バージョン
        }
     }
  }

AppInfo レコードファイル (app_info.json)

app_info.json ファイルは、起動時間、取得した IP アドレス、ホスト名など、Logtail に関する情報を記録します。

• ファイルパス

  • ホスト環境

    オペレーティングシステム	Logtail	app_info.json ファイルのパス
    Linux	Logtail (64 ビット)	/usr/local/ilogtail/app_info.json
    Windows (64 ビット)	Logtail (64 ビット)	C:\Program Files\Alibaba\Logtail\app_info.json
    	Logtail (32 ビット)	C:\Program Files (x86)\Alibaba\Logtail\app_info.json 説明 64 ビット Windows オペレーティングシステムでは、32 ビットアプリケーションと 64 ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは 32 ビットアプリケーションを別の x86 ディレクトリに保存します。
    Windows (32 ビット)	Logtail (32 ビット)	C:\Program Files\Alibaba\Logtail\app_info.json

  • コンテナー環境

    app_info.json ファイルは、Logtail コンテナーに保存されます。ファイルパスは /usr/local/ilogtail/app_info.json です。

• ファイル例

  $cat /usr/local/ilogtail/app_info.json
  {
     "UUID" : "",
     "hostname" : "logtail-ds-slpn8",
     "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315",
     "ip" : "1**.***.***.***",
     "logtail_version" : "0.16.13",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-09-04 09:28:36"
  }

  フィールド	説明
  UUID	サーバーのシリアル番号。
  hostname	ホスト名。
  instance_id	Logtail の一意の識別子。識別子はランダムに生成されます。
  ip	Logtail によって取得された IP アドレス。存在しない場合、このフィールドは空になり、Logtail は正しく機能しません。サーバーの IP アドレスを指定し、Logtail を再起動してください。 説明 マシングループの指定されたIPアドレスがこのフィールドの値と一致することを確認してください。 一致しない場合は、正しい値を確認し、Simple Log ServiceコンソールでマシングループのIPアドレスを更新するか、Logtail 起動パラメーターでworking_ipを変更します。
  logtail_version	Logtail のバージョン。
  os	オペレーティングシステムのバージョン。
  update_time	Logtail の最後の起動時間。

Logtail 操作ログ (ilogtail.LOG)

ilogtail.LOG ファイルには、Logtail の操作ログが記録されます。ログのレベルは昇順で INFO、WARN、ERROR です。INFO レベルのログは無視できます。

• ファイルパス

  • サーバー環境

    オペレーティングシステム	Logtail	ilogtail.LOG ファイルのパス
    Linux	Logtail ( 64 ビット)	/usr/local/ilogtail/ilogtail.LOG
    Windows ( 64 ビット)	Logtail ( 64 ビット)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG
    	Logtail ( 32 ビット)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail.LOG 説明 64 ビット Windows オペレーティングシステムでは、32 ビット アプリケーションと 64 ビット アプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは 32 ビット アプリケーションを別の x86 ディレクトリに保存します。
    Windows ( 32 ビット)	Logtail ( 32 ビット)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG

  • コンテナー環境:

    ilogtail.LOG ファイルは Logtail コンテナーに保存されます。ファイルパスは /usr/local/ilogtail/ilogtail.LOG です。

• ファイル例

  $tail /usr/local/ilogtail/ilogtail.LOG
  [2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/  // 作業ディレクトリ変更:/usr/local/ilogtail/
  [2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json // logtail 設定ファイル読み込み、パス:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
  [2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{ // logtail 設定ファイル読み込み、詳細: {
     "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
     "data_server_list" : [
        {
           "cluster" : "ap-southeast-1",
           "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
        }
  ]

Logtail プラグインログ (logtail_plugin.LOG)

logtail_plugin.LOG ファイルには、Logtail プラグインの操作ログが記録されます。ログのレベルは昇順で INFO、WARN、ERROR です。INFO レベルのログは無視できます。

診断中に [CANAL_RUNTIME_ALARM] エラーが表示された場合は、このファイルを使用してトラブルシューティングを行ってください。

• ファイルパス

  • サーバー環境

    オペレーティングシステム	Logtail	logtail_plugin.LOG ファイルのパス
    Linux	Logtail ( 64 ビット)	/usr/local/ilogtail/logtail_plugin.LOG
    Windows ( 64 ビット)	Logtail ( 64 ビット)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG
    	Logtail ( 32 ビット)	C:\Program Files (x86)\Alibaba\Logtail\logtail_plugin.LOG 説明 64 ビット Windows オペレーティングシステムでは、32 ビット アプリケーションと 64 ビット アプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは 32 ビット アプリケーションを別の x86 ディレクトリに保存します。
    Windows ( 32 ビット)	Logtail ( 32 ビット)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG

  • コンテナー環境

    logtail_plugin.LOG ファイルは Logtail コンテナーに保存されます。ファイルパスは /usr/local/ilogtail/logtail_plugin.LOG です。

• ファイル例

  $tail /usr/local/ilogtail/logtail_plugin.LOG
  2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start // docker fetch all の開始
  2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop // docker fetch all の停止
  2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start // docker fetch all の開始
  2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop // docker fetch all の停止
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963 // 読み取り用にファイルを開く
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963 // 読み取り用にファイルを開く
  2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963 // ファイルを閉じる、理由：読み取りタイムアウトなし
  2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963 // ファイルを閉じる、理由：読み取りタイムアウトなし
  2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start // docker fetch all の開始
  2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop // docker fetch all の停止

コンテナーパス マッピング ファイル (docker_path_config.json)

docker_path_config.json ファイルは、コンテナーログを収集する場合にのみ作成されます。 このファイルには、コンテナー ログ ファイルとホスト ログ ファイル間のパス マッピングが記録されます。

診断中に [DOCKER_FILE_MAPPING_ALARM] エラーが表示された場合は、このファイルを使用してトラブルシューティングを行ってください。

• ファイルパス

  /usr/local/ilogtail/docker_path_config.json

• ファイル例

  $cat /usr/local/ilogtail/docker_path_config.json
  {
     "detail" : [
        {
           "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx", // 設定名
           "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10", // コンテナID
           "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n" // パラメータ
        } 
     ],
     "version" : "0.1.0" // バージョン
  }