表 1. ファイル収集の制限
項目 能力と制限
ファイルエンコーディング UTF-8 と GBK でエンコードされたログファイルがサポートされています。 他の形式でエンコードされたログファイルは、不器用さやデータ損失などの未定義の動作につながります。 処理パフォーマンスを向上させるには、UTF-8 エンコーディングを使用することをお勧めします。
ログファイルサイズ 無制限。
ログファイルのローテーション .log *.logファイルの両方がサポートされています。
ログ解析の輻輳時のログ収集動作 ログ解析で輻輳が発生すると、Logtail FD のオープン状態が維持されます。 輻輳中にログファイルのローテーションが複数回発生すると、Logtail は回転ログの解析シーケンスを保持しようとします。 解析されていない 20 以上のログが回転した場合、Logtail は後続のログファイルを処理しません。 ソフトリンクのサポート詳細は、こちらを参照してください。
シングルログサイズ 監視対象ディレクトリはソフトリンクにすることができます。
シングルログサイズ 各ログのサイズは 512 KB を超えることはできません。 複数行のログが行頭の正規表現で分割されている場合、各ログの最大サイズは 512 KBです。ログサイズが 512 KBを超えると、ログは収集のために複数の部分に分割されます。 たとえば、一つのログは 1025 KBです。 最初の 512 KBは最初に処理され、その後の 512 KBは 2 回目に処理され、最後の 1 KBは 3 回目に処理されます。
正規表現タイプ Perl と互換性のある正規表現を使用します。
同じファイルの複数の収集設定 サポートされていません。 ログファイルをログストアに収集し、複数のサブスクリプションを構成することをお勧めします。この機能が必要な場合は、ログファイルのソフトリンクを設定してこの制限をバイパスします。
ファイルオープン動作 Logtail はファイルをオープン状態で収集します。 5 分間ファイルを変更しないと、Logtail はファイルを閉じます。
最初のログ収集動作 Logtail は、増分ログファイルのみを収集します。 最初にファイルに変更があり、ファイルサイズが 1 MB を超える場合、Logtail は最後の 1 MB からログを収集します。 それ以外の場合、Logtail は最初からログを収集します。 設定が発行された後にログファイルが変更されない場合、Logtail はこのファイルを収集しません。
非標準テキストログ ログに’ \0’を含む行。 ログは最初の ‘0’に切り捨てられます。
表 2. チェックポイント管理
項目 能力と制限
チェックポイントタイムアウト期間 ファイルが 30 日以上変更されていない場合、チェックポイントは削除されます。
チェックポイントストレージポリシー 定期的に 15 分ごとに保存し、プログラムが終了すると自動的に保存されます。
チェックポイント保存パス デフォルトの保存パスは/ tmp / logtail_checkpointです。起動パラメータの設定に従ってパラメータを変更できます。
表 3. 構成の制限
項目 能力と制限
構成情報の更新 更新された構成は約 30 秒後に有効になります。
動的構成ロード サポートされる。 構成の更新は他のコレクションには影響しません。
構成の数 理論的には無制限。 サーバーの収集構成の数は 100 以下にすることをお勧めします。
マルチテナント分離 収集構成情報間の分離。
表 4. リソースとパフォーマンスの制限
項目 能力と制限
ログ処理のスループット raw ログトラフィックのデフォルトの制限は 2 MB/s です。(データはエンコードされ、圧縮された後にアップロードされますが、一般に圧縮率は 5〜10 倍です)。ログトラフィックが制限を超えると、ログが失われる可能性があります。 パラメータを調整するには、 起動パラメータの設定 configurations parameters を参照してください。
最大パフォーマンス 単一のコア条件での最大処理能力:単純なログファイルの場合は 100 MB/秒、正規表現を使用するログファイルの場合はデフォルトで 20 MB/秒(正規表現の複雑さに応じて)、a の場合は 40 MB/秒区切り文字ログファイル、JSON ログファイルの場合は 30 MB/秒です。 複数のログ処理スレッドを開始すると、パフォーマンスが 1.5〜3 倍向上します。
監視対象ディレクトリの数 Logtail は監視対象ディレクトリの深さを積極的に制限し、リソースを節約します。上限に達すると、Logtail はさらに多くのディレクトリとログファイルの監視を停止します。 Logtail は、最大 3,000 のディレクトリ(サブディレクトリを含む)を監視します。
既定のリソース制限 既定では、Logtail は CPU 使用率の最大 40% と 256 MB のメモリ使用量を占めます。 ログが高速に生成された場合は、起動パラメータの設定を使用してパラメータを調整できます。
リソース制限を超える処理ポリシー 3 分で Logtail が占めるリソースが上限を超えた場合、Logtail は強制的に再起動され、データの損失や重複が発生する可能性があります。
表 5. エラー処理の制限
項目 能力と制限
ネットワークエラー処理 ネットワーク接続が異常な場合、Logtail は積極的に再試行し、自動的に再試行間隔を調整します。
リソースクォータの処理が最大割り当て量を超えた場合 データ転送速度が Logstore の最大割り当て量を超えた場合、Logtail はログ収集をブロックし、自動的に再試行します。
タイムアウトの最大リトライ時間 データ送信が連続して 6 時間以上失敗した場合、Logtail はデータを破棄します。
ステータス自己チェック プログラムの異常終了やリソース制限を超えるなど、例外が発生した場合、Logtail は自動的に再起動します。
表 6. その他の制限
項目 能力と制限
ログ収集遅延 通常、ログがディスクにフラッシュされた後、Logtail によるログ収集の遅延は(輻輳を除いて)1 秒を超えません。
ログアップロードポリシー Logtail は、ログをアップロードする前に自動的に同じファイルにログを集約します。 ログのアップロードは、2,000 を超えるログが生成されたり、ログファイルが 2 MB を超えたり、ログ収集が 3 秒を超えたりするという条件でトリガされます。