管理LoongCollector采集Tag - Simple Log Service - Alibaba Cloud ドキュメントセンター

制限事項

この機能を使用するには、LoongCollector 3.0.10 以降が必要です。Logtail または古いバージョンの LoongCollector をご使用の場合は、最新バージョンにアップグレードしてください。
ログ消費プロセスが変更されたタグに依存している場合、互換性の問題が発生する可能性があります。

タグのカテゴリ

タグは、フィールドインデックスと同様に、キーと値のペアで構成されます。例えば、__tag__:__inode__:263554 において、__tag__:__inode__ がキー (タグ名) で、263554 が値です。

タグは、その発生源に基づいて 2 つのカテゴリに分類されます。

エージェント関連：収集エージェント自体に関連し、プラグインには依存しません。例として、IP アドレスやホスト名などがあります。
入力プラグイン関連：入力プラグインによって追加され、ファイル inode、読み取りオフセット、ポッド名、名前空間、イメージ名などのコンテキスト情報でログを拡張します。

課金

タグ自体は無料です。ただし、タグをフィールドインデックスとして設定した場合は料金が発生します。課金の詳細については、「課金」をご参照ください。フィールドインデックスの作成と削除の詳細については、「インデックスの作成」をご参照ください。

タグ名の作成または変更

LoongCollector には、タグ処理機能が用意されています。詳細パラメータを設定することで、タグの追加、削除、名前の変更が可能です。

エージェント関連タグ

これらのタグはグローバルパラメータであり、どの入力プラグインにも依存しません。これらのパラメータは、収集設定の作成時または変更時に設定できます。本トピックでは、収集設定の変更を例として説明します。収集設定の作成方法については、「収集設定の作成」をご参照ください。

Simple Log Service コンソールにログインします。 [プロジェクト] セクションで、目的のプロジェクトをクリックします。
ログストアを見つけ、[データ収集] > [Logtail 構成] > [Logtail 構成を追加] を選択します。[今すぐ統合] をクリックします。この例では、[正規表現 - テキストログ] が使用されます。これは、正規表現マッチングを使用してテキストログが解析されることを意味します。
[Logtail 構成] リストで、ターゲット Logtail 構成をクリックします。
[Logtail 構成] ページで、[編集] をクリックします。

「グローバル設定」セクションで、[その他のグローバル設定] をクリックします。次に、「詳細パラメーター」の横にあるをクリックして、エージェント関連のタグを設定します。

{
  "PipelineMetaTagKey": {
    "HOST_NAME": "sourceName",
    "AGENT_TAG": "__default__",
    "HOST_ID": "__default__",
    "CLOUD_PROVIDER": "__default__"
  }
}

パラメータ

タイプ

必須

デフォルト

例

説明

PipelineMetaTagKey

object

任意

空

{"HOST_NAME":"__hostname__"}

キーはタグパラメータを指定し、値はログ内の対応するフィールド名を定義します。値が __default__ に設定されている場合、デフォルト値が使用されます。値が空の文字列に設定されている場合、タグは削除されます。以下のタグを設定できます。

HOST_NAME：ホスト名。このタグはデフォルトで追加されます。デフォルト値は "__hostname__" です。
AGENT_TAG：カスタム識別子。このタグはデフォルトで追加されます。デフォルト値は "__user_defined_id__" です。このパラメータは、カスタム識別子を使用したマシングループにのみ適用され、IP アドレスを使用したマシングループには適用されません。
HOST_ID：ホスト ID。このタグはデフォルトでは追加されません。デフォルト値は "__host_id__" です。
CLOUD_PROVIDER：クラウドプロバイダー。このタグはデフォルトでは追加されません。デフォルト値は "__cloud_provider__" です。

入力プラグイン関連タグ

これらのタグは入力プラグインに固有です。入力構成の詳細パラメータを通じて設定できます。これらのパラメータは、収集設定の作成時または変更時に設定できます。本トピックでは、収集設定の変更を例として説明します。収集設定の作成方法については、「収集設定の作成」をご参照ください。

重要

現在、この機能はファイル収集と新しい標準出力収集プラグインのみをサポートしています。

Simple Log Service コンソールにログインします。 [プロジェクト] セクションで、目的のプロジェクトをクリックします。
ログストアを見つけ、[データ収集] > [Logtail 構成] > [Logtail 構成を追加] を選択します。[今すぐ統合] をクリックします。この例では、[正規表現 - テキストログ] が使用されます。これは、正規表現マッチングを使用してテキストログが解析されることを意味します。
[Logtail 構成] リストで、ターゲット Logtail 構成をクリックします。
[Logtail 構成] ページで、[編集] をクリックします。

「入力設定」セクションで、その他の入力設定 をクリックします。次に、「高度なパラメーター」の横にあるをクリックして、入力プラグインに関連するタグを設定します。

重要

入力構成で FileOffsetKey を設定した場合、[インデックスの自動生成] 機能により、このタグ (__file_offset__) のフィールドインデックスが自動的に作成されます。課金の詳細については、「課金」をご参照ください。フィールドインデックスが不要な場合は、タグを削除せずにインデックスのみを削除できます。詳細については、「インデックスの更新」をご参照ください。
このタグは、クエリと分析ページの上部セクションには表示されません。このタグには独自のプロパティと機能があり、その名前は __file_offset__ です。

[検索と分析] ページでは、file_offset フィールドは、左側の [表示フィールド] リストとログ詳細エリアに表示されます。その値はファイルの読み取りオフセットで、1465 などです。

{
  "Tags": {
    "FileInodeTagKey": "__default__",
    "FilePathTagKey": "__default__"
  },
  "FileOffsetKey":"__default__"
}

パラメータ

タイプ

必須

デフォルト

例

説明

タグの削除

タグを削除するには、詳細パラメータ設定でその値を空の文字列に設定します。

次の例では、AGENT_TAG の値を空の文字列に設定してタグを削除します。詳細については、「タグ名の作成または変更」をご参照ください。

{
  "PipelineMetaTagKey": {
    "HOST_NAME": "sourceName",
    "AGENT_TAG": "",
    "HOST_ID": "__default__",
    "CLOUD_PROVIDER": "__default__"
  }
}

タグの表示

[プロジェクト] セクションで、管理するプロジェクトをクリックします。
ターゲット Logstore の右側にあるアイコンをクリックし、Query and Analysis を選択します。
タグフィールドは、ログページの最上行に表示されます。
- エージェント関連タグ
  - __tag__:sourceName：このタグは送信元ホスト名を表します。このタグのフィールド名は、PipelineMetaTagKey.HOST_NAME パラメータの値を sourceName に設定することで指定されます。デフォルト値は __hostname__ です。
  - __tag__:__host_id__：このタグは、PipelineMetaTagKey.HOST_ID パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __host_id__ です。
  - __tag__:__cloud_provider__：このタグは、PipelineMetaTagKey.CLOUD_PROVIDER パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __cloud_provider__ です。
  - __tag__:__user_defined_id__：このタグは、AGENT_TAG パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __user_defined_id__ です。このパラメータは、カスタム識別子を使用したマシングループにのみ適用され、IP アドレスを使用したマシングループには適用されません。
- 入力プラグイン関連タグ
  - __tag__:__inode__：このタグは、Tags.FileInodeTagKey パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __inode__ です。
  - __tag__:__path__：このタグは、Tags.FilePathTagKey パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __path__ です。
  - __file_offset__：このタグは、FileOffsetKey パラメータを有効にすると追加されます。タグキーは、パラメータのデフォルト値である __file_offset__ です。
    重要
    
    入力構成で FileOffsetKey を設定した場合、[インデックスの自動生成] 機能により、このタグ (__file_offset__) のフィールドインデックスが自動的に作成されます。課金の詳細については、「課金」をご参照ください。フィールドインデックスが不要な場合は、タグを削除せずにインデックスのみを削除できます。詳細については、「インデックスの更新」をご参照ください。
    
    このタグは、クエリと分析ページの上部セクションには表示されません。このタグには独自のプロパティと機能があり、その名前は __file_offset__ です。
    
    [検索と分析] ページでは、file_offset フィールドは、左側の [表示フィールド] リストとログ詳細エリアに表示されます。その値はファイルの読み取りオフセットで、1465 などです。

タグ値の変更

重要

現在、この機能はファイル収集と新しい標準出力収集プラグインのみをサポートしています。

SPL プロセッサ構成を使用してタグ値を変更できます。SPL を使用してタグを処理する場合は、次のルールに従ってください。

SPL は、__tag__: プレフィックスを使用してタグを識別します。このプレフィックスは、SPL 処理中にすべてのタグに自動的に追加されるため、SPL ステートメントを記述する際にはフィールド名にこのプレフィックスを含める必要があります。
SPL 出力では、__tag__: プレフィックスを持つフィールドはすべてタグとして扱われます。この方法を使用して新しいタグを作成できます。

このセクションでは、収集設定の変更時に SPL ステートメントを追加して、__tag__:sourceName の値を変更する例を示します。ログクエリを簡素化するために、値を user_module に変更してアプリケーション名でログを区別できます。収集設定の作成時に SPL ステートメントを追加する方法については、「収集設定の作成時に SPL ステートメントを追加」をご参照ください。

[プロジェクト] セクションで、管理するプロジェクトをクリックします。
ログ管理 > Logstores タブで、管理する Logstore の横にある [>] アイコンをクリックし、次に データのインポート > Logtail構成 を選択します。
Logtail構成 リストで、目的の設定を見つけ、アクション 列のLogtail 設定の管理 をクリックします。
ページ上部の編集をクリックします。ページ下部の 設定の処理 エリアで、設定の処理 の 処理モード に SPL を選択してから、保存をクリックします。

SPL ステートメントを次のように設定します： * | extend "__tag__:sourceName"='user_module'
対象の Logstore の右側にある [Query and Analysis] アイコンをクリックし、を選択します。

__tag__:sourceName フィールドの値は user_module です。

Simple Log Service:LoongCollector 収集タグの管理