サーバーに LoongCollector をインストールした後、Simple Log Service でリソースとしてサーバーを管理するためにマシン グループを作成する必要があります。次に、データ収集ルールを定義するために LoongCollector 収集構成を作成します。収集ルールをサーバーに適用するには、収集構成をマシン グループにアタッチする必要があります。
コアコンセプトとその関係
マシングループとは
マシン グループとは、Simple Log Service プロジェクト内でリソースとして管理されるサーバーの仮想グループです。Simple Log Service は、マシン グループを使用してサーバーを管理します。サーバーは、ハートビートを介してマシン グループに関連付けられます。
Simple Log Service は、次の 2 つのタイプのマシングループを提供します。
IP アドレスベースのマシングループ
IP アドレスベースのマシン グループを使用するには、サーバーの IP アドレスをマシン グループに追加する必要があります。
このタイプのマシングループは、作成と構成が容易です。
IP アドレスの競合が発生した場合、または IP アドレスが変更された場合、ハートビートが失敗し、データ収集に影響を与える可能性があります。
カスタム識別子ベースのマシングループ
マシングループでカスタム文字列を識別子として構成し、この文字列をサーバー上の識別子ファイルに追加することで、関連付けを作成できます。サーバー上の識別子ファイルには、複数のカスタム識別子を追加できます。各識別子は新しい行に配置する必要があります。
構成プロセスは、IP アドレスベースのマシン グループよりも複雑です。ただし、この方法では、VPC などのカスタム ネットワーク環境で発生する可能性のある IP アドレスの競合によってデータ収集が失敗することを防ぎます。
このタイプのマシン グループは、自動スケーリング をサポートしています。同じカスタム識別子で新しいサーバーを構成すると、Simple Log Service はそれらを自動的に検出してマシン グループに追加します。逆に、サーバーからログを収集する必要がなくなった場合は、その識別子ファイルを削除すると、マシン グループからサーバーが自動的に削除されます。
業務システムは多くの場合、複数のモジュールで構成されており、サーバーを追加することで各モジュールを水平方向にスケーリングできます。ログデータを効率的に収集および分類するには、モジュールごとに個別のマシングループを作成することをお勧めします。たとえば、Web サイトは、HTTP リクエストモジュール、ロジックモジュール、およびストレージモジュールで構成されている場合があります。カスタム識別子を
http_module、logic_module、およびstore_moduleとして定義できます。
マシングループの作成方法
マシン グループとサーバーの間にハートビートベースの関連付けを確立するには、最初にサーバーに LoongCollector エージェントをインストールする必要があります。エージェントをインストールするときにマシン グループを作成することをお勧めします。詳細については、「LoongCollector のインストールと管理 (Linux)」または「LoongCollector のインストールと管理 (Kubernetes)」をご参照ください。
LoongCollector 収集構成とは
収集構成は、データの収集方法と処理方法を定義する一連のコア ルールです。これにより、データを効率的に収集、解析、フィルタリング、および処理するための設定を構成できます。収集構成はマシン グループにアタッチされ、そのグループ内のすべてのサーバーに収集ルールが適用されます。データは、収集中にローカル リソースを使用してサーバー上で処理されます。収集構成は、次の 3 つの部分で構成されています。
グローバル構成: 収集構成名、ログトピック、およびタグが含まれます。トピックとタグを使用して、収集されたログをマークおよび分類できます。
入力構成: ファイル入力、標準クラスター出力、SQL クエリ結果、HTTP 入力など、収集するデータのタイプを定義します。また、収集パスやソースなど、各データ タイプの具体的な情報も定義します。
処理構成: プラグイン の組み合わせを使用してデータを解析するためのルールを定義します。これにより、フィルタリング、機密化、正規表現との照合、JSON 形式のデータの解析などの操作を実行することで、必要に応じてデータをフォーマットできます。
収集構成の作成方法
収集構成は、マシン グループにアタッチして、そのルールをそのグループ内のサーバーに適用する必要があります。したがって、データ ソース タイプに基づいて収集構成を作成し、完全なデータ収集プロセスに従うことをお勧めします。詳細については、「ログ データ収集」をご参照ください。
マシングループと収集構成の関係
Simple Log Service では、1 つの LoongCollector 収集構成を複数の [マシン グループ] に適用でき、1 つの [マシン グループ] に複数の LoongCollector 収集構成を適用できます。収集構成はマシン グループにアタッチされているため、マシン グループにサーバーを追加または削除すると、対応する収集構成がそのサーバーに自動的に適用または削除されます。この設計により、サーバーと収集構成が分離されます。異なるオペレーティング システムのサーバーを同じマシン グループに追加することはできません。
マシングループと収集構成を関連付けるシナリオ
複数のディレクトリからログを収集する方法
要件: /var/log/messages および /opt/app/logs/*.log からログを収集し、同じ Logstore に送信する必要があります。
解決策:
宛先 Logstore に 2 つの収集構成を作成します。1 つの構成のパスを
/var/log/messagesに設定し、もう 1 つの構成のパスを/opt/app/logs/*.logに設定します。2 つの収集構成を同じマシングループに適用します。
Simple Log Service は、マシングループ内のすべてのサーバーの
/var/log/messagesおよび/opt/app/logs/*.logパスからデータを収集し、宛先 Logstore に送信します。
同じサーバーから複数の Logstore にログをアップロードする
要件: 単一サーバー上の異なるディレクトリから複数のタイプのログを異なる Logstore に送信する必要があります。
解決策:
異なる Logstore に異なる収集構成を作成します。
注: 複数の構成が同じファイルからデータを収集する場合は、入力構成で ファイルを複数回収集することを許可する スイッチを有効にする必要があります。詳細については、「複数のログ収集」をご参照ください。
これらの収集構成を同じマシングループに適用します。
Simple Log Service は、収集構成に基づいて、マシン グループ内のサーバーから異なるログを対応する Logstore にアップロードします。
異なるサーバーからのログを一元化する方法
要件: 異なるマシングループにある複数のサーバーから特定のタイプのログを収集し、ログを同じ Logstore に保存する必要があります。
解決策:
宛先 Logstore に収集構成を作成します。
この収集構成を、サーバーを含む複数のマシングループに適用します。
Simple Log Service は、指定されたマシン グループ内のサーバーからログを収集し、宛先 Logstore に送信します。
サーバーの収集ルールを変更する
要件 1: マシン グループにアタッチされている収集構成のルールが適切ではなくなり、別の収集構成を使用したいと考えています。
解決策:
Simple Log Service コンソール にログインします。 [プロジェクト] リストで、ターゲットプロジェクトをクリックします。左側のナビゲーションウィンドウで、 を選択します。 [マシングループ] ページで、変更するマシングループを選択します。次に、[マシングループ構成] ページで、[変更] をクリックします。
[構成の管理] パネルで、左側の使用可能な収集構成のリストを表示します。必要な構成を選択し、右側の適用済みリストに移動します。
要件 2: 新しいサーバーを追加するときに既存の収集構成を適用するか、既存のサーバーからログの収集を停止する必要があります。
解決策:
Simple Log Service コンソール にログインします。 [プロジェクト] リストで、ターゲットプロジェクトをクリックします。左側のナビゲーションウィンドウで、 を選択します。 [マシングループ] ページで、変更するマシングループを選択し、[マシングループ構成] ページで設定を変更します。
収集構成を適用または削除するために、マシン グループ内のサーバーを変更します。
IP アドレスベースのマシン グループの場合は、[IP アドレス] フィールドに IP アドレスを追加または削除します。複数の IP アドレスは改行で区切ります。
IP アドレスは、サーバー上の /usr/local/ilogtail/app_info.json ファイルの
ipフィールドの値と一致する必要があります。カスタム識別子ベースのマシングループの場合は、新しいサーバーに同じ [カスタム識別子] を構成します。 Simple Log Service はサーバーを自動的に検出し、[マシングループ] に追加できます。サーバーからログを収集する必要がなくなった場合は、その識別子ファイルを削除できます。その後、[マシングループ] はサーバーを自動的に削除します。これにより、自動スケーリングが可能になります。
説明マシングループにサーバーを追加しても、LoongCollector は自動的にインストールされません。最初に新しいサーバーに LoongCollector をインストールする必要があります。