LoongCollector は、Simple Log Service (SLS) 向けの次世代データコレクターであり、パフォーマンス、安定性、プログラマビリティを兼ね備え、可観測性パイプラインを構築します。単一のシナリオに限定された従来のログコレクターとは異なり、LoongCollector は、統一されたエージェントを通じて、ログ、メトリック、トレース、イベント、プロファイルを収集、処理、ルーティング、送信します。
収集シナリオ
LoongCollector は、以下のデータ収集メソッドをサポートしています：
-
ホストからのテキストログの収集：ホスト上のファイルからログを収集します。
-
Kubernetes クラスターからのコンテナログの収集：ご利用のクラスター内のコンテナからログを収集します。
-
HTTP データの収集：HTTP リクエストの本文コンテンツを収集します。
-
SQL クエリ結果の収集：指定された SQL クエリの結果を収集します。
サポートされているすべてのシナリオは、「ログデータ収集」に記載されています。
主な利点
デバイス上の収集統合
単一の LoongCollector エージェントが、ログ、メトリック、トレース、イベント、プロファイルをエンドツーエンドで処理します。Kubernetes 環境では、コンテナランタイムインターフェース (CRI) API を使用して、コンテナ構成を変更することなく、収集されたデータに Namespace、Pod、Container などのメタデータラベルを自動的にアタッチします。
柔軟なプログラマブルパイプライン
LoongCollector は、構造化プロセス言語 (SPL) と多言語プラグインエンジンを組み合わせて、完全にプログラマブルなパイプラインシステムを構築します。
実行効率を重視する場合はネイティブプラグインを選択し、拡張プラグインで補完するか、複雑なデータに対して包括的なオペレーターカバー率を提供する SPL エンジンを使用します。
|
プログラマブルエンジン |
分類 |
特徴 |
|
ネイティブプラグイン |
C++ 実装。高性能、低リソースオーバーヘッド、および比較的に完全なオペレーターカバー率。 |
|
|
拡張プラグイン |
Go 実装。高性能、低リソースオーバーヘッド、および比較的に完全なオペレーターカバー率。 |
|
|
SPL エンジン |
C++ 実装。高性能、低リソースオーバーヘッド、ベクトル化実行を伴うカラムナモデル、100 以上のオペレーター、および複雑なデータ処理のためのパイプライン設計。 |
高性能と高信頼性
LoongCollector は、大規模分散システム向けに、安定かつ効率的な可観測性データ収集を実現します。
-
高性能： ロックフリーのコアプロセス、イベント駆動型アーキテクチャ、および主要なシナリオにおける数百 MB/s のシングルスレッドスループット。
-
高信頼性： タイムスライス公平スケジューリング、キューのウォーターマークによるバックプレッシャー制御、マルチテナントパイプラインのデータ分離、およびゼロコピーのデータストリーミング。
-
大規模な本番環境レベル： 商用版は、Alibaba Group、Ant Group、およびパブリッククラウドのお客様にわたる数千万のインスタンスにデプロイされています。オンラインの販売促進イベントや極端なシナリオで実証済みです。