Simple Log Serviceのインテリジェント異常分析アプリケーションは、ログ内のテキストコンテンツをインテリジェントかつ自動的に分析し、グローバルな統計分析結果を提供するテキスト分析機能を提供します。 テキスト分析機能を使用すると、ログパターン検出とログパターン照合ジョブを作成してログを監視および分析できます。 分析するログの特性に基づいて、ジョブとアルゴリズムを選択できます。
テキスト解析アルゴリズムの概要
ログパターン検出ジョブでは、ログクラスタリングアルゴリズムまたはパターン検出アルゴリズムを使用して、ログパターンライブラリをオフラインで設定できます。 ログパターンマッチングジョブでは、類似度クラスタリングアルゴリズム、ハッシュクラスタリングアルゴリズム、または類似度マッチングアルゴリズムを使用して、ログをオンラインで監視できます。
テキスト分析アルゴリズムは、LogParserおよび異常検出技術を使用する。 ログ分析レポートは、ログのグローバル情報と潜在的な異常を理解するのに役立ちます。
レポートを使用して、異常がある可能性のあるログのカテゴリを識別できます。 これにより、手動トラブルシューティングに使用されるログの範囲が狭くなります。 カテゴリには、新しいログカテゴリと、異常スコアが最も高い上位5つのログカテゴリが含まれます。
定期的にレポートを表示して、グローバルログ情報の変更を確認できます。 これにより、システムの安定性を確認できます。
ログパターン検出
ログクラスタリングアルゴリズムは、ログの量が多く、ログ形式が一貫しているシナリオで使用されます。 パターン検出アルゴリズムは、ログの量が中程度で、ログ形式が複雑なシナリオで使用されます。
ログクラスタリングアルゴリズム
ログクラスタリングアルゴリズムは、ログクラスタリング機能に基づいています。 ログクラスタリング機能は、ログに対して粗粒度クラスタリングを実行します。 次に、ログクラスタリングアルゴリズムは、粗粒度クラスタリング結果に基づいて、細粒度クラスタリングを実行する。 ログクラスタリング機能を有効にし、クラスタリング結果を表示する方法の詳細については、「LogReduce」をご参照ください。
パターン検出アルゴリズム
パターン発見アルゴリズムは、単語頻度分析アルゴリズムを使用することによって、類似の高頻度単語を有するログを1つのカテゴリにクラスタ化する。 高頻度の単語は、カテゴリのログパターンを形成します。 アルゴリズムの詳細については、「データセンターネットワークにおけるネットワークデバイスの効率的で堅牢なSyslog解析」をご参照ください。
ログパターンマッチング
類似性クラスタリングアルゴリズムとハッシュクラスタリングアルゴリズムは、ログの量が多く、ログ形式が一貫しているシナリオで使用されます。 類似性マッチングアルゴリズムは、ログの量が多いシナリオで使用されます。
類似性クラスタリングアルゴリズム
類似性クラスタリングアルゴリズムは、テキスト類似性ベースのLogParserを使用してテキストログを解析し、ログの内容と構造に基づいてログをクラスター化し、類似ログを1つのカテゴリに分類します。 テキスト類似性は、編集距離、Jaccard類似性、およびcosine類似性を含む。 類似性クラスタリングアルゴリズムは、ログカテゴリによって連続時間ウィンドウ内のログの変化をさらに分析して、潜在的な異常を検出する。 アルゴリズムの詳細については、「ドレイン: 固定深度ツリーを使用したオンラインログ解析アプローチ」をご参照ください。
ハッシュクラスタリングアルゴリズム
ハッシュクラスタリングアルゴリズムは、ログクラスタリング機能に基づいています。 ログクラスタリング機能クラスターはオンラインでログを記録します。 次いで、ハッシュ・クラスタリング・アルゴリズムは、前のクラスタリング結果に基づいてさらなるクラスタリングを実行する。 ハッシュクラスタリングアルゴリズムは、ログを継続的に分析および監視します。 詳細は、「LogReduce」をご参照ください。 ハッシュクラスタリングアルゴリズムは、外部ログパターンライブラリを使用しません。
類似性マッチングアルゴリズム
類似性照合アルゴリズムは、外部ログパターンライブラリを使用してログを照合および分析します。 類似性マッチングアルゴリズムは、ログパターン発見ジョブでセットアップされるログパターンライブラリを使用することもできる。 類似性マッチングアルゴリズムは、ログパターンライブラリ内の各ログパターンの発生に関する統計を収集し、最も早い機会に新しいログパターンを識別する。 類似性マッチングアルゴリズムは、ベクトルマッチングやハッシュマッチングなどの方法を使用することにより、ログパターンマッチングを高速化する。