Simple Log Service:LogReduce

メリット

• Log4j、JSON、単一行ログなど、あらゆる形式のログをサポートしています。

• 数億件のログエントリを処理し、数秒で結果を返します。

• 任意のパターンでログデータをクラスタリングします。

• パターンのシグネチャを使用して生ログを検索します。

• 異なる期間のパターンを比較します。

• クラスタリングの精度を動的に調整します。

インデックストラフィック

LogReduce の有効化

1. Log Serviceコンソールにログインします。

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

3. [ログストレージ] > [ログストア] タブで、管理するログストアをクリックします。

4. LogReduce 機能を有効にします。

   1. インデックス属性 > 属性 をクリックします。

      インデックス機能を有効にしていない場合は、インデックスの有効化 をクリックします。

   2. Query and Analysis パネルで、LogReduce スイッチをオンにします。

   3. 任意： クラスタリングに含める、または除外するフィールドのホワイトリストまたはブラックリストを設定します。

      説明

      ホワイトリストとブラックリストの両方を設定することはできません。

      LogReduce フィルター	説明
      ホワイトリスト	ホワイトリストを設定した場合、Simple Log Service はホワイトリスト内のフィールドにのみ基づいてログをクラスタリングします。
      ブラックリスト	ブラックリストを設定した場合、Simple Log Service はクラスタリングプロセスからブラックリストに登録されたフィールドを除外します。
      ホワイトリストもブラックリストも設定されていない	ホワイトリストもブラックリストも設定されていない場合、Simple Log Service は利用可能なすべてのフィールドに基づいてログをクラスタリングします。

   4. OK をクリックします。

クラスタリング結果と生ログ

1. **[検索と分析]** ページで、クエリ文を入力し、時間範囲を設定してから、検索と分析 をクリックします。

   説明

   ログのフィルタリングにはクエリ文のみを使用できます。LogReduce は分析結果を処理できないため、分析文はサポートされていません。

2. LogReduce タブをクリックして、クラスタリング結果を表示します。

   また、ダッシュボードに追加 をクリックして、クラスタリング結果をダッシュボードに保存することもできます。

   結果ページには、[パターン数] スライダー (ドラッグしてクラスタリングの粒度を [多い] から [少ない] に調整できます)、[クエリのコピー] ボタン、および [ログ比較] ボタンが含まれます。

   パラメーター	説明
   番号	クラスターのシリアル番号。
   カウント	指定された時間範囲内でパターンに一致するログの数。
   パターン	LogReduce によって生成されたパターンで、ログエントリのタイプを表します。パターンには複数のサブパターンを含めることができます。

   • [Count] 列の数字にマウスカーソルを合わせると、現在のクラスターのサブパターンと各サブパターンの割合が表示されます。数字の横にあるプラス記号 (+) をクリックして、サブパターンリストを展開します。

   • [Count] 列の数字をクリックすると、Rawログ タブに移動して、パターンに一致する生ログを表示できます。

クラスタリング精度の調整

ログクラスターの比較

1. LogReduce タブで、[ログ比較] をクリックします。

2. 比較時間範囲を設定し、OK をクリックします。

   たとえば、現在のクエリ時間範囲が 15 分で、[ログ比較] パネルで 1 日 を選択した場合、システムは現在の 15 分間と前日の同じ 15 分間を比較します。

   パラメーター	説明
   番号	クラスターのシリアル番号。
   Pre_Count	[ログ比較] で設定した時間範囲内で、このパターンに一致するログの数。
   カウント	現在のクエリ時間範囲におけるパターンのログ数。
   差分	2 つの期間におけるパターンのログ数の差と変化率。
   パターン	ログタイプの特定のパターン。

SQL の例

検索と分析の文を実行して、LogReduce の結果を取得することもできます。

• LogReduce 結果の取得

  • 検索と分析の文

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    説明

    クラスタリング結果を表示すると、集約クリエ文のコピー をクリックして、現在の LogReduce の結果の検索・分析ステートメントを取得できます。

  • パラメーターの変更

    文中の log_reduce(precision) 関数を変更します。precision パラメーターはクラスタリングの精度を指定します。有効な値の範囲は 1〜16 です。値が小さいほど精度が高くなり、より多くのパターンが生成されます。デフォルト値は 3 です。

  • 返されるフィールド

    LogReduce の詳細な結果は、統計チャート タブで確認できます。

    パラメーター	説明
    pattern	ログタイプの特定のパターン。
    count	指定された時間範囲内でパターンに一致するログの数。
    signature	パターンのシグネチャ。
    origin_signatures	パターンの二次シグネチャです。この二次シグネチャを使用して生ログを検索できます。

• 異なる期間での LogReduce 結果の比較

  • 検索と分析の文

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    説明

    [ログ比較] を使用して異なる期間のクラスタリング結果を比較した後、集約クリエ文のコピー をクリックして、対応する検索・分析ステートメントを取得できます。

  • パラメーターの変更

    クエリ文中の compare_log_reduce(precision, compare_interval) 関数を変更します。

    • precision パラメーターはクラスタリングの精度を指定します。有効な値の範囲は 1〜16 です。値が小さいほど精度が高くなり、より多くのパターンが生成されます。デフォルト値は 3 です。

    • compare_interval パラメーターは、比較対象となる過去の時点を秒単位で指定します。値は正の整数である必要があります。

  • 返されるフィールド

    パラメーター	説明
    pattern	ログタイプの特定のパターン。
    count_compare	比較期間内でパターンに一致するログの数。
    count	現在の時間範囲でパターンに一致するログの数。
    diff	'count' と 'count_compare' の差です。
    signature	パターンのシグネチャ。

LogReduce の無効化

LogReduce 機能が不要になった場合は、無効にすることができます。

1. **[検索と分析]** ページで、インデックス属性 > 属性 をクリックします。

2. LogReduce スイッチをオフにします。

3. OK をクリックします。