Log Service は、大量のログをリアルタイムで照会および分析するための LogSearch / Analytics 機能を提供します。 インデックスを無効にすると、シャードに基づいて Kafka が定義した順番で生データを使用できます。 インデックスを有効にすると、データ統計および照会もサポートされます。

機能上の利点

  • リアルタイム:ログは、書かれた直後に分析できます。
  • 高速:
    • クエリ:数十億のデータを処理し、1 秒以内に照会できます (条件は 5 つ) 。
    • 分析:数百万のデータを 1 秒以内に集約して分析することができます (5 つのディメンションと GroupBy 条件による集計を使用)。
  • フレキシブル:リアルタイムで結果を得るために、必要に応じてクエリおよび分析条件を変更できます。
  • 豊富な機能:コンソールで提供されるレポート、ダッシュボード、素早い分析などの機能に加え、Log Service は Grafana、DataV、Jaeger などの製品とシームレスに接続し、RESTful API や JDBC.などのプロトコルをサポートします。

インデックス

インデックス機能は、ログの中で特定のカラムまたは複数のカラムをソートします。 インデックスを使用すると、収集ログに迅速にアクセスできます。 ただし、LogSearch /Analytics 機能を使用する前に、ログを収集しインデックス機能を有効にして ログのインデックスを設定 しなければなりません。

Log Service は フルテキストインデックスフィールドインデックス を提供します。
  • フルテキストインデックス:このモードでは、ログ全体がインデックスで設定されます。 デフォルトインデックスはログのすべてのキーを照会するために使用します。 1 つのキーしか一致しなくても、ログは照会されます。
  • field indexes:このモードでは、インデックスは特定のキーに対して設定されます。 特定のキーを照会して照会範囲を絞ることができます。

フィールドインデックス を使用する場合は、フィールドのデータ型を指定しなければなりません。 Log Service は textjsonlongdouble をサポートしています。 詳細については、「インデックスデータ型の概要」をご参照ください。

照会メソッド

  • コンソールでのログの照会:

    Log Service コンソールにログインし、クエリ時間範囲を指定し、検索/分析ページにクエリ文を入力します。 詳細については、「ログの照会」と「クエリ構文」をご参照ください。

  • API の呼び出しによるログの照会:

    GetLogsGetHistograms API を使ってログを照会できます。

ログを照会する前に、ログを収集し、 インデックス機能を有効にして、ログのインデックスを設定 しなければなりません。

検索/分析文の形式

リアルタイムでログの検索/分析を行うには、検索/分析文を入力する必要があります。 文はクエリ文と分析文で構成されており、2 つの文は縦線 ( |) で区切られています。 以下に例を示します。
$Search | $Analytics
文のタイプ 必須かどうか 説明
クエリ文 いいえ キーワード、ファジー一致条件、値、範囲、組み合わせ条件を使用して生成されるクエリ条件。

クエリ文が空またはアスタリスク "*" の場合、現在のデータに対してフィルター条件は設定されません。 つまり、すべてのデータが照会されます。 詳細については、「クエリ構文」をご参照ください。

分析文 いいえ 分析文は、クエリ結果またはフルデータの計算および収集に使用されます。

分析文が空の場合、クエリ結果のみが返され、統計分析は実行されません。 詳細については、「分析文法」をご参照ください。

その他の情報

大量のログデータ (100 億を超える長いクエリ時間など) を照会すると、1 つのリクエストですべてのデータを照会することができません。 この場合、 Log Service は既存のデータを返し、クエリ結果が未完了であることを通知します。

同時に、サーバーは 15 分以内に照会の結果をキャッシュします。 クエリ結果が部分的にキャッシュされると、サーバーはキャッシュされていないログデータをスキャンし続けます。 複数のクエリ結果をマージする際の負荷を軽減するため、 Log Service はキャッシュヒットの結果を新しいクエリの結果とマージして返します。

したがって、 Log Service 使用すると、同じパラメータを使用してインターフェイスを繰り返し呼び出すことで、最終的な結果を得ることができます。