Log Service は、大量のログをリアルタイムで照会および分析するための LogSearch / Analytics 機能を提供します。 インデックスを無効にすると、シャードに基づいて Kafka が定義した順番で生データを使用できます。 インデックスを有効にすると、データ統計および照会もサポートされます。
機能上の利点
- リアルタイム：ログは、書かれた直後に分析できます。
- 高速：
- クエリ：数十億のデータを処理し、1 秒以内に照会できます (条件は 5 つ) 。
- 分析：数百万のデータを 1 秒以内に集約して分析することができます (5 つのディメンションと GroupBy 条件による集計を使用)。
- フレキシブル：リアルタイムで結果を得るために、必要に応じてクエリおよび分析条件を変更できます。
- 豊富な機能：コンソールで提供されるレポート、ダッシュボード、素早い分析などの機能に加え、Log Service は Grafana、DataV、Jaeger などの製品とシームレスに接続し、RESTful API や JDBC.などのプロトコルをサポートします。
インデックス
インデックス機能は、ログの中で特定のカラムまたは複数のカラムをソートします。 インデックスを使用すると、収集ログに迅速にアクセスできます。 ただし、LogSearch /Analytics 機能を使用する前に、ログを収集しインデックス機能を有効にして ログのインデックスを設定 しなければなりません。
- フルテキストインデックス：このモードでは、ログ全体がインデックスで設定されます。 デフォルトインデックスはログのすべてのキーを照会するために使用します。 1 つのキーしか一致しなくても、ログは照会されます。
- field indexes：このモードでは、インデックスは特定のキーに対して設定されます。 特定のキーを照会して照会範囲を絞ることができます。
フィールドインデックス を使用する場合は、フィールドのデータ型を指定しなければなりません。 Log Service は text、json、long、double をサポートしています。 詳細については、「インデックスデータ型の概要」をご参照ください。
照会メソッド
-
コンソールでのログの照会：
Log Service コンソールにログインし、クエリ時間範囲を指定し、検索/分析ページにクエリ文を入力します。 詳細については、「ログの照会」と「クエリ構文」をご参照ください。
-
API の呼び出しによるログの照会：
GetLogsと GetHistograms API を使ってログを照会できます。
検索/分析文の形式
|) で区切られています。 以下に例を示します。
$Search | $Analytics| 文のタイプ | 必須かどうか | 説明 |
|---|---|---|
| クエリ文 | いいえ | キーワード、ファジー一致条件、値、範囲、組み合わせ条件を使用して生成されるクエリ条件。
クエリ文が空またはアスタリスク "*" の場合、現在のデータに対してフィルター条件は設定されません。 つまり、すべてのデータが照会されます。 詳細については、「クエリ構文」をご参照ください。 |
| 分析文 | いいえ | 分析文は、クエリ結果またはフルデータの計算および収集に使用されます。
分析文が空の場合、クエリ結果のみが返され、統計分析は実行されません。 詳細については、「分析文法」をご参照ください。 |
その他の情報
大量のログデータ (100 億を超える長いクエリ時間など) を照会すると、1 つのリクエストですべてのデータを照会することができません。 この場合、 Log Service は既存のデータを返し、クエリ結果が未完了であることを通知します。
同時に、サーバーは 15 分以内に照会の結果をキャッシュします。 クエリ結果が部分的にキャッシュされると、サーバーはキャッシュされていないログデータをスキャンし続けます。 複数のクエリ結果をマージする際の負荷を軽減するため、 Log Service はキャッシュヒットの結果を新しいクエリの結果とマージして返します。
したがって、 Log Service 使用すると、同じパラメータを使用してインターフェイスを繰り返し呼び出すことで、最終的な結果を得ることができます。