インデックスパターンを使用したログのクエリと分析 - Simple Log Service

Simple Log Service では、インデックスを構成することでログのクエリと分析が可能です。この機能は SQL 分析と統合されています。本トピックでは、この機能の基本構文、使用制限、および SQL 関数について説明します。

前提条件

Simple Log Service にはログのクエリと分析機能が備わっています。詳細な手順については、「ログのクエリと分析の概要」をご参照ください。
ログのクエリと分析を行うには、まずログを標準 Logstore に収集する必要があります。詳細については、「Logstore の管理」をご参照ください。インデックスを作成した後は、クエリと分析は増分データに対してのみ実行されます。既存のログファイルをクエリおよび分析するには、インデックスの再作成が必要です。
数百億件規模のログをクエリする必要がある場合は、「コンソールで「結果が不正確です」というエラーメッセージが表示された場合の対処方法」をご参照ください。
Simple Log Service にはデフォルトで予約済みフィールドが含まれています。予約済みフィールドを分析するには、「予約済みフィールド」をご参照ください。

クエリと分析

Simple Log Service では、数十億件のログを数秒でクエリし、SQL を使用して結果の統計分析を実行できます。検索文は単独で使用可能ですが、分析文は常に検索文と組み合わせて使用する必要があります。これにより、クエリ結果または全データセットの分析が可能になります。

説明

SLS クエリスキル：インテリジェントなログクエリと分析：Simple Log Service にはエージェントスキルが提供されており、ローカル AI エージェント上で自然言語を使用して SLS ログデータのクエリと分析が可能です。

基本構文

クエリは検索文とオプションの分析文で構成され、縦棒 (|) で区切られます。検索文は単独で実行できますが、分析文は常に検索文の後に記述し、クエリ結果または全データセットを分析する必要があります。

検索文 | 分析文

タイプ	説明
検索文	検索文はログクエリのフィルター条件を指定し、一致するログを返します。クエリは `検索文` の形式で構造化されます。例：`status: 200`。検索条件にはキーワード、数値、数値範囲、スペース、またはアスタリスク (``) を使用できます。スペースまたはアスタリスク (``) はフィルターなしを示します。詳細については、「クエリ構文と機能」をご参照ください。重要検索文には 30 条件を超えないことを推奨します。
分析文	分析機能を使用するには、まずログを標準 Logstore に収集し、インデックスを構成する際に必要なフィールドに対して分析を有効化を選択する必要があります。分析文はクエリ結果または全データセットを計算・分析します。Simple Log Service でサポートされている関数および構文については、以下のトピックをご参照ください。 SQL 関数：SQL 関数は通常、データの計算、変換、フォーマットに使用されます。たとえば、合計や平均の計算、文字列操作、日付処理などが可能です。 SQL 句：SQL 句は、完全な SQL クエリまたはデータ処理ステートメントを構築するために使用されます。データソース、条件、グループ化、ソートなどを決定します。ネストされたサブクエリ：ネストされたサブクエリとは、別の SELECT ステートメント内にネストされた SELECT ステートメントです。複雑な分析シナリオで使用されます。 Logstore と MySQL データの連携クエリと分析：`JOIN` 構文を使用して、Logstore と MySQL のデータに対して連携クエリを実行し、結果を MySQL データベースに保存できます。 SPL を使用したログのクエリと分析：SLS 処理言語 (SPL) を使用して、ログから構造化情報を抽出したり、フィールドを操作したり、データをフィルターしたりできます。重要デフォルトでは、分析文は現在のLogstore内のデータを分析します。`FROM`句や`WHERE`句を含める必要はありません。分析文は大文字小文字を区別せず、`offset` パラメーターをサポートせず、末尾にセミコロンを付ける必要もありません。

Simple Log Service では、ANTLR ツールと併用してカスタムアプリケーションを開発できる ANTLR 文法ファイルを提供しています。

ANTLR 文法ファイルは以下のとおりです。

例

* | SELECT status, count(*) AS PV GROUP BY status

クエリと分析の結果を次の図に示します。

高度な機能

LiveTail：オンラインログをリアルタイムで監視し、運用負荷を軽減します。
LogReduce：ログ収集中に類似ログからパターンを抽出し、ログデータの概要を迅速に把握できます。
コンテキストクエリ：特定のログのコンテキストを表示し、トラブルシューティングや問題診断を容易にします。
フィールド分析：フィールドのディストリビューション、統計メトリック、上位 5 件の時系列グラフを提供し、データの理解を支援します。
イベント構成：生ログから詳細情報を簡単に取得できるようにイベントを構成します。
StoreView 概要：StoreView を使用して、クロスリージョンおよびクロスストアの連携クエリを実行します。

クエリ制限事項

項目	説明
キーワード数	1 回のクエリで指定できる条件は、論理演算子を除き最大 30 個です。
フィールド値サイズ	単一フィールド値の最大サイズは 512 KB です。この制限を超えるコンテンツはクエリ用にインデックスされません。フィールド値が 512 KB を超える場合、キーワード検索でそのログが見つからない可能性がありますが、ログデータ自体は完全に保持されます。説明ログフィールド値の最大長を設定するには、「クエリと分析時にフィールド値が切り捨てられるのはなぜですか？」をご参照ください。
同時実行操作	1 つのプロジェクトでは、最大 100 件のクエリ操作を同時に実行できます。たとえば、同じプロジェクト内の異なるLogstoreで、100 人のユーザーが同時にクエリを実行できます。
返される結果	各クエリでは、1 ページあたり最大 100 件の結果が返されます。すべての結果を表示するには、ページを移動してください。
あいまい検索	あいまい検索を実行すると、Simple Log Service は最大 100 件の一致語を見つけ、これらの語を含み検索条件を満たすすべてのログを返します。詳細については、「あいまい検索」をご参照ください。
結果のソート	デフォルトでは、結果は時間の降順（秒またはナノ秒単位の精度で利用可能な場合）で表示されます。

使用制限

制限項目	汎用インスタンス	専用 SQL
制限項目	汎用インスタンス	SQL enhancement	Full Precision
同時実行	プロジェクトあたり最大 15 件の同時クエリが可能です。	プロジェクトあたり最大 100 件の同時クエリが可能です。	プロジェクトあたり最大 5 件の同時クエリが可能です。
データ量	1 回のクエリでスキャン可能なログデータ量は、キャッシュデータを除き最大 400 MB です。この制限を超えるデータは切り捨てられ、結果には不完全なクエリ結果と表示されます。	1 回のクエリでスキャン可能なログデータ量は、キャッシュデータを除き最大 2 GB です。この制限を超えるデータは切り捨てられ、結果には不完全なクエリ結果と表示されます。	無制限です。
モードの有効化	デフォルトで有効になっています。	スイッチを使用してこの機能を有効化できます。詳細については、「SQL enhancement」をご参照ください。	スイッチを使用してこの機能を有効化できます。詳細については、「SQL complete accuracy」をご参照ください。
料金	無料です。	実際の CPU 時間に基づいて課金されます。	実際の CPU 時間に基づいて課金されます。
データの有効性	分析機能は、機能を有効化した後に書き込まれたデータにのみ適用されます。既存データを分析するには、データをインデックスの再作成する必要があります。	分析機能は、機能を有効化した後に書き込まれたデータにのみ適用されます。既存データを分析するには、データをインデックスの再作成する必要があります。	分析機能は、機能を有効化した後に書き込まれたデータにのみ適用されます。既存データを分析するには、データをインデックスの再作成する必要があります。
返される結果	デフォルトでは、分析操作で返されるデータは最大 100 行、100 MB です。100 MB を超えるデータを返す分析文ではエラーが報告されます。より多くのデータを返すには、LIMIT 句を使用してください。	デフォルトでは、分析操作で返されるデータは最大 100 行、100 MB です。100 MB を超えるデータを返す分析文ではエラーが報告されます。より多くのデータを返すには、LIMIT 句を使用してください。	デフォルトでは、分析操作で返されるデータは最大 100 行、100 MB です。100 MB を超えるデータを返す分析文ではエラーが報告されます。より多くのデータを返すには、LIMIT 句を使用してください。
フィールド値サイズ	単一フィールド値のデフォルトの最大長は 2 KB (2,048 バイト) です。最大長を 16 KB (16,384 バイト) まで引き上げることができます。制限を超えた部分はログ分析および取得に使用されません。説明フィールド値の最大長を変更するには、テキストフィールドの最大長を設定してください。更新されたインデックス設定は増分データにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。	単一フィールド値のデフォルトの最大長は 2 KB (2,048 バイト) です。最大長を 16 KB (16,384 バイト) まで引き上げることができます。制限を超えた部分はログ分析および取得に使用されません。説明フィールド値の最大長を変更するには、テキストフィールドの最大長を設定してください。更新されたインデックス設定は増分データにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。	単一フィールド値のデフォルトの最大長は 2 KB (2,048 バイト) です。最大長を 16 KB (16,384 バイト) まで引き上げることができます。制限を超えた部分はログ分析および取得に使用されません。説明フィールド値の最大長を変更するには、テキストフィールドの最大長を設定してください。更新されたインデックス設定は増分データにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。
タイムアウト期間	分析操作の最大タイムアウト期間は 55 秒です。	分析操作の最大タイムアウト期間は 55 秒です。	分析操作の最大タイムアウト期間は 55 秒です。
double 型フィールド値のビット数	double 型フィールド値の最大ビット数は 52 ビットです。浮動小数点数のエンコードに使用されるビット数が 52 を超えると、精度損失が発生します。	double 型フィールド値の最大ビット数は 52 ビットです。浮動小数点数のエンコードに使用されるビット数が 52 を超えると、精度損失が発生します。	double 型フィールド値の最大ビット数は 52 ビットです。浮動小数点数のエンコードに使用されるビット数が 52 を超えると、精度損失が発生します。

Simple Log Service:インデックスベースのクエリと分析