インデックスモードでのログのクエリと分析 - Simple Log Service

Simple Log Service は、インデックスを構成することでログのクエリと分析を可能にします。この機能は SQL コンピューティング機能を使用します。このトピックでは、この機能の基本的な構文、制限、および SQL 関数について説明します。

リーディングガイド

Simple Log Service は、ログのクエリと分析のための機能を提供します。詳細については、「ログのクエリと分析のクイックスタート」をご参照ください。
ログをクエリおよび分析するには、まず標準 Logstore にログを収集する必要があります。詳細については、「Logstore の管理」をご参照ください。インデックスを作成した後、増分ログに対してのみクエリと分析を実行できます。既存のログファイルをクエリおよび分析するには、インデックスを再作成する必要があります。
数百億件のログをクエリするには、「コンソールに「不正確なクエリ結果」というメッセージが表示された場合の対処方法」をご参照ください。
Simple Log Service には、デフォルトでいくつかの予約済みフィールドが含まれています。これらの予約済みフィールドを分析するには、「予約済みフィールド」をご参照ください。

クエリと分析

Simple Log Service は、数秒で数十億から数百億のログをクエリし、SQL を使用して結果の統計分析を実行できます。検索文は単独で使用できます。ただし、分析文は検索文と一緒に使用する必要があります。これは、分析が検索結果または完全データに対して実行されることを意味します。

基本構文

検索文と分析文は、縦棒 (|) で区切られます。検索文は単独で使用できますが、分析文は検索文と一緒に使用する必要があります。これは、分析が検索結果または完全データに対して実行されることを意味します。

Search statement|Analytic statement

タイプ	説明
検索文	検索文は、ログクエリのフィルター規則を指定し、条件を満たすログを返します。フォーマット: `検索文`。例: `status: 200`。キーワード、数値、数値範囲、スペース、またはアスタリスク (``) を検索条件として使用できます。スペースまたはアスタリスク (``) は、フィルター条件が適用されないことを示します。詳細については、「検索構文と特徴」をご参照ください。重要検索文には 30 を超える条件を指定しないでください。
分析文	分析機能を使用するには、ログを標準 Logstore に収集し、インデックスを構成するときに必要なフィールドの [統計の有効化] スイッチをオンにする必要があります。分析文は、検索結果または完全データを計算および集計します。Simple Log Service がサポートする分析関数と構文の詳細については、次のトピックをご参照ください。 SQL 関数: SQL 関数は通常、データの計算、変換、およびフォーマットに使用されます。たとえば、SQL 関数を使用して、合計と平均の計算、文字列操作の実行、および日付の処理を行うことができます。 SQL 句: SQL 句は、完全な SQL クエリまたはデータ操作文を構築するために使用されます。データソース、条件、グループ化、ソートなどを決定します。ネストされたサブクエリ: ネストされたサブクエリは、別の SELECT 文内にネストされた SELECT 文です。ネストされたサブクエリは、複雑な分析シナリオに使用されます。 Logstore と MySQL データベースの共同クエリと分析: JOIN 構文を使用して、Logstore と MySQL データベースを一緒にクエリできます。結果は MySQL データベースに保存できます。 SPL を使用したログのクエリと分析: SPL を使用して、構造化情報を抽出し、フィールド操作を実行し、ログからデータをフィルターできます。重要分析文は、デフォルトで現在の Logstore のデータを分析します。FROM 句と WHERE 句を指定する必要はありません。分析文では大文字と小文字は区別されず、offset キーワードはサポートされていません。分析文の末尾にセミコロンを追加する必要はありません。

Simple Log Service は、クエリと分析のための ANTLR 文法ファイルを提供します。これらのファイルを ANTLR ツールと共に使用して、SLS クエリに基づいたカスタム開発を実行できます。

以下は ANTLR 文法ファイルです:

例

* | SELECT status, count(*) AS PV GROUP BY status

クエリと分析の結果を次の図に示します:

高度な機能

LiveTail: オンラインログをリアルタイムで監視して、運用とメンテナンス (O&M) を簡素化します。
LogReduce: ログ収集中に類似のログから共通パターンを抽出し、ログ全体の構造をすばやく理解します。
コンテキストクエリ: 指定されたログのコンテキスト情報を表示して、トラブルシューティングと問題の特定を容易にします。
フィールド分析: フィールドの分布、統計メトリック、および TOP 5 の時系列グラフを表示して、データを理解するのに役立ちます。
イベント構成: イベント構成を通じて、生ログに関する詳細情報を簡単に取得します。
データセット (StoreViews) の概要: StoreView 機能を使用して、リージョンや Logstore をまたいで共同クエリを実行します。

クエリ機能の制限

制限	説明
キーワードの数	ブール演算子を除く、条件付きキーワードの数。各クエリには最大 30 個のキーワードを指定できます。
フィールド値のサイズ	単一フィールド値の最大サイズは 512 KB です。超過した部分はクエリに含まれません。単一フィールドの長さが 512 KB を超える場合、キーワード検索でログを見つけられないことがありますが、データは完全なままです。説明ログフィールド値の最大長を設定するには、「クエリと分析中にフィールド値が切り捨てられるのはなぜですか？」をご参照ください。
同時操作の数	各プロジェクトは、最大 100 の同時クエリオペレーションをサポートします。たとえば、100 人のユーザーが同じプロジェクトの異なる Logstore で同時にクエリオペレーションを実行できます。
返される結果	各クエリは、1 ページあたり最大 100 件の結果を返します。結果をページングしてすべてを読み取ることができます。
あいまい検索	あいまい検索を実行すると、Simple Log Service は最大 100 個の一致する term を見つけ、これらの term を含み検索条件を満たすすべてのログを返します。詳細については、「あいまい検索」をご参照ください。
クエリ結果のソート	デフォルトでは、結果は時間による降順で表示され、秒単位で正確です。ナノ秒が存在する場合、結果はナノ秒時間でソートされます。

分析機能の制限

制限	標準インスタンス	専用 SQL インスタンス
制限	標準インスタンス	SQL 拡張	完全な精度
同時実行	プロジェクトあたり最大 15 の同時クエリ。	プロジェクトあたり最大 100 の同時クエリ。	プロジェクトあたり最大 5 の同時クエリ。
データ量	1 回のクエリで最大 400 MB のログデータ (キャッシュデータを除く) をスキャンできます。この制限を超えるデータは切り捨てられ、不完全なクエリ結果としてマークされます。	1 回のクエリで最大 2 GB のログデータ (キャッシュデータを除く) をスキャンできます。この制限を超えるデータは切り捨てられ、不完全なクエリ結果としてマークされます。	無制限。
有効化方法	デフォルトでは、ログ分析機能は有効になっています。	専用 SQL を手動で有効にするためのスイッチが提供されています。	専用 SQL を手動で有効にするためのスイッチが提供されています。
料金	無料。	実際の CPU 時間に基づいて課金されます。	実際の CPU 時間に基づいて課金されます。
データ有効性メカニズム	ログ分析機能が有効になった後に Simple Log Service に書き込まれたデータのみを分析できます。既存データを分析する必要がある場合は、既存データのインデックスを再作成する必要があります。	ログ分析機能が有効になった後に Simple Log Service に書き込まれたデータのみを分析できます。既存データを分析する必要がある場合は、既存データのインデックスを再作成する必要があります。	ログ分析機能が有効になった後に Simple Log Service に書き込まれたデータのみを分析できます。既存データを分析する必要がある場合は、既存データのインデックスを再作成する必要があります。
結果を返す	デフォルトでは、分析は最大 100 行と 100 MB のデータを返します。100 MB を超えるとエラーになります。より多くのデータを返す必要がある場合は、LIMIT 句を使用します。	デフォルトでは、分析は最大 100 行と 100 MB のデータを返します。100 MB を超えるとエラーになります。より多くのデータを返す必要がある場合は、LIMIT 句を使用します。	デフォルトでは、分析は最大 100 行と 100 MB のデータを返します。100 MB を超えるとエラーになります。より多くのデータを返す必要がある場合は、LIMIT 句を使用します。
最大フィールド長	単一フィールドのデフォルトの最大長は 2,048 バイト (2 KB) で、最大 16,384 バイト (16 KB) まで調整できます。この制限を超えるデータは、ログのクエリと分析には含まれません。説明この制限を変更するには、[最大フィールド長] を調整します。変更は新しいデータにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。	単一フィールドのデフォルトの最大長は 2,048 バイト (2 KB) で、最大 16,384 バイト (16 KB) まで調整できます。この制限を超えるデータは、ログのクエリと分析には含まれません。説明この制限を変更するには、[最大フィールド長] を調整します。変更は新しいデータにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。	単一フィールドのデフォルトの最大長は 2,048 バイト (2 KB) で、最大 16,384 バイト (16 KB) まで調整できます。この制限を超えるデータは、ログのクエリと分析には含まれません。説明この制限を変更するには、[最大フィールド長] を調整します。変更は新しいデータにのみ適用されます。詳細については、「インデックスの作成」をご参照ください。
タイムアウト期間	分析操作の最大タイムアウト期間は 55 秒です。	分析操作の最大タイムアウト期間は 55 秒です。	分析操作の最大タイムアウト期間は 55 秒です。
double 型フィールド値のビット数	double 型のフィールド値は 52 ビットに制限されています。これを超えると、浮動小数点数の精度が失われる可能性があります。	double 型のフィールド値は 52 ビットに制限されています。これを超えると、浮動小数点数の精度が失われる可能性があります。	double 型のフィールド値は 52 ビットに制限されています。これを超えると、浮動小数点数の精度が失われる可能性があります。

Simple Log Service:インデックスベースのクエリと分析