インデックススキーマを使用したログのクエリと分析 - Simple Log Service

事前準備

Simple Log Service は、ログクエリと分析機能を提供します。ログクエリと分析を開始する。
ログを標準 Logstore に収集してください (Logstore の管理)。インデックスを作成した後、クエリと分析は増分ログにのみ適用されます。履歴ログファイルをクエリするには、再インデックスを実行してください。
数百億件のログをクエリするには、「コンソールに "The results are inaccurate" というエラーメッセージが表示された場合の対処法」をご参照ください。
SLS には、デフォルトで予約済みフィールドが含まれています。分析方法については、「予約済みフィールド」をご参照ください。

クエリと分析

Simple Log Service を使用すると、数十億件のログを数秒でクエリし、SQL を使用して結果を分析できます。検索ステートメントは単独で実行できますが、分析ステートメントはクエリ結果または全データセットを分析するため、検索ステートメントの後に記述する必要があります。

説明

インテリジェントなログクエリと分析のための SLS Query Skill：SLS は、ローカル AI エージェントで自然言語を使用して SLS ログデータをクエリおよび分析するためのエージェントスキルを提供します。

基本構文

クエリは、検索文と、オプションの分析文で構成され、パイプ (|) で区切られます。検索文は単独で実行できますが、分析文は検索文の後に記述する必要があります。

検索文 | 分析文

タイプ	説明
検索文	検索文はフィルタリングルールを指定し、一致するログを返します。クエリ形式は`検索文`です。例：`status: 200`。検索条件には、キーワード、数値、数値範囲、スペース、アスタリスク (``) が含まれます。スペースまたはアスタリスク (``) はすべてのログに一致します。詳細については、「クエリ構文と機能」をご参照ください。重要検索文では 30 個以下の条件を使用してください。
分析文	分析機能を使用するには、ログを標準 Logstore に収集し、インデックスの設定時に、対象フィールドの [分析機能を有効化] を有効にする必要があります。分析文は、クエリ結果または完全なデータセットを計算および分析します。サポートされている関数と構文は次のとおりです。 SQL 関数：SQL 関数は通常、合計、平均、文字列操作、日付処理など、データの計算、変換、フォーマットに使用されます。 SQL 句：SQL 句は、完全なクエリまたはデータ操作文を構築します。データソース、条件、グループ化、ソートなどを定義します。ネストされたサブクエリ：ネストされたサブクエリは、複雑な分析のために別の SELECT 文内にネストされた SELECT 文です。 Logstore と MySQL データのフェデレーティッドクエリと分析：`JOIN` 構文を使用して Logstore と MySQL データにまたがるフェデレーティッドクエリを実行し、結果を MySQL に保存します。 SPL を使用したログのクエリと分析：SLS Processing Language (SPL) を使用して、構造化情報を抽出し、フィールドを操作し、ログデータをフィルタリングします。重要 By default, an analytic statement analyzes data in the current logstore. `FROM` and `WHERE` clauses are not required. Analytic statements are case-insensitive, do not support the `offset` parameter, and do not require a trailing semicolon.

SLS は、SLS クエリに基づくカスタムアプリケーションを開発するための ANTLR 文法ファイルを提供します。

ANTLR 文法ファイル：

例

* | SELECT status, count(*) AS PV GROUP BY status

[統計グラフ] タブでは、クエリと分析の結果が、HTTP ステータスコード (499、200、301、302、304、400) の PV 分布を示す折れ線グラフとして表示されます。右側の [一般設定] パネルで、グラフの種類を切り替えたり、X 軸と Y 軸のフィールドを設定したりできます。

高度な機能

LiveTail：ログをリアルタイムで監視して、O&M のワークロードを削減します。
LogReduce：収集時に類似のログからパターンを抽出することで、ログデータを素早く概観できます。
コンテキストクエリ：ログのコンテキストを表示して、トラブルシューティングを行います。
フィールド分析：フィールドの分布、統計メトリクス、上位 5 つの時系列グラフを表示します。
イベント設定：イベントを設定して、生ログから詳細を抽出します。
StoreView の概要：StoreView を使用して、リージョンやストアをまたいだフェデレーティッドクエリを実行します。

クエリの制限

項目	説明
キーワード数	論理演算子を除き、クエリごとに最大 30 個の条件を使用できます。
フィールド値のサイズ	単一フィールド値の最大サイズは 512 KB です。この制限を超えるコンテンツはインデックス化されません。フィールド値が 512 KB を超えるログはキーワード検索に表示されない場合がありますが、ログデータ自体はそのまま残ります。説明最大フィールド値の長さを設定する方法については、「クエリと分析中にフィールド値が切り捨てられるのはなぜですか？」をご参照ください。
同時実行オペレーション	1 つのプロジェクトで、複数の同時実行クエリがサポートされます。具体的な制限は、分析モードによって異なります。たとえば、複数のユーザーが同じプロジェクト内の異なる Logstore を同時にクエリできます。
返される結果	ページごとに最大 100 件の結果が返されます。ページを移動してすべての結果を表示してください。
あいまい検索	あいまい検索では、SLS は最大 100 個の用語とマッチングし、検索条件を満たす、それらの用語を含むログを返します。詳細については、「あいまい検索」をご参照ください。
結果のソート	結果は時間順 (降順) でソートされ、秒またはナノ秒単位の精度です。

制限事項

制限	汎用インスタンス	専用 SQL
制限	汎用インスタンス	SQL 拡張	フル精度
同時実行数	プロジェクトあたり最大 15 件の同時クエリ。	プロジェクトあたり最大 100 件の同時クエリ。	プロジェクトあたり最大 5 件の同時クエリ。
データ量	クエリあたり最大 400 MB (キャッシュデータを除く)。超過したデータは切り捨てられ、不完全なクエリ結果マーカーが付与されます。	クエリあたり最大 2 GB (キャッシュデータを除く)。超過したデータは切り捨てられ、不完全なクエリ結果マーカーが付与されます。	無制限。
モードの有効化	デフォルトで有効です。	トグルで有効化します。SQL 拡張。	トグルで有効化します。SQL 完全精度。
料金	無料。	実際に使用した CPU 時間に基づいて課金されます。	実際に使用した CPU 時間に基づいて課金されます。
データの有効範囲	この機能を有効化した後に書き込まれたデータにのみ適用されます。過去データを分析するには、データを再インデックスする必要があります。	この機能を有効化した後に書き込まれたデータにのみ適用されます。過去データを分析するには、データを再インデックスする必要があります。	この機能を有効化した後に書き込まれたデータにのみ適用されます。過去データを分析するには、データを再インデックスする必要があります。
結果の返却	デフォルトでは、クエリは最大 100 行および 100 MB を返します。100 MB を超えるクエリはエラーになります。より多くのデータを返すには、LIMIT 句を使用します。	デフォルトでは、クエリは最大 100 行および 100 MB を返します。100 MB を超えるクエリはエラーになります。より多くのデータを返すには、LIMIT 句を使用します。	デフォルトでは、クエリは最大 100 行および 100 MB を返します。100 MB を超えるクエリはエラーになります。より多くのデータを返すには、LIMIT 句を使用します。
フィールド値サイズ	デフォルトのフィールド値の最大長は 2 KB (2,048 バイト) で、最大 16 KB (16,384 バイト) まで設定できます。上限を超えるコンテンツは、分析と検索の対象外になります。説明制限を変更するには、[テキストフィールドの最大長] を設定します。更新後の設定は増分データにのみ適用されます。インデックスを作成。	デフォルトのフィールド値の最大長は 2 KB (2,048 バイト) で、最大 16 KB (16,384 バイト) まで設定できます。上限を超えるコンテンツは、分析と検索の対象外になります。説明制限を変更するには、[テキストフィールドの最大長] を設定します。更新後の設定は増分データにのみ適用されます。インデックスを作成。	デフォルトのフィールド値の最大長は 2 KB (2,048 バイト) で、最大 16 KB (16,384 バイト) まで設定できます。上限を超えるコンテンツは、分析と検索の対象外になります。説明制限を変更するには、[テキストフィールドの最大長] を設定します。更新後の設定は増分データにのみ適用されます。インデックスを作成。
タイムアウト期間	最大タイムアウト：55 秒。	最大タイムアウト：55 秒。	最大タイムアウト：55 秒。
double 型のフィールド値のビット数	double 型のフィールド値は最大 52 ビットです。 52 ビットを超えてエンコードされた浮動小数点数は精度が失われます。	double 型のフィールド値は最大 52 ビットです。 52 ビットを超えてエンコードされた浮動小数点数は精度が失われます。	double 型のフィールド値は最大 52 ビットです。 52 ビットを超えてエンコードされた浮動小数点数は精度が失われます。

Simple Log Service:インデックスベースのクエリと分析