Simple Log Service:スキャンベース分析の構文

仕組み

基本構文

スキャンベースの分析機能を使用する場合は、標準のSQL構文ベースの分析ステートメントの前にset session mode=scan; を追加します。

Search statement | set session mode=scan;Analytic statement based on the standard SQL syntax

例

* and status:200 | set session mode=scan;SELECT api, count(*) AS PV GROUP BY api

制限事項

• スキャンベースの分析モードでは、すべてのフィールドがvarchar型と見なされます。

  他のデータ型のフィールドを分析する必要がある場合は、cast関数を使用してデータ型を変換できます。 詳細については、「キャスト関数」をご参照ください。

  たとえば、API操作の平均レイテンシを計算する場合、avg関数には数値入力が必要なため、cast関数を使用してレイテンシフィールドの型をbigint型に変換する必要があります。

  status:200 | set session mode=scan;SELECT avg(cast(latency AS bigint)) AS 'Average latency', api GROUP BY api

• スキャンベースの分析モードでは、Simple Log Serviceはログをスキャンして、分析ステートメントで指定されたフィールドのデータを抽出します。 既存のフィールドインデックスは有効になりません。

  たとえば、statusフィールドに長いタイプのインデックスを作成したとします。 次の文を実行してスキャンベースの分析を実行した場合、statusフィールドのインデックスは有効になりません。

  * | set session mode=scan;SELECT count(1) AS pv, api WHERE cast(status AS bigint) = 200 GROUP BY api

  このシナリオでは、次のステートメントを使用することを推奨します。

  説明

  フィールドのインデックスを作成した場合は、フィルター条件として縦棒 (|) の前にフィールドを配置することを推奨します。

  status:200 | set session mode=scan;SELECT count(1) as pv, api GROUP BY api

• スキャンベースの分析モードでは、分析できるデータの量は限られています。 シャードでは、最大500,000のログを分析でき、最大1,000万のログをスキャンできます。 検索文を使用する場合、検索文によって返されるログの数を参照します。 上記の制限のいずれかを超えた場合、システムは一部のログの分析結果のみを返し、分析結果が不正確であることを確認します。

  不正確な結果を防ぐには、次の方法を使用できます。

  • 大規模な構造化データには、インデックスベースの分析を使用することを推奨します。 フィールドインデックスを作成し、ログ分析機能を有効にする必要があります。

  • 検索文を使用してログをフィルタリングし、スキャンする必要のあるデータ量を減らすことを推奨します。 検索文で指定されているフィールドのインデックスが作成されていることを確認してください。

  • スキャンする必要があるデータの量を減らすために、クエリの時間範囲を減らすことを推奨します。

• スキャンベースの分析モードでは、* | select * 文はサポートされません。

• スキャンベース分析モードでJOIN句を使用して複数のLogstoreのデータを分析する場合は、フィールドの前にLogstore名を追加する必要があります。 形式: LogstoreName.key

インデックスベースの分析とスキャンベースの分析の比較