Simple Log Service:一般的なリファレンス

フィールド名の競合の処理

ログのアップロード中または SPL の実行中に、フィールド名の大文字と小文字を区別しない処理によって競合が発生する可能性があります。たとえば、生ログに `Method` フィールドと `method` フィールドの両方が含まれている場合、競合が発生します。SPL は、シナリオに応じて、これらの競合を異なる方法で解決します。

このような状況を回避するには、生ログのフィールド名を標準化します。

出力結果の競合

予約フィールドの完全なリストについては、「予約フィールド」をご参照ください。SPL は LogGroup 構造からデータを読み取ります（LogGroup の定義については、「データエンコーディング」をご参照ください）。生データが標準の LogGroup エンコーディングに準拠していない場合、一部の予約フィールドが標準の場所ではなく LogContent に含まれている可能性があります。SPL はこれらの競合を次のように処理します。

• __source__、__topic__、__time__、__time_ns_part__ フィールドの場合、SPL は標準の LogGroup エンコーディングから値を読み取り、同じ名前の LogContent フィールドを無視します。

• __tag__: プレフィックスが付いたタグフィールドの場合、SPL は最初に標準の LogGroup エンコーディングから値を読み取ろうとします。値が見つからない場合、SPL は LogContent から値を読み取ります。たとえば、__tag__:ip フィールドの場合、SPL は最初に LogTag リストからキー ip を持つフィールドを読み取ろうとします。フィールドが存在しない場合、SPL は LogContent のカスタムログフィールドからキー __tag__:ip を持つログフィールドを読み取ります。

全文検索の __line__ フィールド

[コンソール] で、または GetLogstoreLogs API 操作を使用する場合に、生ログをフィルタリングするには、`__line__` フィールドを使用できます。

例

• ログでキーワード `error` を検索します。

  * | where __line__ like '%error%' //__line__ が '%error%' を含む

• ログに `__line__` という名前のフィールドがある場合は、バックティック（`` ` ``）で名前を囲んで参照します（例 : `__line__`）。

  * | where `__line__` ='20' //`__line__` が '20' と等しい

古い値と新しい値のデータ型が一致しない

入力フィールドの元の値が保持されます。

例

• 例 1 : `project` 命令から名前が変更されたフィールドの名前が競合しています。

  • SPL 文

    * 
    | extend status=cast(status as BIGINT) //status フィールドの型を BIGINT に変換します。
    | project code=status //新しい値の型（BIGINT）は古い値の型（VARCHAR）と異なるため、古い値が保持されます。

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: 'Success'

• 例 2 : `parse-json` 命令から抽出されたフィールドの名前が競合しています。

  • SPL 文

    * 
    | extend status=cast(status as BIGINT) //status フィールドの型を BIGINT に変換します。
    | parse-json content //status の古い型は BIGINT で、新しい型は VARCHAR です。古い値が保持されます。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

古い値と新しい値のデータ型が一致する

入力値が null の場合、新しい値が使用されます。それ以外の場合、動作は、次の表で定義されているように、命令の mode パラメーターによって決まります。

例

• 例 1 : `project` 命令から名前が変更されたフィールドの名前が競合し、型が同じです。デフォルトモードは `overwrite` です。

  • SPL 文

  * | project code=status //code の古い型と新しい型は両方とも VARCHAR です。overwrite モードに基づいて新しい値が使用されます。

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: '200'

• 例 2 : `parse-json` 命令から抽出されたフィールドの名前が競合し、型が同じです。デフォルトモードは `overwrite` です。

  • SPL 文

    * | parse-json content //status の古い型と新しい型は両方とも VARCHAR です。overwrite モードに基づいて新しい値が使用されます。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• 例 3 : `parse-json` 命令から抽出されたフィールドの名前が競合し、型が同じです。モードは `preserve` に設定されています。

  • SPL 文

    * | parse-json -mode='preserve' content //status の古い型と新しい型は両方とも VARCHAR です。preserve モードに基づいて古い値が保持されます。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

データ型変換

初期型

SPL を使用したデータ処理では、ログ時間フィールドを除き、すべての入力フィールドの初期データ型は VARCHAR です。後続の処理ロジックに異なるデータ型が含まれる場合は、データ型変換を実行する必要があります。

例

ステータスコードが 5xx のアクセスログをフィルタリングするには、比較の前に `status` フィールドを BIGINT 型に変換する必要があります。

* -- status フィールドの初期型は VARCHAR です。
| where cast(status as BIGINT) >= 500 //status フィールドの型を BIGINT に変換してから、比較を実行します。

型の保持

SPL データ処理中に、`extend` 命令を使用してフィールドのデータ型を変換した後、後続の処理ロジックは変換されたデータ型を使用します。

例

* -- Logstore が入力データとして使用されます。時間フィールドを除き、すべてのフィールドは最初は VARCHAR 型です。
| where __source__='127.0.0.1' //__source__ フィールドでフィルタリングします。
| extend status=cast(status as BIGINT) //status フィールドの型を BIGINT に変換します。
| project status, content
| where status>=500 //status フィールドの型は BIGINT のままなので、数値 500 と直接比較できます。

null 値の生成

SPL データ処理中に、次の 2 つのシナリオで null 値が生成されます。

1. SPL 式で使用されるフィールドが入力データに存在しない場合、計算中にその値は null として扱われます。

2. SPL 式の計算中に例外が発生した場合、結果は null になります。たとえば、`cast` 型変換が失敗した場合、または配列インデックスが範囲外の場合です。

例

1. フィールドが存在しない場合、計算ではその値は null として扱われます。

   • SPL 文

     * | extend withoutStatus=(status is null) //status が null の場合、withoutStatus に true を代入します。

   • 入力データ

     # エントリ 1
     status: '200'
     code: 'Success'
     
     # エントリ 2
     code: 'Success'

   • 出力結果

     # エントリ 1
     status: '200'
     code: 'Success'
     withoutStatus: false
     
     # エントリ 2
     code: 'Success'
     withoutStatus: true

2. 計算中に例外が発生した場合、結果は null になります。

   • SPL 文

     *
     | extend code=cast(code as BIGINT) //code フィールドを BIGINT に変換できませんでした。
     | extend values=json_parse(values) //values を JSON として解析します。
     | extend values=cast(values as ARRAY(BIGINT)) //values を BIGINT の配列にキャストします。
     | extend last=arr[10] //配列インデックスが範囲外です。

   • 入力データ

     status: '200'
     code: 'Success'
     values: '[1,2,3]'

   • 出力結果

     status: '200'
     code: null
     values: [1, 2, 3]
     last: null

null 値の削除

計算中に null 値を削除するには、`COALESCE` 式を使用して複数の値を優先順位で結合し、最初の null でない値を最終結果として取得します。すべての式の結果が null の場合に使用するデフォルト値を設定することもできます。

例

配列の最後の要素を読み取ります。配列が空の場合、デフォルト値は 0 です。

• SPL 文

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• 入力データ

  # エントリ 1
  values: '[1, 2, 3]'
  
  # エントリ 2
  values: '[]'

• 出力結果

  # エントリ 1
  values: [1, 2, 3]
  last: 3
  
  # エントリ 2
  values: []
  last: 0

単一引用符

単一引用符は、フィールドの値を囲むために使用されます。フィールド値に単一引用符が含まれている場合は、追加の単一引用符を使用してエスケープする必要があります。

二重引用符

二重引用符は、フィールド名を囲むために使用されます。フィールド名に二重引用符が含まれている場合は、追加の二重引用符を使用してエスケープする必要があります。