Simple Log Service:一般リファレンス

フィールド名の競合の処理

ログのアップロード中または SPL の実行中に、大文字と小文字を区別する処理でフィールド名の競合が発生する場合があります。たとえば、 生ログ に Method フィールドと method フィールドの両方が含まれている場合、競合が存在します。SPL は、さまざまなシナリオでさまざまなメソッドを使用してフィールド名の競合を解決します。

以下の競合を防ぐために、 生ログ 内の重複フィールドを削除することをお勧めします。

出力結果の競合

Simple Log Service の予約済みフィールドの詳細については、「予約済みフィールド」をご参照ください。SPL は Simple Log Service の LogGroup からデータを入力として読み取ります。LogGroup の定義の詳細については、「データ エンコーディング」をご参照ください。Simple Log Service に書き込まれた 生データ が LogGroup の エンコーディング 仕様に準拠していない場合、または予約済みフィールドが LogGroup ではなく LogContent に含まれている場合、SPL は次のポリシーに基づいて予約済みフィールドを読み取ります。

• __source__、__topic__、__time__、__time_ns_part__ フィールドの場合、SPL は LogGroup からフィールド値を読み取り、LogContent 内の重複フィールドの値を無視します。

• プレフィックス __tag__: が付いた タグ フィールドの場合、SPL は LogGroup からフィールド値を優先的に読み取ります。フィールド値が見つからない場合、SPL は LogContent からフィールド値を読み取ります。たとえば、__tag__:ip フィールドの場合、SPL は LogTag のリストからキーが ip であるフィールドを優先的に読み取ります。値が見つからない場合、SPL は LogContent のカスタムフィールドのリストからキーが __tag__:ip であるフィールドを読み取ります。

__line__ の全文フィールド

Simple Log Service コンソールで、または GetLogstoreLogs 操作を呼び出すことによって 生ログ をフィルタリングする場合、__line__ フィールドを使用できます。

例

• キーワード error を使用してログを検索します。

* | where __line__ like '%error%'

• ログに __line__ という名前のフィールドが含まれている場合は、`__line__` など、フィールド名をグレイブアクセント (`) で囲んでフィールドを引用符で囲む必要があります。

* | where `__line__` ='20'

古い値と新しい値のデータ型が一致しない

入力フィールドの値が保持されます。

例

• 例 1: project 命令の実行後、出力フィールドの名前が入力フィールドと同じ名前になります。

  • SPL 文

    * 
    | extend status=cast(status as BIGINT) -- status フィールドのデータ型を BIGINT に変換します。
    | project code=status -- code フィールドの古いデータ型は VARCHAR で、フィールドの新しいデータ型は BIGINT です。フィールドの古い値を保持します。

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: 'Success'

• 例 2: parse-json 命令の実行後、抽出されたフィールドの名前が入力フィールドと同じ名前になります。

  • SPL 文

    * 
    | extend status=cast(status as BIGINT) -- status フィールドのデータ型を BIGINT に変換します。
    | parse-json content -- status フィールドの古いデータ型は BIGINT で、フィールドの新しいデータ型は VARCHAR です。フィールドの古い値を保持します。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

古い値と新しい値のデータ型が一致する

出力フィールドの名前が入力フィールドと同じ名前で、入力フィールドの値が null の場合、新しいフィールド値が使用されます。入力フィールド値が null でない場合、出力フィールドの値は、実行される命令の mode パラメーターに基づいて決定されます。

例

• 例 1: project 命令の実行後、出力フィールドの名前が入力フィールドと同じ名前になります。2 つのフィールドのデータ型は同じで、mode パラメーターの デフォルト 値が使用されます。デフォルト 値は overwrite です。

  • SPL 文

  * | project code=status -- code フィールドの古いデータ型と新しいデータ型は VARCHAR です。上書きモードでは、新しい値が使用されます。

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: '200'

• 例 2: parse-json 命令の実行後、抽出された出力フィールドの名前が入力フィールドと同じ名前になります。2 つのフィールドのデータ型は同じで、mode パラメーターの デフォルト 値が使用されます。デフォルト 値は overwrite です。

  • SPL 文

    * | parse-json content -- status フィールドの古いデータ型と新しいデータ型は VARCHAR です。上書きモードでは、新しい値が使用されます。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• 例 3: parse-json 命令の実行後、抽出された出力フィールドの名前が入力フィールドと同じ名前になります。2 つのフィールドのデータ型は同じで、mode パラメーターは preserve に設定されています。

  • SPL 文

    * | parse-json -mode='preserve' content -- status フィールドの古いデータ型と新しいデータ型は VARCHAR です。保存モードでは、古い値が使用されます。

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

データ型の変換

初期型

SPL を使用する場合、ログの時間フィールドを除き、すべての入力フィールドの初期型は VARCHAR です。後続の処理で強い型指定データが関係する場合は、データ型の変換が必要です。

例

状態コード 5xx を使用してアクセスログをフィルタリングする場合、status フィールドのデータ型を BIGINT に変換してからデータを比較する必要があります。

* -- status フィールドの初期型は VARCHAR です。
| where cast(status as BIGINT) >= 500 -- status フィールドのデータ型を BIGINT に変換してからデータを比較します。

型の保持

SPL の実行中に extend 命令を使用してフィールドのデータ型を変換する場合、後続の処理では新しいデータ型が使用されます。

例

* -- ログストアが入力データとして使用されます。時間フィールドを除き、すべての入力フィールドの初期型は VARCHAR です。
| where __source__='127.0.0.1' -- フィルタリングに __source__ フィールドを使用します。
| extent status=cast(status as BIGINT) -- status フィールドのデータ型を BIGINT に変換します。
| project status, content
| where status>=500 -- status フィールドのデータ型は BIGINT として保持されます。フィールド値は数値 500 と直接比較できます。

null 値の生成

SPL の実行中に、次のシナリオで null 値が生成されます。

1. SPL 式で指定されたフィールドが入力データに存在しない場合、システムは計算のためにフィールドの値を null と見なします。

2. SPL 式の計算プロセス中にエラーが発生した場合、システムは計算結果として null を返します。エラーには、cast 関数によって実装されたデータ型変換の失敗と、Array Index Out Of Bounds エラーが含まれます。

例

1. フィールドが存在しない場合、計算には値 null が使用されます。

• SPL 文

* | extend withoutStatus=(status is null)

• 入力データ

# エントリ 1
status: '200'
code: 'Success'

# エントリ 2
code: 'Success'

• 出力結果

# エントリ 1
status: '200'
code: 'Success'
withoutStatus: false

# エントリ 2
code: 'Success'
withoutStatus: true

2. 計算プロセス中にエラーが発生した場合、計算結果は null になります。

• SPL 文

  *
  | extend code=cast(code as BIGINT) -- code フィールドのデータ型を BIGINT に変換できませんでした。
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=arr[10] -- Array Index Out Of Bounds エラーが発生しました。

• 入力データ

  status: '200'
  code: 'Success'
  values: '[1,2,3]'

• 出力結果

  status: '200'
  code: null
  values: [1, 2, 3]
  last: null

null 値の削除

計算中に null 値を削除するには、COALESCE 式を使用して複数の値を優先順位で関連付け、最初の null でない値を最終的な計算結果として使用する必要があります。すべての式が null を返す場合は、 デフォルト 値を最終的な計算結果として指定できます。

例

配列の最後の要素を読み取ります。配列が空の場合、 デフォルト 値 0 が返されます。

• SPL 文

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• 入力データ

  # エントリ 1
  values: '[1, 2, 3]'
  
  # エントリ 2
  values: '[]'

• 出力結果

  # エントリ 1
  values: [1, 2, 3]
  last: 3
  
  # エントリ 2
  values: []
  last: 0