Simple Log Service:データフィルタリングとデータクレンジング

サブシナリオ 1：特定のフィールドの削除。

| project-away -wildcard-off <field-pattern>, ...

• 入力データ

  content: 123
  age: 23
  name: twiss

• SPL 文：age フィールドと name フィールドを削除します。

  * | project-away age, name

• 出力

  content: 123

サブシナリオ 2：特定のフィールドの名前の変更。

| project-rename <output>=<field>, ...

• 入力データ

  content: 123
  age: 23
  name: twiss

• SPL 文：age フィールドの名前を new_age に変更し、name フィールドの名前を new_name に変更します。

  * | project-rename new_age = age, new_name = name

• 出力

  content: 123
  new_age: 23
  new_name: twiss

サブシナリオ 1：concat SQL 関数を使用した文字列の連結。

• 入力データ

  x: 123
  y: 100

• SPL 文：数値として x と y を加算してフィールド a に格納し、文字列として連結してフィールド b に格納します。

  * | extend a = cast(x as bigint) + cast(y as bigint) | extend b = concat(x, y)

• 出力

  x: 123
  y: 100
  a: 223
  b: 123100

たとえば、to_unixtime SQL 関数を使用して、日時値を UNIX タイムスタンプに変換します。

• 生ログ

  time1: 2020-09-17 9:00:00

• 変換ルール

  time1 フィールドの日時値を UNIX タイムスタンプに変換します。

  * | extend time1 = cast(time1 as TIMESTAMP) | extend new_time = to_unixtime(time1)

• 出力

  time1:  2020-09-17 9:00:00
  new_time:  1600333200.0

COALESCE 式を使用して、存在しないフィールドをデフォルト値で埋めます。

• 入力データ

  server_protocol: 100

• SPL 文

  server_protocol フィールドが存在する場合は、その値を y フィールドに割り当てます。server_protocol1 フィールドが存在しない場合は、200 を x フィールドに割り当てます。

  * | extend x = COALESCE(server_protocol1, '200') | extend y = COALESCE(server_protocol, '200')

• 出力

  server_protocol: 100
  x: 200
  y: 100

where および extend SPL 命令を組み合わせて使用します。

* | where <bool-expression> | extend <output> = <expression> | ...

• 入力データ

  status1: 200
  status2: 404

• SPL 文：status1 が 200 で、かつ status2 が 404 の場合に、status1_info フィールドと status2_info フィールドを追加します。

  * | where status1 = '200' and status2 = '404' | extend status1_info = 'normal', status2_info = 'error'

• 出力

  status1: 200
  status2: 404
  status1_info: normal
  status2_info: error