Simple Log Service:SPL 命令

構文

| parse-kv -mode=<mode> -prefix=<prefix> -greedy <field>, <delim>, <kv-sep>

| parse-kv -regexp -mode=<mode> -prefix=<prefix> <field>, <pattern>

パラメータ

例

• 例 1: 複数文字のデリミタを使用して、SLS 時系列データからラベルをデータフィールドとして抽出します

  • SPL 文

    * | parse-kv -prefix='__labels__.' __labels__, '|', '#$#'

  • 入力データ

    __name__: 'net_in'
    __value__: '231461.57374215033'
    __time_nano__: '1717378679274117026'
    __labels__: 'cluster#$#sls-etl|hostname#$#iZbp17raa25u0xi4wifopeZ|interface#$#veth02cc91d2|ip#$#192.168.22.238'

  • 出力データ

    __name__: 'net_in'
    __value__: '231461.57374215033'
    __time_nano__: '1717378679274117026'
    __labels__: 'cluster#$#sls-etl|hostname#$#iZbp17raa25u0xi4wifopeZ|interface#$#veth02cc91d2|ip#$#192.168.22.238'
    __labels__.cluster: 'sls-etl'
    __labels__.hostname: 'iZbp17raa25u0xi4wifopeZ'
    __labels__.interface: 'veth02cc91d2'
    __labels__.ip: '192.168.22.238'

• 例 2: 貪欲マッチングモードを有効にして、アクセスログからキーと値の情報を抽出します。

  • SPL 文

    * | parse-kv -greedy content, ' ', '='

  • 入力データ

    content: 'src=127.0.0.1 dst=192.168.0.0 bytes=125 msg=connection refused body=this is test time=2024-05-21T00:00:00'

  • 出力データ

    content: 'src=127.0.0.1 dst=192.168.0.0 bytes=125 msg=connection refused body=this is test time=2024-05-21T00:00:00'
    src: '127.0.0.1'
    dst: '192.168.0.0'
    bytes: '125'
    msg: 'connection refused'
    body: 'this is test'
    time: '2024-05-21T00:00:00'

• 例 3: ペア間およびキーと値間のデリミタが異なる場合に、正規抽出モードを使用してキーと値のペアを抽出します。

  • SPL 文

    * | parse-kv -regexp content, '([^&?]+)(?:=|:)([^&?]+)'

  • 入力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 出力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'v1'
    k2: 'v2'
    k3: 'v3'

• 例 4: preserve モードで情報を抽出します。既存のフィールドの場合、元の値を保持します。

  • SPL 文

    * | parse-kv -regexp -mode='preserve' content, '([^&?]+)(?:=|:)([^&?]+)'

  • 入力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 出力

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'
    k2: 'v2'
    k3: 'v3'

中国 (上海)、中国 (河源)

構文

| pack-fields -keep -ltrim -include=<include> -exclude=<exclude> as <output>

パラメーター

例

• 例 1: ログ内のすべてのフィールドを test フィールドにカプセル化します。デフォルトでは、カプセル化された元のフィールドは削除されます。

  • SPL 文

    * | pack-fields -include='\w+' as test

  • 入力データ

    test1:123
    test2:456
    test3:789

  • 出力

    test:{"test1": "123", "test2": "456", "test3": "789"}

• 例 2: ログ内のすべてのフィールドを test フィールドにカプセル化します。カプセル化された元のフィールドは削除しないでください。

  • SPL 文

    * | pack-fields -keep -include='\w+' as test

  • 入力データ

    test1:123
    test2:456
    test3:789

  • 出力

    test:{"test1": "123", "test2": "456", "test3": "789"}
    test1:123
    test2:456
    test3:789

• 例 3: test フィールドと abcd フィールドを content フィールドにカプセル化します。カプセル化された元のフィールドは削除しないでください。

  • SPL 文

    * | pack-fields -keep -include='\w+' as test

  • 入力データ

    abcd@#%:123
    test:456
    abcd:789

  • 出力

    abcd:789
    abcd@#%:123
    content:{"test": "456", "abcd": "789"}
    test:456

• 例 4: test フィールドと abcd フィールドはカプセル化しません。他のすべてのフィールドを content フィールドにカプセル化します。カプセル化された元のフィールドは削除します。

  • SPL 文

    * | pack-fields -exclude='\w+' as test

  • 入力データ

    abcd@#%:123
    test:456
    abcd:789

  • 出力

    abcd:789
    content:{"abcd@#%": "123"}
    test:456

• 例 5: フィールド値から正規表現に一致するすべてのキーと値のペアを抽出し、キーと値のペアをカプセル化し、キーと値のペアを name フィールドに割り当てます。

  • SPL 文

    * | parse-kv -prefix='k_' -regexp dict, '(\w+):(\w+)' | pack-fields -include='k_.*' -ltrim = 'k_' as name

  • 入力データ

    dict: x:123, y:456, z:789

  • 出力

    dict:x:123, y:456, z:789
    name:{"x": "123", "y": "456", "z": "789"}

構文

| log-to-metric -wildcard -format -names=<names> -labels=<labels> -time_field=<time_field>

パラメーター

例

• 例 1: rt フィールドを含むログを時系列データ形式に変換します。

  • SPL 文

    * | log-to-metric -names='["rt"]'

  • 入力データ

    __time__: 1614739608
    rt: 123

  • 出力

    __labels__:
    __name__:rt
    __time_nano__:1614739608
    __value__:123

• 例 2: rt フィールドを含むログを時系列データ形式に変換し、host フィールドをラベルとして使用します。

  • SPL 文

    * | log-to-metric -names='["rt"]' -labels='["host"]'

  • 入力データ

    __time__: 1614739608
    rt: 123
    host: myhost

  • 出力

    __labels__:host#$#myhost
    __name__:rt
    __time_nano__:1614739608
    __value__:123

• 例 3：rt フィールドと qps フィールドを含むログを時系列データ形式に変換し、host フィールドをラベルとして使用します。

  • SPL 文

    * | log-to-metric -names='["rt", "qps"]' -labels='["host"]'

  • 入力データ

    __time__: 1614739608
    rt: 123
    qps: 10
    host: myhost

  • 出力

    __labels__:host#$#myhost
    __name__:rt
    __time_nano__:1614739608
    __value__:123
    
    __labels__:host#$#myhost
    __name__:qps
    __time_nano__:1614739608
    __value__:10

• 例 4：あいまい一致を使用して、rt1 フィールドと rt2 フィールドを含むログを時系列データ形式に変換し、host フィールドをラベルとして使用します。

  • SPL 文

    * | log-to-metric -wildcard -names='["rt*"]' -labels='["host"]'

  • 入力データ

    __time__: 1614739608
    rt1: 123
    rt2: 10
    host: myhost

  • 出力

    __labels__:host#$#myhost
    __name__:rt1
    __time_nano__:1614739608
    __value__:123
    
    __labels__:host#$#myhost
    __name__:rt2
    __time_nano__:1614739608
    __value__:10

• 例 5：rt フィールドと qps フィールドを含むログを時系列データ形式に変換し、host フィールドをラベルとして使用し、ラベル値を自動的にフォーマットします。

  • SPL 文

    * | log-to-metric -format -names='["rt", "qps"]' -labels='["host"]'

  • 入力データ

    __time__: 1614739608
    rt: 123
    qps: 10
    host: myhost1|myhost2

  • 出力

    __labels__:host#$#myhost1_myhost2
    __name__:rt
    __time_nano__:1614739608
    __value__:123
    
    __labels__:host#$#myhost1_myhost2
    __name__:qps
    __time_nano__:1614739608
    __value__:10

• 例 6：rt フィールドと qps フィールドを含むログを時系列データ形式に変換し、フィールド名を max_rt と total_qps に変更し、host フィールドをラベルとして使用します。

  • SPL 文

    * | project-rename max_rt = rt, total_qps = qps| log-to-metric -names='["max_rt", "total_qps"]' -labels='["host"]'

  • 入力データ

    __time__: 1614739608
    rt: 123
    qps: 10
    host: myhost

  • 出力

    __labels__:host#$#myhost
    __name__:max_rt
    __time_nano__:1614739608
    __value__:123
    
    __labels__:host#$#myhost
    __name__:total_qps
    __time_nano__:1614739608
    __value__:10

• 例 7：rt フィールドと qps フィールドを含むログを時系列データ形式に変換し、フィールド名を max_rt と total_qps に変更し、host フィールドの名前を hostname に変更してから、ラベルとして使用します。

  • SPL 文

    * | project-rename max_rt = rt, total_qps = qps, hostname=host| log-to-metric -names='["max_rt", "total_qps"]' -labels='["hostname"]'

  • 入力データ

    __time__: 1614739608
    rt: 123
    qps: 10
    host: myhost

  • 出力

    __labels__:hostname#$#myhost
    __name__:max_rt
    __time_nano__:1614739608
    __value__:123
    
    __labels__:hostname#$#myhost
    __name__:total_qps
    __time_nano__:1614739608
    __value__:10

• 例 8：remote_user フィールドを含むログを時系列データ形式に変換し、status フィールドをラベルとして使用し、time フィールドを時系列データのタイムフィールドとして使用し、元のログデータのタイムユニットをナノ秒として指定します。

  • SPL 文

    * | log-to-metric -names='["remote_user"]' -labels='["status"]' -time_field='time'

  • 入力データ

    time:1652943594
    remote_user:89
    request_length:4264
    request_method:GET
    status:200

  • 出力

    __labels__:status#$#200
    __name__:remote_user
    __time_nano__:1652943594
    __value__:89

構文

| metric-to-metric -add_labels=<add_labels> -remove_labels=<remove_labels> -rename_labels=<rename_labels>

パラメーター

例

• 例 1: ラベルを追加する

  • SPL 文

    * | extend qps = '10'|metric-to-metric -add_labels='["qps"]'

  • 入力データ

    __labels__:host#$#myhost
    __name__:rt
    __time_nano__:1614739608
    __value__:123

  • 出力結果

    __labels__:host#$#myhost|qps#$#10
    __name__:rt
    __time_nano__:1614739608
    __value__:123

• 例 2: ラベルを削除する

  • SPL 文

    * | metric-to-metric -del_labels='["qps"]'

  • 入力データ

    __labels__:host#$#myhost|qps#$#10
    __name__:rt
    __time_nano__:1614739608
    __value__:123

  • 出力結果

    __labels__:host#$#myhost
    __name__:rt
    __time_nano__:1614739608
    __value__:123

• 例 3: ラベルの名前を変更する

  • SPL 文

    * | metric-to-metric -rename_labels='{"host":"etl_host"}'

  • 入力データ

    __labels__:host#$#myhost|qps#$#10
    __name__:rt
    __time_nano__:1614739608
    __value__:123

  • 出力結果

    __labels__:etl_host#$#myhost|qps#$#10
    __name__:rt
    __time_nano__:1614739608
    __value__:123

• 例 4: 無効なデータをワンクリックでフォーマットする

  • SPL 文

    * | metric-to-metric -format

  • 入力データ

    __labels__:host#$#myhost|qps#$#10|asda$cc#$#j|ob|schema#$#|#$#|#$#xxxx
    __name__:rt
    __time_nano__:1614739608
    __value__:123

  • 出力結果

    __labels__:asda_cc#$#j|host#$#myhost|qps#$#10
    __name__:rt
    __time_nano__:1614739608
    __value__:123

構文

| stats <aggregation_function> [by <field>, ...]

パラメータ

例

• ip pv 例 1：ログエントリの総数をカウントします。

  • SPL 文

    * | stats count()

  • 入力データ

    # エントリ 1
    status: 200
    size: 1024
    ip: '192.168.1.1'
    
    # エントリ 2
    status: 404
    size: 512
    ip: '192.168.1.2'
    
    # エントリ 3
    status: 200
    size: 2048
    ip: '192.168.1.1'

  • 出力

    count(): 3

• accesslog ip min/max 例 2：状態コード別にグループ化された統計を計算します。

  • SPL 文

    * | stats count() as count, sum(size) as total_size by status

  • 入力データ

    # エントリ 1
    status: 200
    size: 1024
    ip: '192.168.1.1'
    
    # エントリ 2
    status: 404
    size: 512
    ip: '192.168.1.2'
    
    # エントリ 3
    status: 200
    size: 2048
    ip: '192.168.1.1'

  • 出力

    # エントリ 1
    status: 200
    count: 2
    total_size: 3072
    
    # エントリ 2
    status: 404
    count: 1
    total_size: 512

• pv 例 3：複数のグループ化フィールドで複数の統計を計算します。

  • SPL 文

    * | stats count() as count, avg(size) as avg_size, max(size) as max_size by status, ip

  • 入力データ

    # エントリ 1
    status: 200
    size: 1024
    ip: '192.168.1.1'
    
    # エントリ 2
    status: 404
    size: 512
    ip: '192.168.1.2'
    
    # エントリ 3
    status: 200
    size: 2048
    ip: '192.168.1.1'

  • 出力

    # エントリ 1
    status: 200
    ip: '192.168.1.1'
    count: 2
    avg_size: 1536
    max_size: 2048
    
    # エントリ 2
    status: 404
    ip: '192.168.1.2'
    count: 1
    avg_size: 512
    max_size: 512

構文

| sort <field> [asc|desc], ...

パラメータ

例

accesslog を latencyMs でソートします。

• SPL 文

  * 
  | extend latencyMs=cast(latencyMs as bigint) 
  | sort latencyMs desc

• 入力データ

  ip: 192.168.1.1
  latencyMs: 10
  
  ip: 192.168.1.1
  latencyMs: 20
  
  ip: 192.168.1.2
  latencyMs: 15

• 出力データ

  ip: 192.168.1.1
  latencyMs: 20
  
  ip: 192.168.1.2
  latencyMs: 15
  
  ip: 192.168.1.1
  latencyMs: 10

構文

limit (<offset>,) <size>

パラメータ

例

accesslog を latencyMs でソートし、最初のエントリを取得します。

• SPL 文

  * | extend latencyMs=cast(latencyMs as bigint) | sort latencyMs | limit 1

• 入力データ

  ip: 192.168.1.1 latencyMs: 10 ip: 192.168.1.1 latencyMs: 20 ip: 192.168.1.2 latencyMs: 15

• 出力データ

  ip: 192.168.1.1 latencyMs: 20