Simple Log Service:半構造化データの抽出方法

構文

| parse-regexp <field>, <pattern> as <output>, ...

パラメーター

例

• 例 1：順次探索的マッチングを実行します。

  • SPL 文

    *
    | parse-regexp content, '(\S+)' as ip -- ip フィールドを生成します：10.0.0.0。
    | parse-regexp content, '\S+\s+(\w+)' as method -- method フィールドを生成します：GET。

  • 入力データ

    content: '10.0.0.0 GET /index.html 15824 0.043'

  • 出力

    content: '10.0.0.0 GET /index.html 15824 0.043'
    ip: '10.0.0.0'
    method: 'GET'

• 例 2：名前のない正規表現キャプチャを使用して、完全なパターンマッチングを実行します。

  • SPL 文

    * | parse-regexp content, '(\S+)\s+(\w+)' as ip, method

  • 入力データ

    content: '10.0.0.0 GET /index.html 15824 0.043'

  • 出力

    content: '10.0.0.0 GET /index.html 15824 0.043'
    ip: '10.0.0.0'
    method: 'GET'

構文

| parse-csv -delim=<delim> -quote=<quote> -strict <field> as <output>, ...

パラメーター

例

• 例 1：単純なデータマッチング。

  • SPL 文

    * | parse-csv content as x, y, z

  • 入力データ

    content: 'a,b,c'

  • 出力

    content: 'a,b,c'
    x: 'a'
    y: 'b'
    z: 'c'

• 例 2：デフォルトの二重引用符 (") を引用符として使用して、特殊文字を含むコンテンツを照合します。

  • SPL 文

    * | parse-csv content as ip, time, host

  • 入力データ

    content: '192.168.0.100,"10/Jun/2019:11:32:16,127 +0800",example.aliyundoc.com'

  • 出力

    content: '192.168.0.100,"10/Jun/2019:11:32:16,127 +0800",example.aliyundoc.com'
    ip: '192.168.0.100'
    time: '10/Jun/2019:11:32:16,127 +0800'
    host: 'example.aliyundoc.com'

• 例 3：複数文字の区切り文字を使用します。

  • SPL 文

    * | parse-csv -delim='||' content as time, ip, req

  • 入力データ

    content: '05/May/2022:13:30:28||127.0.0.1||POST /put?a=1&b=2'

  • 出力

    content: '05/May/2022:13:30:28||127.0.0.1||POST /put?a=1&b=2'
    time: '05/May/2022:13:30:28'
    ip: '127.0.0.1'
    req: 'POST /put?a=1&b=2'

構文

| parse-json -mode=<mode> -path=<path> -prefix=<prefix> <field>

パラメーター

例

• 例 1：y フィールドからすべてのキーと値のペアを抽出します。

  • SPL 文

    * | parse-json y

  • 入力データ

    x: '0'
    y: '{"a": 1, "b": 2}'

  • 出力

    x: '0'
    y: '{"a": 1, "b": 2}'
    a: '1'
    b: '2'

• 例 2：content フィールドから body キーの値を抽出し、次にそのすべてのキーと値のペアを抽出します。

  • SPL 文

    * | parse-json -path='$.body' content

  • 入力データ

    content: '{"body": {"a": 1, "b": 2}}'

  • 出力

    content: '{"body": {"a": 1, "b": 2}}'
    a: '1'
    b: '2'

• 例 3：フィールド値の出力モードを preserve に設定して、既存のフィールドの元の値を保持します。

  • SPL 文

    * | parse-json -mode='preserve' y

  • 入力データ

    a: 'xyz'
    x: '0'
    y: '{"a": 1, "b": 2}'

  • 出力

    x: '0'
    y: '{"a": 1, "b": 2}'
    a: 'xyz'
    b: '2'

構文

| parse-kv -mode=<mode> -prefix=<prefix> -greedy <field>, <delim>, <kv-sep>

| parse-kv -regexp -mode=<mode> -prefix=<prefix> <field>, <pattern>

パラメーター

例

• 例 1：複数文字の区切り文字を使用して、SLS メトリックデータからラベルをデータフィールドとして抽出します

  • SPL 文

    * | parse-kv -prefix='__labels__.' __labels__, '|', '#$#'

  • 入力データ

    __name__: 'net_in'
    __value__: '231461.57374215033'
    __time_nano__: '1717378679274117026'
    __labels__: 'cluster#$#sls-etl|hostname#$#iZbp17raa25u0xi4wifopeZ|interface#$#veth02cc91d2|ip#$#192.168.22.238'

  • 出力データ

    __name__: 'net_in'
    __value__: '231461.57374215033'
    __time_nano__: '1717378679274117026'
    __labels__: 'cluster#$#sls-etl|hostname#$#iZbp17raa25u0xi4wifopeZ|interface#$#veth02cc91d2|ip#$#192.168.22.238'
    __labels__.cluster: 'sls-etl'
    __labels__.hostname: 'iZbp17raa25u0xi4wifopeZ'
    __labels__.interface: 'veth02cc91d2'
    __labels__.ip: '192.168.22.238'

• 例 2：貪欲マッチングモードを有効にして、アクセスログからキーと値のペアを抽出します。

  • SPL 文

    * | parse-kv -greedy content, ' ', '='

  • 入力データ

    content: 'src=127.0.0.1 dst=192.168.0.0 bytes=125 msg=connection refused body=this is test time=2024-05-21T00:00:00'

  • 出力データ

    content: 'src=127.0.0.1 dst=192.168.0.0 bytes=125 msg=connection refused body=this is test time=2024-05-21T00:00:00'
    src: '127.0.0.1'
    dst: '192.168.0.0'
    bytes: '125'
    msg: 'connection refused'
    body: 'this is test'
    time: '2024-05-21T00:00:00'

• 例 3：正規表現抽出モードを使用して、複雑なキーと値のペアの区切り文字とキーと値の区切り文字を処理します。

  • SPL 文

    * | parse-kv -regexp content, '([^&?]+)(?:=|:)([^&?]+)'

  • 入力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 出力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'v1'
    k2: 'v2'
    k3: 'v3'

• 例 4：フィールド値出力モードを preserve に設定して、既存フィールドの元の値を保持します。

  • SPL 文

    * | parse-kv -regexp -mode='preserve' content, '([^&?]+)(?:=|:)([^&?]+)'

  • 入力データ

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 出力

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'
    k2: 'v2'
    k3: 'v3'