Simple Log Service:Conversão de dados

Tipos de regras de conversão de dados

Ao criar um gráfico, configure as regras de conversão de dados. Os tipos compatíveis são Connect, Category, Parse Timestamp, Group By e Transpose Rows and Columns.

• Category: agrupa os resultados de uma instrução de consulta com base em campos especificados e calcula cada grupo. A tabela a seguir descreve os parâmetros. Para mais informações, consulte Exemplo de Category.

  Parâmetro	Descrição
  Select Data Source	Selecione a instrução de consulta cujos resultados deseja classificar. Por exemplo, ao selecionar A, o sistema classifica os resultados da Instrução de Consulta A.
  X-axis	Selecione um campo para o eixo x.
  Y-axis	Selecione um campo para o eixo y.
  Aggregate Column	Selecione um campo para classificar e agregar os dados. Por exemplo, ao selecionar o campo kind, a classificação e a agregação usam esse campo como base.

• Connect: combina os resultados de múltiplas instruções de consulta por meio de Left Join, Right Join ou Full Join e exibe o resultado unificado no gráfico. A tabela abaixo detalha os parâmetros. Consulte também Exemplo de Connect.

  Parâmetro	Descrição
  Connection Mode	Selecione o método de junção para combinar os resultados das consultas.
  Connection Field	Selecione um campo comum a todos os resultados de consulta para usar como chave de junção.

Por exemplo, na conversão de dados TA, defina o tipo como Category, Select Data Source como A, eixo x como Time, eixo y como count e coluna de agregação como kind. Na conversão TB, defina o tipo como Connect, Connection Mode como Left Join e Connection Field como Time.

Exemplo de Connect

As instruções de consulta A e B retornam resultados que incluem o campo time. Use o Left Join no campo time para combinar esses resultados e exibi-los em uma tabela.

• Configuração de consulta e análise: A consulta e análise A usa LogStore (SQL). O Logstore é sls-mall-traces e a instrução é * | select __time__ - __time__ % 60 as time, count() as pv, 'computer' as icon, 'database' as database from log group by time order by time asc limit 2000. A consulta e análise B também usa LogStore (SQL), com o Logstore sls-mall-traces-deps e a instrução * | select __time__ - __time__ % 60 as time, count() as pvb from log group by time order by time asc limit 2000.

• Resultados da consulta e análise A: A tabela retornada contém quatro colunas: time, pv, icon e database. Ela apresenta dados estatísticos agrupados em intervalos de 60 segundos.

• Resultados da consulta e análise B: A tabela retornada contém duas colunas: time e pvb. Ela mostra dados estatísticos de PVB agrupados em intervalos de 60 segundos.

• Configuração da conversão de dados: Defina o tipo como Connect, Connection Mode como Left Join e Connection Field como time.

• Resultados da conversão de dados: Após o Left Join, a tabela combinada passa a ter cinco colunas: time, pvb, pv, icon e database. Os dois conjuntos de resultados se uniram com base no campo time.

Exemplo de Category

A instrução de consulta A agrega dados e os agrupa pelos campos kind e time. Um gráfico de linhas exibe apenas parte desses resultados. Para mostrar todas as categorias, configure uma regra de conversão de dados do tipo Category que classifique os resultados em cinco grupos com base no campo kind: producer, consumer, server, client e internal. O gráfico de linhas exibirá a contagem de cada categoria.

• Configuração de consulta e análise: A consulta e análise A usa LogStore (SQL). O Logstore é sls-mall-traces e a instrução é * | SELECT __time__ - __time__ % 60 AS Time, count(1) AS count, kind GROUP BY Time, kind ORDER BY Time LIMIT 1000.

• Resultados da consulta antes da conversão de dados

  • Tabela: A tabela retornada contém três colunas: Time, count e kind, totalizando 80 linhas. Cada ponto temporal apresenta uma contagem correspondente aos cinco tipos de kind: producer, consumer, server, client e internal.

  • Gráfico de linhas

• Configuração da conversão de dados: Defina o tipo como Category, Select Data Source como A, eixo x como Time, eixo y como count e coluna de agregação como kind.

• Resultados da consulta após a conversão de dados

  • Tabela: A tabela categorizada divide os dados em cinco colunas distintas com base no campo kind: consumer, producer, internal, server e client. Cada linha mostra a contagem de cada categoria no mesmo ponto temporal.

  • Gráfico de linhas

Exemplo de Parse Timestamp

Após a instrução de consulta A retornar resultados, configure uma regra de conversão de dados do tipo Parse Timestamp para converter um campo específico em timestamp UNIX.

• Instrução de consulta

  A consulta e análise A usa Logstore (SQL). A instrução de consulta é * | select *.

• Resultados da Instrução de Consulta A

  A tabela retornada inclui colunas como __line__, file, info, time, __time__ e _source_. A coluna time contém valores no formato 2024-03-04T10:31:27.427014. O conjunto de resultados tem 82 linhas.

• Configuração da conversão de dados

  Defina o tipo de conversão de dados como Parse Timestamp, Select Data Source como A, campo como time e Format como YYYY-MM-DD HH:mm:ss.

• Resultados da conversão de dados

  Na tabela convertida, os valores da coluna time foram transformados de string de tempo para o formato de timestamp UNIX (como 1720578030). A tabela mantém as 82 linhas originais.

Exemplo de Group By

As instruções de consulta A e B retornam resultados que contêm o campo request_method. Use o Group By nesse campo para combinar e agregar os resultados em uma tabela.

• Instruções de consulta

  As consultas e análises A e B usam Logstore (SQL). O Logstore é nginx-access-log. A instrução de consulta para ambas é * | SELECT request_method, COUNT(*) as c group by request_method.

• Resultados da Instrução de Consulta A

  A tabela de resultados da consulta e análise A apresenta duas colunas: request_method e c, com as contagens para cada método: HEAD(1), GET(237), DELETE(17), POST(62) e PUT(64).

• Resultados da Instrução de Consulta B

  Os resultados da consulta e análise B são idênticos aos da consulta e análise A. Eles contêm os mesmos valores de request_method e suas respectivas contagens.

• Configuração da conversão de dados

  Defina o tipo de conversão de dados como Group By, agrupe pelo campo request_method e aplique a função Sum ao campo c.

• Resultados da conversão de dados

  O resultado após a conversão Group By mostra as estatísticas combinadas de ambas as operações de consulta e análise: GET(474), POST(124), PUT(128), DELETE(34) e HEAD(2).

Exemplo de Transpose Rows and Columns

Depois que a instrução de consulta A retornar os resultados, configure uma regra de conversão de dados do tipo Transpose Rows and Columns para inverter linhas e colunas.

• Instrução de consulta

  A consulta e análise A usa Logstore (SQL). A instrução de consulta é * | select *.

• Resultados da Instrução de Consulta A

  A tabela retornada inclui colunas como __line__, file, info, time, __time__ e _source_. A coluna time contém valores no formato 2024-03-04T10:31:27.427014. O conjunto de resultados tem 82 linhas.

• Configuração da conversão de dados

  Defina o tipo de conversão de dados como Transpose Rows and Columns e selecione A como source de dados.

• Resultados da conversão de dados

  A nova tabela tem 82 colunas (uma para cada linha original) e um número de linhas igual à contagem original de colunas. Na tabela transposta, as linhas originais tornam-se colunas e as colunas originais tornam-se linhas.