Simple Log Service:Visualização avançada

Procedimento

1. Faça login no console do Simple Log Service.

2. Acesse a página de transformação de dados.

   1. Na seção Projects, clique em projeto desejado.

   2. Na aba Log Storage > Logstores, clique em Logstore desejado.

   3. Na página de consulta e análise, clique em Data Transformation.

3. No canto superior direito, selecione um intervalo de tempo para os dados.

   Certifique-se de que os logs apareçam na aba Raw Logs após a seleção do intervalo de tempo.

4. Na caixa de edição, insira uma instrução de transformação de dados.

   Para mais informações, consulte Sintaxe de processamento de dados.

   Nota

   Adicione comentários à instrução de transformação de dados para depurá-la linha por linha.

5. Visualize os dados.

   1. No canto superior direito, clique em Advanced.

   2. Clique em Preview Data.

   3. Na caixa de diálogo Add Preview Settings, configure os parâmetros a seguir e clique em OK.

      Configure esses parâmetros na primeira visualização dos dados. Para alterá-los posteriormente, clique em Modify Preview Settings.

      Parâmetro	Descrição
      authorization method	Use um dos métodos a seguir para conceder permissões de leitura de dados do Logstore de origem ao job de transformação: Default Role: O job assume a função de sistema AliyunLogETLRole para ler dados do Logstore de origem. Custom Role: O job assume uma função personalizada para ler dados do Logstore de origem. Primeiro, conceda à função personalizada as permissões necessárias para ler dados do Logstore de origem. Em seguida, insira o ARN da função personalizada no campo Role ARN. Para mais detalhes, consulte Usar uma função personalizada para acessar dados.
      Advanced parameter settings	Se as instruções de transformação exigirem informações confidenciais, como senhas de banco de dados, armazene-as como pares chave-valor. Depois, referencie o valor nas instruções usando uma variável como ${key}. Clique em + para adicionar vários pares chave-valor. Por exemplo, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj pode representar o ID da VPC onde está localizada uma instância RDS.

      Após configurar as definições de visualização, visualize o resultado da transformação na aba Transformation Results.

      • Se a transformação de dados falhar devido a erros de sintaxe ou permissões incorretas, siga as orientações exibidas na tela para resolver o problema.

      • Se o resultado da transformação corresponder ao esperado, salve as configurações como um job de transformação de dados. Para mais informações, consulte Criar um job de transformação de dados.

Exemplo

• Instruções de transformação

  # e_set("insert_field", "test_value")
  e_table_map(
      res_rds_mysql(
          address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
          username="test_username",
          password="****",
          database="test_db",
          table="test_table",
      ),
      "ip",
      ["country", "province"],
  )

• Log bruto

  {
    "__source__": "192.0.2.0",
    "__time__": 1624523917,
    "__topic__": "topic",
    "id": "1001",
    "ip": "127.0.0.1"
  }

• Configurações de visualização avançada: Na caixa de diálogo Add Preview Settings, defina authorization method como default role. O sistema preenche automaticamente o ARN da função no formato acs:ram::<Account ID>:role/aliyunlogetlrole.

• Resultado da transformação: O log bruto agora inclui os campos country:China e province:Shanghai. O destino de saída é target0. Um log foi transformado com sucesso, sem falhas.