Simple Log Service:Criar um job de transformação de dados

Pré-requisitos

• Dados coletados no Simple Log Service. Para mais informações, consulte Coleta de dados.

• Se você for um usuário RAM, verifique se possui as permissões necessárias para transformação de dados. Para mais detalhes, consulte Conceder permissões de transformação de dados a um usuário RAM.

Procedimento

1. Faça login no console do Simple Log Service.

2. Acesse a página de transformação de dados.

   1. Na seção Projects, clique em o projeto desejado.

   2. Na guia Log Storage > Logstores, clique em o Logstore desejado.

   3. Na página de consulta e análise, clique em Data Transformation.

3. No canto superior direito, selecione o intervalo de tempo dos dados.

   Certifique-se de que os logs apareçam na guia Raw Logs após selecionar o intervalo de tempo.

4. No editor, insira uma instrução de transformação de dados.

   Para mais informações sobre a sintaxe da instrução, consulte Sintaxe de transformação de dados.

5. Visualize os dados.

   1. Clique em Quick.

      O Simple Log Service oferece os modos de visualização Quick e Advanced. Para mais informações, consulte Visualizar e depurar dados.

   2. Clique em Preview Data.

      Verifique os resultados da visualização.

      • Se a transformação falhar devido a instruções incorretas ou erros de permissão, siga as orientações exibidas na página para resolver o problema.

      • Se os resultados estiverem corretos, prossiga para a etapa 6.

6. Crie o job de transformação de dados.

   1. Clique em Save as Transformation Job (Old Version).

   2. No painel Create Data Transformation Job, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Job name	Nome do job de transformação de dados.
      Display name	Nome de exibição do job de transformação de dados.
      Job description	Descrição do job de transformação de dados.
      Authorization method	Método usado para autorizar o job de transformação de dados a ler dados do Logstore de origem. Default Role: O job assume a função de sistema AliyunLogETLRole para ler dados do Logstore de origem. Custom Role: O job assume uma função personalizada para ler dados do Logstore de origem. Primeiro, conceda à função personalizada as permissões de leitura no Logstore de origem. Depois, insira o ARN dessa função no campo Role ARN. Para mais informações, consulte Usar uma função personalizada para acessar dados.
      Storage destination
      Destination name	Nome do destino de armazenamento. Um destino de armazenamento inclui configurações como projeto e Logstore. É possível criar vários destinos de armazenamento para salvar os resultados da transformação em diferentes Logstores. Observe o seguinte: Use o parâmetro name nas funções e_output() ou e_coutput() na instrução de transformação para definir o Destination name. Para mais detalhes, consulte e_output. Se a instrução de transformação não incluir a função e_output(), o job gravará os resultados no primeiro Logstore de destino configurado por padrão. Se houver apenas um Logstore de destino, geralmente não é necessário usar a função e_output(). Se você especificar os parâmetros name, project e logstore na função e_output() ou e_coutput(), essas definições substituirão as configurações de Destination project e Destination logstore na interface.
      Destination region	Região onde o projeto de destino está localizado. A transformação de dados entre regiões usa HTTPS para garantir a privacidade dos dados. A transmissão de dados entre regiões ocorre pela internet pública, o que pode causar latência no job devido à instabilidade da rede. Marque a caixa de seleção DCDN Acceleration para acelerar essa transferência. Antes de usar esse recurso, confirme se a aceleração está ativada para o projeto correspondente. Para mais informações, consulte Acelerar a coleta de logs. Nota A transformação de dados entre regiões é cobrada com base no tráfego de saída pela internet (após compressão). Para mais detalhes, consulte Pagamento por recurso.
      Destination project	Projeto onde os dados transformados são armazenados.
      Destination logstore	Logstore onde os resultados da transformação são armazenados. Aviso Não defina o Logstore de destino como o mesmo Logstore de origem. Essa configuração incorreta gera um loop infinito de dados e acarreta custos adicionais de armazenamento e tráfego. Quaisquer cobranças decorrentes desse erro são de sua responsabilidade.
      Authorization method	Método usado para autorizar o job de transformação de dados a gravar dados no Logstore de destino. Default Role: O job assume a função de sistema AliyunLogETLRole para gravar os resultados da transformação no Logstore de destino. Custom Role: O job assume uma função personalizada para gravar os resultados da transformação no Logstore de destino. Primeiro, conceda à função personalizada as permissões de gravação no Logstore de destino. Em seguida, insira o ARN da função personalizada no campo Role ARN. Para mais informações, consulte Usar uma função personalizada para acessar dados.
      Processing scope
      Time range	Intervalo de tempo do job de transformação de dados. Nota Esse intervalo considera o momento em que o serviço recebe os logs. All: Processa todos os logs desde o ponto temporal mais antigo disponível no Logstore até que o job seja interrompido manualmente. From Specific Time: Processa logs a partir de uma hora inicial definida até a interrupção manual do job. Specific Time Range: Processa logs dentro de um período determinado. O job é encerrado automaticamente ao final desse intervalo.
      Advanced options
      Advanced parameter configuration	Para informações sensíveis, como senhas de conexão de banco de dados usadas nas instruções de processamento, salve esses dados como pares chave-valor em um segredo e referencie-os na instrução usando res_local("key"). Clique em + para adicionar vários pares chave-valor. Por exemplo, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj pode representar o ID da VPC onde uma instância RDS está localizada.

Próximas etapas

Após criar o job de transformação de dados, você pode:

• Na página Data Transformation Overview, visualize detalhes do job, modifique-o ou interrompa-o. Para mais informações, consulte Gerenciar jobs de transformação de dados.

• Consulte e analise dados no Logstore de destino. Para mais detalhes, consulte Introdução à consulta e análise.