Como criar um job de transformação de dados no console - Simple Log Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Dados coletados no Simple Log Service. Para mais informações, consulte data collection.
Usuários RAM devem ter as permissões necessárias para transformação de dados. Para mais informações, consulte Grant permissions for data transformation to a RAM user.

Procedimento

Faça login no console do Simple Log Service.
Acesse a página de transformação de dados.
1. Na seção Projects, clique em o projeto desejado.
2. Na aba Log Storage > Logstores, clique em o Logstore desejado.
3. Na página de consulta e análise, clique em Data Transformation.
No canto superior direito, selecione o intervalo de tempo dos dados.

Verifique se os logs aparecem na aba Raw Logs após a seleção do intervalo de tempo.
No editor, insira uma instrução de transformação de dados.

Para mais detalhes sobre a sintaxe da instrução, consulte Data transformation syntax.
Visualize os dados.
1. Clique em Quick.
  
  O Simple Log Service oferece os modos de visualização Quick e Advanced. Para mais informações, consulte Preview and debug data.
2. Clique em Preview Data.
  Verifique os resultados da visualização.
  - Se a transformação falhar devido a instruções incorretas ou erros de permissão, siga as orientações exibidas na página para resolver o problema.
  - Caso os resultados estejam corretos, prossiga para a etapa 6.

Crie o job de transformação de dados.

Clique em Save as Transformation Job (Old Version).

No painel Create Data Transformation Job, configure os parâmetros abaixo e clique em OK.

Parâmetro	Descrição
Job name	Nome do job de transformação de dados.
Display name	Nome de exibição do job de transformação de dados.
Job description	Descrição do job de transformação de dados.
Authorization method	Método de autorização para leitura de dados do Logstore de origem. Default Role: O job assume a função de sistema `AliyunLogETLRole` para ler dados do Logstore de origem. Custom Role: O job assume uma função personalizada para ler dados do Logstore de origem. Conceda primeiro as permissões necessárias à função personalizada para ler dados do Logstore de origem. Depois, insira o ARN dessa função no campo Role ARN. Para mais informações, consulte Use a custom role to access data.
Storage destination
Destination name	Nome do destino de armazenamento. Inclui configurações como projeto e Logstore. É possível criar múltiplos destinos de armazenamento para salvar os resultados da transformação em diferentes Logstores. Observe os pontos a seguir: Utilize o parâmetro `name` nas funções `e_output()` ou `e_coutput()` dentro da instrução de transformação para definir o Destination name. Para mais informações, consulte e_output. Quando a instrução de transformação não inclui a função `e_output()`, o job grava os resultados no primeiro Logstore de destino configurado por padrão. Se houver apenas um Logstore de destino, geralmente não é necessário usar a função `e_output()`. Ao especificar os parâmetros `name`, `project` e `logstore` na função `e_output()` ou `e_coutput()`, essas definições substituem as configurações de Destination project e Destination logstore feitas na interface.
Destination region	Região do projeto de destino. Transformações de dados entre regiões utilizam HTTPS para garantir a privacidade das informações. Como a transmissão ocorre pela internet pública, instabilidades na rede podem causar latência. Marque a caixa de seleção DCDN Acceleration para acelerar a transferência entre regiões. Antes de ativar esse recurso, verifique se a aceleração já está habilitada para o projeto correspondente. Para mais informações, consulte Accelerate log collection. Nota A transformação de dados entre regiões é cobrada com base no tráfego de saída pela internet (após compressão). Para mais informações, consulte Pay-by-feature.
Destination project	Projeto onde os dados transformados serão armazenados.
Destination logstore	Logstore destinado ao armazenamento dos resultados da transformação. Aviso Não defina o Logstore de destino como sendo o mesmo da origem. Essa configuração incorreta gera um loop infinito de dados, resultando em custos adicionais de armazenamento e tráfego. Quaisquer cobranças decorrentes desse erro são de sua responsabilidade.
Authorization method	Método de autorização para gravar dados no Logstore de destino. Default Role: O job assume a função de sistema `AliyunLogETLRole` para gravar os resultados no Logstore de destino. Custom Role: O job assume uma função personalizada para gravar os resultados no Logstore de destino. Primeiro, conceda à função personalizada as permissões necessárias para gravar dados no Logstore de destino. Em seguida, insira o ARN da função no campo Role ARN. Para mais informações, consulte Use a custom role to access data.
Processing scope
Time range	Intervalo de tempo dos dados a serem transformados. Nota Esse intervalo considera o momento em que o service recebe os logs. All: Processa todos os logs desde o ponto mais antigo disponível no Logstore até que você interrompa o job manualmente. From Specific Time: Processa logs a partir de um horário inicial definido até a interrupção manual do job. Specific Time Range: Processa logs dentro de um período determinado. O job é encerrado automaticamente ao atingir o fim do intervalo.
Advanced options
Advanced parameter configuration	Para informações sensíveis, como senhas de banco de dados usadas nas instruções de transformação, salve os dados como pares chave-valor em um segredo e referencie-os na instrução usando `res_local("key")`. Clique em + para adicionar vários pares chave-valor. Por exemplo, `config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj` pode representar o ID da VPC onde uma instância RDS está localizada.

Próximas etapas

Após criar o job de transformação de dados, você pode:

Na página Data Transformation Overview, visualize detalhes, modifique ou interrompa o job. Para mais informações, consulte Manage data transformation jobs.
Consultar e analisar dados no Logstore de destino. Para mais informações, consulte Get started with query and analysis.