Simple Log Service:Replicar e distribuir dados

Caso de uso

Uma empresa de análise de dados precisa replicar cada entrada de log em um Logstore de source e distribuí-la para dois Logstores de destino conforme o conteúdo. A transformação utiliza e_set para marcar cada log, e_split para dividir os logs por tag e e_output para rotear os logs para os Logstores correspondentes. Antes de começar:

• Planeje a capacidade dos Projects de destino (target-a e target-b), incluindo a quantidade de shards. Performance guide.

• Crie os recursos de destino: o Project target-a com o Logstore-a e o Project target-b com o Logstore-b. Gerencie Projects, Gerencie um Logstore.

Procedimento

1. Faça login no console do Simple Log Service.

2. Na seção Projects, clique em no projeto desejado.

   

3. Na aba Log Storage > Logstores, clique em no logstore desejado.

   

4. Na página de consulta e análise, clique em Data Transformation para entrar no modo de transformação de dados.

5. No editor de Data Transformation, insira o seguinte script de transformação.

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • A função e_set adiciona as tags target-a e target-b a cada log bruto. e_set.

   • Já a e_split divide os logs em várias entradas com base nas tags. e_split.

   • Use e_output para distribuir os logs aos destinos target-a e target-b. e_output.

   • Por fim, e_drop() descarta logs não correspondentes para evitar distribuição indesejada. e_drop.

6. Clique em Preview Data.

   Cada log original é dividido em entradas marcadas. Os logs com a tag target-a são roteados para o destino target-a, enquanto os logs com a tag target-b vão para o destino target-b.

7. Clique em Save as Transformation Job.

8. No painel Create Data Transformation Job, configure os seguintes parâmetros.

   1. Defina as informações básicas.

      Parâmetro	Descrição
      Job name	Insira test.
      Authorization method	Autoriza acesso de leitura ao Logstore de source. Selecione Default Role.

   2. Configure o destino de armazenamento para target-a.

      Parâmetro	Descrição
      Destination name	Insira target-a.
      Destination region	Selecione China (Hangzhou).
      Destination project	Insira target-a.
      Target store	Insira LogStore-a.
      Authorization method	Autoriza acesso de gravação ao destino target-a. Selecione Default Role.

   3. Configure o destino de armazenamento para target-b.

      Parâmetro	Descrição
      Destination name	Insira target-b.
      Destination region	Selecione China (Hangzhou).
      Destination project	Insira target-b.
      Target store	Insira LogStore-b.
      Authorization method	Autoriza acesso de gravação ao destino target-b. Selecione Default Role.

   4. Defina o intervalo de tempo de processamento.

      Parâmetro	Descrição
      Time range	Selecione All para processar dados continuamente desde o horário inicial.

9. Clique em OK.

Resultados

• Abra o Project target-a. Na aba Log Storage > Logstores, selecione Logstore-a para visualizar os dados distribuídos.

• Abra o Project target-b. Na aba Log Storage > Logstores, selecione Logstore-b para visualizar os dados distribuídos.