Simple Log Service:Crie uma tarefa de Scheduled SQL para importar dados entre Logstores

Pré-requisitos

• Prepare o Logstore de origem.

  Crie um projeto do Log Service e um Logstore padrão e conclua a coleta e a indexação de dados. Para mais informações, consulte Manage a project, Create a standard Logstore, Data collection overview e Create an index.

• Prepare o Logstore de destino.

  Na conta Alibaba Cloud onde deseja armazenar os resultados, crie um projeto do Log Service e um Logstore padrão e ative a indexação.

Procedimento

1. Faça login no console do Log Service referente ao projeto que contém o Logstore de origem. Use uma conta Alibaba Cloud ou um usuário RAM com permissões de Scheduled SQL.

2. Na seção Projects, clique em no projeto que contém o Logstore de origem.

3. No painel de navegação à esquerda, clique em Log Storage. Na lista de Logstore, clique em no Logstore a ser analisado. Este é o Logstore de origem da tarefa de Scheduled SQL.

4. Insira uma instrução de consulta e análise e clique em Last 15 Minutes para definir o intervalo de tempo da consulta e análise.

   Nota

   Visualize a tarefa previamente para verificar se a instrução de consulta e análise retorna os dados esperados.

5. Na aba Graph, clique em Save as Scheduled SQL Job.

6. Crie uma tarefa de Scheduled SQL.

   1. No assistente de Compute Settings, configure os parâmetros e clique em Next.

      Parâmetro	Descrição
      Task Name	Nome exclusivo da tarefa. Use o nome padrão.
      Write Mode	Selecione Import Data from Logstore to Logstore. Este modo processa os dados do Logstore de origem e grava os resultados em um Logstore de destino.
      SQL Code	A instrução de consulta e análise da Etapa 4 é exibida. Para usar uma instrução diferente, insira-a, selecione um intervalo de tempo e clique em Preview para confirmar os resultados. Quando a tarefa de Scheduled SQL é executada, o Simple Log Service executa a instrução para analisar os dados.
      Target Aviso Não defina o store de destino como o mesmo store de origem. Caso contrário, os logs podem ser gravados em loop, gerando custos adicionais de armazenamento e tráfego. Você é responsável por qualquer consumo de recursos e custos resultantes. Mesma conta Parâmetro Descrição Destination Region Selecione a região do Destination Project. Destination Project Selecione o Destination Project. Target Store Selecione o Logstore de destino. Write Authorization Selecione uma Default Role ou uma Custom Role para gravar dados no Logstore de destino. Default Role: Concede permissões para executar análise SQL em Logstores ou MetricStores de origem e gravar resultados em Logstores ou MetricStores de destino. Create a Scheduled SQL task by using a default role. Custom Role: Crie uma função e uma política personalizadas para controle de acesso refinado. Grant a custom RAM role the permissions to write data to a destination Logstore. Entre contas Parâmetro Descrição Destination Region Selecione outra região e concorde com o Data Cross-border Compliance Commitment. Destination Project Insira o nome do projeto de destino, como test-project. Target Store Insira o nome do Logstore de destino, como test-logstore. Write Authorization Selecione Custom Role. Grant a custom RAM role the permissions to write data to a destination Logstore.
      SQL Execution Authorization	Selecione uma Default Role ou uma Custom Role para consultar e analisar dados no Logstore de origem. Default Role: Concede permissões para executar análise SQL em Logstores ou MetricStores de origem e gravar resultados em Logstores ou MetricStores de destino. Create a Scheduled SQL task by using a default role. Custom Role: Crie uma função e uma política personalizadas para controle de acesso refinado. Grant a custom RAM role the permissions to analyze data in a source Logstore.

   2. No assistente de Scheduling Settings, configure os parâmetros e clique em OK.

      Parâmetro	Descrição
      Scheduling Interval	Frequência de execução da tarefa. Cada execução gera uma instância, e o intervalo de agendamento determina o horário programado de cada instância. Fixed Interval: A tarefa é agendada em um intervalo fixo. Cron: Agenda a tarefa com base em uma expressão Cron. A expressão Cron opera em um relógio de 24 horas com precisão mínima de 1 minuto. Por exemplo, 0 0/1 * executa a tarefa a cada hora, começando às 00:00. Para configurar um fuso horário, selecione o modo Cron. Para obter uma lista de fusos horários comuns, consulte Time zone formats.
      Scheduling Time Range	Intervalo de tempo durante o qual as instâncias são agendadas. Valores válidos: From Specific Time: horário em que a primeira instância está programada para execução. Specific Time Range: Horários de início e fim para agendar instâncias. A tarefa de Scheduled SQL executa apenas dentro deste intervalo de tempo. Nota As instâncias executam apenas dentro deste intervalo. Nenhuma nova instância é gerada fora dele. O intervalo de tempo de agendamento corresponde a __time__. Reserved fields.
      SQL Time Window	Janela de tempo dos logs analisados por execução. A janela de tempo SQL funciona em conjunto com o intervalo de agendamento, não pode exceder 5 vezes o Scheduling Interval e nem ultrapassar um dia. Time expression syntax. Por exemplo, se o Scheduling Interval for um intervalo fixo de 10 minutos, Start At for 2021-04-01 00:00:00, Delay Task for 30 segundos e SQL Time Window for [@m-10m,@m), o sistema gera a primeira instância de execução às 00:00:30 e analisa os logs no intervalo de tempo de [23:50:00~00:00:00). Scheduling and execution scenarios. Nota A janela de tempo SQL corresponde a __time__. Reserved fields. Se você não especificar o campo __time__ no código SQL, o campo __time__ dos logs gravados no Logstore de destino usará o horário de início da janela de agendamento por padrão.
      SQL Timeout	Duração máxima de nova tentativa e contagem quando a análise SQL falha. Se qualquer limite for excedido, a instância falhará. Tente novamente manualmente as instâncias com falha com base na causa da falha. Retry a Scheduled SQL task instance.
      Delay Task	Atraso antes de cada execução. Valores válidos: 0 a 120. Unidade: segundos. Use esta configuração para acomodar gravações de dados atrasadas.

7. Após criar a tarefa, visualize-a na seção Job Management > Scheduled SQL. Manage Scheduled SQL tasks.

Exemplos de SDK

Create a Scheduled SQL task