Simple Log Service:Criar um job de Scheduled SQL para importar dados do Logstore para um Metricstore

Pré-requisitos

• Dados coletados no Logstore de origem. Para mais informações, consulte Coleta de dados.

• Índice criado para o Logstore de origem. Para mais informações, consulte Criar um índice.

• Metricstore de destino criado. Para mais informações, consulte Criar um Metricstore.

Procedimento

1. Faça login no console do Simple Log Service.

2. Na lista de projetos, clique em projeto desejado.

3. Na aba Log Storage > Logstore, clique em Logstore desejado.

4. Insira uma instrução de consulta e análise e clique em Last 15 Minutes para definir o intervalo de tempo da consulta e análise.

   Para mais informações, consulte Etapa 1: Configurar um índice.

   Nota

   Use esta etapa para visualizar o job de Scheduled SQL e verifique se a instrução de consulta e análise é válida e retorna dados.

5. Na aba Graph, clique em Save as Scheduled SQL Job.

6. Crie um job de Scheduled SQL.

   1. No assistente Compute Settings, configure os parâmetros a seguir e clique em Next.

      Parâmetro	Descrição
      Task Name	Nome exclusivo do job de Scheduled SQL.
      Display Name	Nome de exibição do job de Scheduled SQL.
      Job Description	Descrição do job de Scheduled SQL.
      Resource Pool	O Simple Log Service oferece pools de recursos aprimorados para análise de dados. Um pool de recursos aprimorado reutiliza o poder de computação do Dedicated SQL, fornece concorrência suficiente para análise e isola os recursos das suas operações de análise SQL no console. A cobrança pelo pool de recursos aprimorado baseia-se no tempo de CPU consumido pela análise SQL. Para mais informações, consulte Consulta e análise de alto desempenho e alta precisão (Dedicated SQL).
      Write Mode	Selecione Import Data from Logstore to Metricstore para processar dados do Logstore de origem e armazená-los no Metricstore de destino.
      SQL Code	Exibe a instrução de consulta e análise inserida na Etapa 4. Visualize os resultados para confirmar se a instrução é válida e retorna dados. Durante a execução do job, o Simple Log Service executa essa instrução para analisar os dados.
      SQL Settings
      Metric Column	O Simple Log Service agrega dados com base na sua instrução de consulta e análise. Selecione uma ou mais colunas com valores numéricos nos resultados da consulta e análise como colunas de métrica. Para mais informações, consulte dados de séries temporais.
      Labels	O Simple Log Service agrega dados com base na sua instrução de consulta e análise. Selecione uma ou mais colunas dos resultados da consulta e análise como rótulos. Para mais informações, consulte dados de séries temporais.
      Rehash	Habilitar o Rehash permite configurar uma Hash Column. Isso grava dados com o mesmo valor na coluna de hash em um único shard, melhorando a localidade dos dados e a eficiência da consulta. O valor da Hash Column depende dos resultados da consulta e análise. Selecione uma ou mais colunas dos resultados da consulta e análise para usar como coluna de hash. Por exemplo, se você definir a Hash Column como status, os dados com o mesmo valor de campo status serão gravados no mesmo shard.
      Time Column	Ao selecionar uma coluna que contém timestamps Unix (por exemplo, atime:1627025331), o sistema usa esses valores como timestamps para os dados de séries temporais. Ao selecionar Null, o sistema usa a hora inicial do intervalo de tempo da consulta e análise como timestamp dos dados de séries temporais. Para mais informações, consulte dados de séries temporais.
      Additional Labels	Adicione rótulos estáticos em pares chave-valor para identificar atributos relacionados das métricas. Por exemplo, defina label_key como app e label_value como ingress-nginx.
      Source Project/Logstore	Exibe o projeto e o Logstore onde residem os dados de origem.
      Target
      Destination Region	Região onde o projeto de destino está localizado.
      Destination Project	Nome do projeto de destino onde os resultados da análise SQL são armazenados.
      Target Store	Nome do Metricstore de destino onde os resultados da análise SQL são armazenados. Aviso Não configure o store de destino como o store de origem atual (configuração de mesma origem). Caso contrário, os logs podem ser gravados em loop, gerando custos adicionais de armazenamento e tráfego. Você é responsável pelo consumo de recursos e pelos custos incorridos.
      Write Authorization	Use um dos métodos a seguir para conceder ao job de Scheduled SQL permissão para gravar dados no Metricstore de destino. Default Role: Autoriza o job de Scheduled SQL a usar a função do sistema AliyunLogETLRole para gravar os resultados da execução no Metricstore de destino. Custom Role: Autoriza o job de Scheduled SQL a usar uma função personalizada para gravar os resultados da execução no Metricstore de destino. Conceda primeiro as permissões necessárias à função personalizada do RAM e insira seu ARN no campo Role ARN. Para mais informações, consulte Conceder permissão a uma função personalizada do RAM para gravar dados em um Logstore de destino.
      SQL Execution Authorization	Use um dos métodos a seguir para conceder ao job de Scheduled SQL permissão para ler dados do Logstore de origem e executar operações de análise SQL no projeto atual. Default Role: Autoriza o job de Scheduled SQL a usar a função do sistema AliyunLogETLRole para realizar as operações necessárias. Custom Role: Autoriza o job de Scheduled SQL a usar uma função personalizada para realizar as operações necessárias. Conceda primeiro as permissões necessárias à função personalizada e insira seu ARN no campo Role ARN. Para mais informações, consulte Conceder permissão a uma função personalizada do RAM para analisar dados em um Logstore de origem.

   2. No assistente Scheduling Settings, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Scheduling Interval	Frequência de execução do job. Cada execução agendada gera uma instância de execução, e o intervalo determina quando cada instância é agendada. Fixed Interval: Agenda o job em um intervalo fixo. Cron: Agenda o job com base em uma expressão cron. A precisão mínima para uma expressão cron é de um minuto. O horário segue o formato de 24 horas. Por exemplo, 0 0/1 * indica que o job é executado a cada hora, começando às 00:00. Selecione Cron se precisar configurar um fuso horário. Para obter uma lista de fusos horários comuns, consulte Formatos de fuso horário.
      Scheduling Time Range	Intervalo de tempo durante o qual o job é agendado. As opções disponíveis são: From Specific Time: Especifique a hora inicial para a primeira instância de execução. Specific Time Range: Especifique uma hora inicial e final para o agendamento. O job só pode ser executado dentro desse intervalo de tempo. Nota O horário agendado de uma instância de execução deve estar dentro deste intervalo. O job deixa de gerar novas instâncias se o horário agendado cair fora desse intervalo. O intervalo de tempo de agendamento corresponde ao campo reservado __time__. Para mais informações, consulte Campos reservados.
      SQL Time Window	Intervalo de tempo dos logs a serem analisados quando o job de Scheduled SQL é executado. A janela de tempo SQL funciona em conjunto com o horário agendado da instância de execução. O intervalo de tempo não pode ser superior a cinco vezes o Scheduling Interval e não pode exceder um dia. Para mais informações, consulte Sintaxe de expressão de tempo. Por exemplo, se o Scheduling Interval for um intervalo fixo de 10 minutos, o Start At for 2021-04-01 00:00:00, o Delay Task for 30 segundos e a SQL Time Window for [@m-10m,@m), a primeira instância de execução será gerada às 00:00:30. Ela analisará logs do intervalo de tempo [23:50:00, 00:00:00). Para mais informações, consulte Cenários de agendamento e execução. Nota A janela de tempo SQL corresponde ao campo reservado __time__. Para mais informações, consulte Campos reservados. Se __time__ não estiver definido no código SQL, o __time__ dos dados gravados no Metricstore de destino assumirá, por padrão, a hora inicial da janela de tempo SQL.
      SQL Timeout	Tempo limite para tentar novamente operações de análise SQL com falha. Se uma operação falhar, o sistema tentará novamente automaticamente. A instância será interrompida e seu status mudará para Falha se as novas tentativas excederem esse tempo limite ou a contagem máxima de tentativas. Em seguida, tente novamente a instância manualmente com base na causa da falha. Para mais informações, consulte Tentar novamente uma instância de job de Scheduled SQL.
      Delay Task	Tempo para atrasar a execução após o horário agendado, em segundos. O valor deve ser um número inteiro de 0 a 120. Utilize um atraso na execução para garantir a integridade dos dados quando a ingestão de dados no Metricstore sofrer atrasos.

      Após criar o job de Scheduled SQL, visualize os resultados da execução no Metricstore de destino.

Exemplos de SDK

Criar um job de Scheduled SQL