Simple Log Service:Crie um job de Scheduled SQL para importar dados do Logstore para um Metricstore

Pré-requisitos

• Dados coletados no Logstore de origem. Para mais informações, consulte Data collection.

• Índice criado para o Logstore de origem. Para mais informações, consulte Create an index.

• Metricstore de destino criado. Para mais informações, consulte Create a Metricstore.

Procedimento

1. Faça login no console do Simple Log Service.

2. Na lista Project, clique em Project desejado.

3. Na aba Log Storage > Logstore, clique em Logstore desejado.

4. Insira uma instrução de consulta e análise e clique em Last 15 Minutes para definir o intervalo de tempo da consulta e análise.

   Para mais informações, consulte Step 1: Configure an index.

   Nota

   Use esta etapa para visualizar o job de Scheduled SQL e verificar se a instrução de consulta e análise é válida e retorna dados.

5. Na aba Graph, clique em Save as Scheduled SQL Job.

6. Crie um job de Scheduled SQL.

   1. No assistente Compute Settings, configure os parâmetros a seguir e clique em Next.

      Parâmetro	Descrição
      Task Name	Nome exclusivo do job de Scheduled SQL.
      Display Name	Nome de exibição do job de Scheduled SQL.
      Job Description	Descrição do job de Scheduled SQL.
      Resource Pool	O Simple Log Service oferece pools de recursos aprimorados para análise de dados. Um pool de recursos aprimorado utiliza o poder de computação do Dedicated SQL, fornece concorrência suficiente e isola os recursos das suas operações SQL no console. A cobrança baseia-se no tempo de CPU consumido. Para mais informações, consulte High-performance and high-accuracy query and analysis (Dedicated SQL).
      Write Mode	Selecione Import Data from Logstore to Metricstore para processar dados do Logstore de origem e armazená-los no Metricstore de destino.
      SQL Code	Exibe a instrução de consulta e análise inserida na Etapa 4. Visualize os resultados para confirmar que a instrução é válida e retorna dados. Durante a execução do job, o Simple Log Service executa essa instrução para analisar os dados.
      SQL Settings
      Metric Column	O Simple Log Service agrega dados com base na sua instrução de consulta e análise. Selecione uma ou mais colunas com valores numéricos nos resultados como colunas de métrica. Para mais informações, consulte time series data.
      Labels	O Simple Log Service agrega dados com base na sua instrução de consulta e análise. Selecione uma ou mais colunas dos resultados como rótulos. Para mais informações, consulte time series data.
      Rehash	Ative o Rehash para configurar uma Hash Column. Dados com o mesmo valor de coluna de hash são gravados em um único shard, melhorando a localidade dos dados e a eficiência da consulta. Selecione uma ou mais colunas dos resultados da consulta e análise como coluna de hash. Por exemplo, se você definir a Hash Column como status, os dados com o mesmo valor de campo status serão gravados no mesmo shard.
      Time Column	Ao selecionar uma coluna que contém timestamps Unix (por exemplo, atime:1627025331), o sistema usa esses valores como timestamps para os dados de série temporal. Se você selecionar Null, o sistema usará a hora inicial do intervalo de tempo da consulta e análise como timestamp dos dados de série temporal. Para mais informações, consulte time series data.
      Additional Labels	Adicione rótulos estáticos em pares chave-valor para identificar atributos relacionados das métricas. Por exemplo, defina label_key como app e label_value como ingress-nginx.
      Source Project/Logstore	Project e Logstore onde residem os dados de origem.
      Target
      Destination Region	Região onde o Project de destino está localizado.
      Destination Project	Nome do Project de destino onde os resultados da análise SQL são armazenados.
      Target Store	Nome do Metricstore de destino onde os resultados da análise SQL são armazenados. Aviso Não configure o store de destino como o store de origem atual (configuração de mesma origem). Caso contrário, os logs podem ser gravados em loop, gerando custos adicionais de armazenamento e tráfego. Você é responsável pelo consumo de recursos e pelos custos incorridos.
      Write Authorization	Conceda permissão ao job de Scheduled SQL para gravar dados no Metricstore de destino. Default Role: Autoriza o job de Scheduled SQL a usar a função do sistema AliyunLogETLRole para gravar os resultados da execução no Metricstore de destino. Custom Role: Autoriza o job de Scheduled SQL a usar uma função personalizada para gravar os resultados da execução no Metricstore de destino. Primeiro, conceda as permissões necessárias à função personalizada do RAM e insira seu ARN no campo Role ARN. Para mais informações, consulte Grant a custom RAM role the permission to write data to a destination Logstore.
      SQL Execution Authorization	Conceda permissão ao job de Scheduled SQL para ler dados do Logstore de origem e executar análises SQL no Project atual. Default Role: Autoriza o job de Scheduled SQL a usar a função do sistema AliyunLogETLRole para realizar as operações necessárias. Custom Role: Autoriza o job de Scheduled SQL a usar uma função personalizada para realizar as operações necessárias. Primeiro, conceda as permissões necessárias à função personalizada e insira seu ARN no campo Role ARN. Para mais informações, consulte Grant a custom RAM role the permission to analyze data in a source Logstore.

   2. No assistente Scheduling Settings, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Scheduling Interval	Frequência de execução do job. Cada execução gera uma instância de execução. Fixed Interval: Agenda o job em um intervalo fixo. Cron: Agenda o job com base em uma expressão cron. A precisão mínima de uma expressão cron é de um minuto. O horário segue o formato de 24 horas. Por exemplo, 0 0/1 * indica que o job é executado a cada hora, começando às 00:00. Selecione Cron se precisar configurar um fuso horário. Para obter uma lista de fusos horários comuns, consulte Time zone formats.
      Scheduling Time Range	Intervalo de tempo durante o qual o job é agendado. From Specific Time: Especifique a hora de início para a primeira instância de execução. Specific Time Range: Especifique uma hora de início e de término para o agendamento. O job só pode ser executado dentro desse intervalo de tempo. Nota O horário agendado de uma instância de execução deve estar dentro deste intervalo. O job para de gerar novas instâncias se o horário agendado cair fora desse intervalo. O intervalo de tempo de agendamento corresponde ao campo reservado __time__. Para mais informações, consulte Reserved fields.
      SQL Time Window	Intervalo de tempo dos logs a serem analisados quando o job de Scheduled SQL é executado. A janela de tempo SQL funciona em conjunto com o horário agendado da instância de execução. O intervalo de tempo não pode ser superior a cinco vezes o Scheduling Interval e não pode exceder um dia. Para mais informações, consulte Time expression syntax. Por exemplo, se o Scheduling Interval for um fixed interval of 10 minutes, o Start At for 2021-04-01 00:00:00, o Delay Task for 30 seconds e a SQL Time Window for [@m-10m,@m), a primeira instância de execução será gerada às 00:00:30. Ela analisará os logs do intervalo de tempo [23:50:00, 00:00:00). Para mais informações, consulte Scheduling and execution scenarios. Nota A janela de tempo SQL corresponde ao campo reservado __time__. Para mais informações, consulte Reserved fields. Se __time__ não estiver definido no código SQL, o __time__ dos dados gravados no Metricstore de destino assumirá, por padrão, a hora inicial da janela de tempo SQL.
      SQL Timeout	Tempo limite para tentar novamente operações de análise SQL com falha. O sistema tenta automaticamente em caso de falha. Se as tentativas excederem esse tempo limite ou a contagem máxima de tentativas, o status da instância mudará para Falha. Você poderá então tentar novamente manualmente com base na causa da falha. Para mais informações, consulte Retry a Scheduled SQL job instance.
      Delay Task	Tempo para atrasar a execução após o horário agendado, em segundos. O valor deve ser um número inteiro de 0 a 120. Defina um atraso para garantir a integridade dos dados quando a ingestão no Metricstore estiver atrasada.

      Após criar o job de Scheduled SQL, visualize os resultados da execução no Metricstore de destino.

Exemplos de SDK

Create a Scheduled SQL job