Simple Log Service:Importar dados entre MetricStores usando o Scheduled SQL

Pré-requisitos

• Dados coletados no MetricStore de origem. Ingerir dados de séries temporais.

• MetricStore de destino criado. Criar um MetricStore.

Procedimento

1. Faça login no console do Simple Log Service.

2. Na seção Projects, clique em projeto de destino.

   

3. Na aba Metric Storage > Metricstores, clique em MetricStore de destino.

4. Consulte e analise os dados.

   1. No canto superior direito, clique em 15 Minutes (Relative) para definir o intervalo de tempo da consulta.

   2. Insira uma instrução PromQL e clique em Execute Now.

      Consultar e analisar dados de séries temporais.

   Nota

   Visualize os resultados da consulta para validar a instrução antes de criar o job do Scheduled SQL.

5. Escolha More > Save as Scheduled SQL Job.

   

6. Crie o job do Scheduled SQL.

   1. No assistente Compute Settings, configure os parâmetros a seguir e clique em Next.

      Parâmetro	Descrição
      Task Name	Nome exclusivo do job.
      Display Name	Nome de exibição do job.
      Job Description	Descrição do job.
      Resource Pool	Pool de recursos aprimorado para análise de dados. Este pool reutiliza capacidade de computação SQL exclusiva, oferece concorrência de análise suficiente e isola os recursos das operações SQL do console. A cobrança baseia-se no tempo de cpu consumido. Consulta e análise de alto desempenho e alta precisão (SQL exclusivo).
      Write Mode	Selecione Import Data from Metricstore to Metricstore para processar dados do MetricStore de origem e gravar os resultados em um MetricStore de destino.
      SQL Code	Instruções de consulta da Etapa 4. Assim como na Etapa 4, verifique se as instruções retornam os dados esperados antes da execução do job. O Simple Log Service executa esta instrução para analisar dados durante a execução do job do Scheduled SQL. Importante Importe apenas valores de métricas do horário atual por execução usando a função promql_query. A função promql_query_range pode causar inflação significativa dos dados.
      SQL Settings
      Result Metric Name	Insira um novo nome para renomear a métrica em análise. Dados de séries temporais (Metric). Importante Use esta opção apenas ao analisar uma única métrica. Para múltiplas métricas, todas serão renomeadas com o mesmo nome.
      Rehash	Ative Rehash e configure a Hash Column para gravar dados com o mesmo valor de rótulo em um único shard. Isso melhora a localidade dos dados e o desempenho das consultas. Os valores disponíveis para a Hash Column dependem dos rótulos existentes nos seus dados de séries temporais. Por exemplo, se os rótulos forem {"alert_id":"alert-1608815762-545495","alert_name":"Alert recovery closed","status":"inactive"}, os valores disponíveis para a Hash Column são alert_id, alert_name e status. Se você definir a Hash Column como status, os dados com o mesmo valor para o rótulo status serão gravados no mesmo shard.
      Additional Labels	Adicione rótulos estáticos como pares chave-valor para identificar os atributos de uma métrica. Por exemplo, defina label_key como app e label_value como ingress-nginx.
      Target
      Destination Region	Região do projeto de destino.
      Destination Project	Projeto de destino para armazenar os resultados da análise.
      Target Store	MetricStore de destino para armazenar os resultados da análise. Aviso Não defina o store de destino como o store de origem atual (configuração de mesma origem). Caso contrário, os logs podem ser gravados em loop, gerando custos adicionais de armazenamento e tráfego. Você é responsável pelo consumo de recursos e pelos custos incorridos.
      Write Authorization	Conceda permissões de gravação ao job do Scheduled SQL no MetricStore de destino usando um dos métodos a seguir. Default Role: O job do Scheduled SQL assume a função de sistema Default Role para gravar os resultados no MetricStore de destino. Importante A conta Alibaba Cloud proprietária do projeto de destino deve conceder esta autorização. Essa concessão é necessária apenas para o primeiro job. Custom Role: O job do Scheduled SQL assume uma função personalizada para gravar os resultados no MetricStore de destino. Conceda permissões de gravação à função personalizada no MetricStore de destino e insira o ARN da função no campo Role ARN. Conceder a uma função RAM personalizada as permissões para gravar dados em um Logstore de destino.
      SQL Execution Authorization	Conceda ao job do Scheduled SQL permissões para ler dados do MetricStore de origem e executar análises SQL no projeto atual usando um dos métodos a seguir. Default Role: O job do Scheduled SQL assume a função de sistema Default Role para realizar as operações necessárias. Importante A conta Alibaba Cloud proprietária do projeto de destino deve conceder esta autorização. Essa concessão é necessária apenas para o primeiro job. Custom Role: O job do Scheduled SQL assume uma função personalizada para realizar as operações necessárias. Conceda as permissões necessárias à função personalizada e insira o ARN da função no campo Role ARN. Conceder a uma função RAM personalizada as permissões para analisar dados em um Logstore de origem.

   2. No assistente Scheduling Settings, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Scheduling Interval	Frequência de execução do job. Cada execução cria uma instância de execução. Fixed Interval: Executa o job em um intervalo fixo. Cron: Especifique uma expressão cron para executar o job. A precisão mínima é de 1 minuto. O formato utiliza relógio de 24 horas. Por exemplo, 0 0/1 * executa o job uma vez a cada hora, começando às 00:00. Para configurar um fuso horário, selecione o modo Cron. Para obter uma lista de fusos horários comuns, consulte Formatos de fuso horário.
      Scheduling Time Range	Intervalo de tempo para execução do job. From Specific Time: Especifica a hora de início da primeira instância do job. Specific Time Range: Especifica uma hora de início e de término. O job é executado apenas dentro deste intervalo. Nota Os horários agendados das instâncias devem estar dentro deste intervalo. Nenhuma nova instância é gerada após a hora de término. O intervalo de tempo do agendamento refere-se ao campo __time__. Campos reservados.
      SQL Time Window	Intervalo de tempo dos dados para cada execução. Esta configuração funciona em conjunto com o horário agendado da instância e não deve exceder 5 vezes o Scheduling Interval ou 1 dia. Sintaxe de expressão de tempo. Por exemplo, se o Scheduling Interval for um fixed interval of 10 minutes, o Start At for 2021-04-01 00:00:00, o Delay Task for 30 seconds e a SQL Time Window for [@m-10m,@m), a primeira instância de execução será gerada às 00:00:30 e analisará os dados no intervalo de tempo [23:50:00, 00:00:00). Cenários de agendamento e execução. Nota A janela de tempo do SQL refere-se ao campo __time__. Campos reservados. Se o campo __time__ não estiver definido no código SQL, o valor __time__ gravado no MetricStore de destino assumirá, por padrão, a hora de início da janela de tempo daquela execução.
      SQL Timeout	Tempo limite para a análise SQL. Em caso de falha, o job tenta novamente até atingir este tempo limite ou o número máximo de tentativas. É possível tentar novamente manualmente as instâncias com falha após identificar a causa. Tentar novamente uma instância com falha de um job do Scheduled SQL.
      Delay Task	Atraso após o horário agendado. Valores válidos: 0 a 120. Unidade: segundos. Compensa atrasos na ingestão de dados para garantir a integridade.

      Após criar o job, visualize os resultados da execução no MetricStore de destino.

Exemplos de SDK

Criar um job do Scheduled SQL