DataWorks:Parâmetros de agendamento

Use duas variáveis personalizadas:

• Ano, mês e dia: Parâmetro datetime=$[yyyy-mm-dd]

• Hora, minuto e segundo: Parâmetro hour=$[hh24:mi:ss]

Após obter a data e a hora separadamente, concatene-as com um espaço no código como pt=${datetime} ${hour}. Por exemplo, use este SQL: select * from xc_demo_partition where dt='${key1} ${key2}';. Em Schedule > Parameters, configure key1=$[yyyymmdd] key2=$[hh24miss].

Os parâmetros de agendamento utilizam o horário agendado da instância. O sistema define seus valores resolvidos no momento da geração da instância, e eles não mudam conforme o horário real de execução. Em Operation Center > Periodic Instances, o painel Properties mostra Scheduled Time como o horário de execução esperado, como 2021-07-13 00:00:00. Compare isso com Start Time, por exemplo, 00:00:27. Em Data Development, configure Schedule > Parameters com var1=$bizdate var2=$cyctime var3=$[yyyymmdd] var4=$[yyyymmddhh24miss], e defina a fórmula de cálculo de Set the scheduling cycle como Day e a de and the scheduled run time como 00:00. No código, use select '${var1}' '${var2}'; para verificar os valores de data de negócios e horário agendado separadamente.

Após definir as variáveis no código, clique em Schedule no lado direito do editor e atribua valores no painel de parâmetros. Para obter detalhes sobre os parâmetros de agendamento, consulte Formatos de parâmetros de agendamento. Por exemplo, insira Parameters no campo do nó ODPS Spark: $(var). Adicione uma linha à tabela de parâmetros com o nome do parâmetro var e o valor $bizdate. Clique em Scheduling Parameter Preview para verificar os valores resolvidos.

Alguns nós, como os de sincronização em lote, não conseguem usar diretamente o resultado de um parâmetro de agendamento e exigem uma conversão adicional. Configure um nó de atribuição upstream. Faça com que ele referencie o parâmetro de agendamento, converta o resultado e, em seguida, passe o valor final para o nó downstream por meio do contexto do nó.

• Para configurar um nó de atribuição, consulte Nó de atribuição.

• Para configurar o contexto do nó, consulte Configurar o contexto do nó.

O sistema de agendamento substitui os parâmetros de agendamento automaticamente. Para testá-los no Data Development da mesma forma que o agendador os substituiria, execute um teste de fumaça do ambiente de desenvolvimento.

Solução Solução:

1. Verifique se o parâmetro de agendamento possui um valor.

2. Verifique se o parâmetro configurado atende aos requisitos. Para obter detalhes, consulte Formatos de parâmetros de agendamento.

Solução:

1. Verifique se a variável possui um valor.

2. Verifique se há espaços extras no parâmetro de agendamento.

3. Não combine ponto (.) com caracteres chineses no nome do nó.

Exemplo: time①=②$[yyyymmdd③hh24:mi:ss]time1=$[yyyymmdd]④time2=$[hh24:mi:ss] (①②③④ marcam os locais dos espaços).

• Não coloque espaços ao redor do sinal de igual (=) em um parâmetro de agendamento; veja ① e ②.

• O sistema não aceita espaços dentro de uma atribuição de parâmetro de agendamento; veja ③.

• Separe dois parâmetros de agendamento com um único espaço; veja ④.

Após alterar um parâmetro de agendamento no Data Development, fazer o commit e publicar a tarefa, verifique o valor no painel Properties da tarefa periódica no Operation Center de produção. Se o valor não for o esperado, verifique o status de publicação da tarefa e o pacote de publicação para confirmar o sucesso da publicação. No painel Properties da instância periódica, visualize os valores de substituição de uma instância específica.

Cenário em tempo real:

• No dia atual, o parâmetro de agendamento time1 da instância periódica A1 do nó A tem o valor $bizdate. A instância foi executada com sucesso naquele dia, e o valor usado no código foi a data de negócios bizdate (valor específico).

• Mais tarde naquele dia, o parâmetro time1 muda de $bizdate para $cyctime. O parâmetro de execução exibido para a instância daquele dia passa a ser o horário agendado cyctime (valor específico).

• Se você reexecutar essa instância, ela usará a configuração mais recente: time1=$cyctime

• Para visualizar os valores de substituição de parâmetros usados antes da alteração, verifique os logs. Para obter detalhes, consulte a pergunta frequente sobre como visualizar valores de substituição nos logs: Como visualizar os valores de parâmetros de agendamento usados por uma instância em seus logs?.

Na página Operation Center > Periodic Instances, selecione uma instância. No campo Execution Parameters do painel Properties, visualize os valores resolvidos reais, como var1=20210708233000 var2=20210709000000, e confirme se os valores foram atualizados conforme o esperado.

Encontre SKYNET_PARAVALUE no log.

07-09 00:00:19  INFO SKYNET_RERUN_MODE=1:
07-09 00:00:19  INFO SKYNET_FLOW_PARAVALUE=:
07-09 00:00:19  INFO SKYNET_ONDUTY=xxx:
07-09 00:00:19  INFO SKYNET_SYSTEMID=:
07-09 00:00:19  INFO CALC_ENGINE_IDENTIFIER=xxx:
07-09 00:00:19  INFO SKYNET_SOURCEID=xxx:
07-09 00:00:19  INFO SKYNET_PARAVALUE=var1=20210708233000 var2=20210709000000:
07-09 00:00:19  INFO SKYNET_TASKID=xxx:
07-09 00:00:19  INFO SKYNET_TENANT_ID=283789484710656:
07-09 00:00:19  INFO SKYNET_ID=700003341088:
07-09 00:00:19  INFO SKYNET_JOBID=700200619122:
07-09 00:00:19  INFO SKYNET_NODENAME=xc_partition_copy:
07-09 00:00:19  INFO SKYNET_CYCTYPE=0:
07-09 00:00:19  INFO SKYNET_DSC_JOB_VERSION=1:
07-09 00:00:19  INFO SKYNET_TASK_INPUT={}:
07-09 00:00:19  INFO SKYNET_FLOWNAME=ATCLOUD_FLOW:
07-09 00:00:19  INFO FILE_ID=700003341088:

O sistema aceita o horário de verão para a geração de instâncias e os cálculos de partição de parâmetros, garantindo a execução correta das tarefas nos dias de transição. Por exemplo, no fuso horário do Pacífico dos EUA:

• No dia em que o horário de verão começa, o sistema gera 23 instâncias. A subtração de 10 minutos de 03:00 resulta em 01:50. Uma tarefa agendada para as 02:00 nesse dia é executada como uma tarefa vazia.

• No dia em que o horário de verão termina, o sistema gera 24 instâncias. A subtração de 10 minutos de 03:00 resulta em 02:50.