Saiba como configurar as propriedades e as dependências de agendamento de uma tarefa no DataWorks. Este tópico usa um agendamento semanal para a tarefa write_result como exemplo.
Pré-requisitos
Crie um nó de carga zero chamado start e um nó ODPS SQL chamado insert_data. Para mais informações, consulte Criar um fluxo de trabalho.
Crie uma tarefa de sincronização a partir do nó de sincronização chamado write_result. Para mais informações, consulte Criar uma tarefa de sincronização.
Informações de base
O DataWorks oferece recursos robustos de agendamento com suporte a gatilhos baseados em tempo e em dependências. O sistema garante a execução precisa e pontual de dezenas de milhões de tarefas diariamente, respeitando seus relacionamentos DAG. Defina ciclos de agendamento por minuto, hora, dia, semana ou mês. Para mais detalhes, consulte Configurar propriedades de tempo.
Configure propriedades de tempo
-
Acesse a página DataStudio.
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
No fluxo de trabalho correspondente, clique duas vezes no nó de sincronização offline write_result para abrir sua aba de configuração.
-
No painel de navegação à direita, clique em Scheduling.
NotaO agendador não executa nós em fluxos de trabalho acionados manualmente; acione-os manualmente.
-
Na seção Schedule, configure as propriedades de agendamento da tarefa.
Parâmetro
Descrição
Instance Generation Mode
Valores válidos: Next Day e Immediately After Deployment. Para mais informações, consulte Modos de geração de instâncias.
Recurrence
-
Normal: A tarefa executa e processa dados conforme o cronograma definido.
-
Suspend scheduling: No horário programado, o agendador define o status do nó como suspenso e ignora o processamento de dados.
-
Dry Run: O agendador dispara a tarefa no horário programado, mas o nó realiza apenas uma execução simulada, sem processar dados.
Scheduling period
Ciclo de execução do nó, como ano, mês, semana, dia, hora ou minuto. Neste exemplo, o agendamento executa às
00:00de toda segunda e terça-feira.cron expression
Este campo exibe a expressão cron gerada automaticamente com base nas configurações de agendamento e não permite edição.
Timeout Definition
Se o tempo de execução de uma tarefa ultrapassar o limite especificado, o sistema a encerra automaticamente.
-
O período de timeout aplica-se a instâncias agendadas periodicamente, instâncias de backfill de dados e instâncias de teste.
-
O timeout padrão varia de 3 a 7 dias. O sistema ajusta dinamicamente esse valor dentro desse intervalo conforme a carga de trabalho real.
Nota-
O valor máximo para Timeout Definition é de 168 horas.
-
Ainda há cobrança pelo tráfego e pelos recursos computacionais consumidos por uma tarefa que atinge o timeout.
Rerun attribute
Valores válidos: You can run again after successful or failed operation., Do not re-run after successful operation, and re-run after failure. e Disallow Regardless of Running Status.
Auto Rerun upon Failure
Esta propriedade aparece se Rerun attribute estiver definido como You can run again after successful or failed operation. ou Do not re-run after successful operation, and re-run after failure.. Ela fica oculta quando Disallow Regardless of Running Status estiver selecionado, impedindo a reexecução automática da tarefa em caso de falha.
Rerun Times
Ao marcar a caixa de seleção Error automatic re-run, configure o parâmetro Rerun Times.
Rerun Interval
Caso a opção Error automatic re-run esteja marcada, configure também o Rerun Interval. O intervalo pode variar de 1 a 30 minutos, sendo 30 minutos o valor padrão.
Validity Period
Período durante o qual o nó permanece ativo. Configure este parâmetro conforme suas necessidades.
Para mais detalhes sobre as propriedades de tempo, consulte Configurar propriedades de tempo.
-
Configure dependências de agendamento
Defina nós ancestrais para estabelecer dependências de agendamento. Assim, mesmo que o horário agendado de um nó seja atingido, sua instância só será disparada após a execução bem-sucedida das instâncias dos nós ancestrais.
Por exemplo, a instância do nó atual só é acionada depois que a instância do nó ancestral insert_data for concluída.
As dependências de agendamento garantem que um nó downstream aguarde a geração de dados pelo nó upstream antes de iniciar o processamento. Um nó downstream pode, por exemplo, realizar limpeza adicional de dados em uma tabela gerada por um nó upstream ou gravar resultados em outro banco de dados. Ambas as operações exigem que o nó upstream execute com sucesso e produza saída previamente. Esse modelo de dependência assegura que os dados upstream estejam prontos antes da execução do nó downstream. Para entender melhor a lógica das dependências de agendamento, consulte Guia de configuração de dependências de agendamento.
O sistema de agendamento cria um nó raiz padrão para cada workspace, seguindo o formato de nomeação WorkspaceName_root. Caso um nó não possua ancestral, ele pode depender diretamente desse nó raiz.
Envie e implante a tarefa
Na aba de configuração do nó write_result, clique no ícone
na barra de ferramentas para salvar o nó.-
Envie a tarefa.
NotaConfigure o Rerun attribute e especifique os Parent Nodes antes de enviar a tarefa.
Clique no ícone
na barra de ferramentas.Na caixa de diálogo Submit, insira uma Change Description.
Clique em OK.
Em workspaces no Standard mode, o envio da tarefa a submete ao ambiente de desenvolvimento. Para implantá-la no Production Environment visando o periodic scheduling, clique em Deploy no canto superior esquerdo. Em seguida, implante a tarefa de sincronização no ambiente de produção pela página Deploy. Para mais informações, consulte Implantar uma tarefa.
Envie a tarefa de sincronização ao sistema de agendamento. O sistema gera então as instâncias e as executa nos horários programados, iniciando no dia seguinte.
NotaCaso o envio da tarefa de sincronização ocorra após as 23:30, o sistema de agendamento começará a gerar e executar as instâncias somente dois dias depois.
Próximos passos
Após configurar a tarefa, aprenda a realizar operações rotineiras de O&M, visualize logs e solucionar erros no próximo tutorial: Executar uma tarefa e solucionar erros.