DataWorks:Workflows acionados manualmente

Observações de uso

• Workflows acionados manualmente são executados apenas sob demanda. Não há suporte para agendamento automático.

• As linhas entre os nós indicam a ordem de execução, e não dependências de agendamento.

• Os workflows acionados manualmente diferem dos Workflows agendados.

Projetar um workflow acionado manualmente

1. Criar um workflow

   1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

   2. No painel de navegação à esquerda, clique em . À direita de Manually Triggered Workflow, clique em > Create Manually Triggered Workflow. Especifique um nome para o workflow e clique em Confirm para abrir a página do editor de workflow.

2. Orquestrar nós

   1. Na parte superior do editor de workflow, clique em New Internal Node. Selecione um Type para o nó interno, especifique um Name e clique em Confirm. O nó aparecerá na tela.

   2. Planeje o workflow conforme necessário.

      Um grande número de nós pode degradar o desempenho da execução. Mantenha os workflows com menos de 100 nós para obter o melhor desempenho. O limite máximo é de 200 nós por workflow.

3. Configurar parâmetros do workflow

   Para compartilhar parâmetros entre todos os nós de um workflow, vá até o painel Scheduling Settings > Scheduling Parameters no lado direito da tela e clique em Add parameters. Em seguida, referencie o parâmetro no código do seu nó usando o formato ${Parameter name}.

   Nota

   Em workflows acionados manualmente, os parâmetros no nível do workflow têm precedência sobre os parâmetros de agendamento com o mesmo nome nos nós internos. Isso difere dos workflows agendados.

4. Prioridade e concorrência (configuração avançada)

   Quando vários workflows ou tarefas são acionados simultaneamente e causam contenção de recursos, use Priority e Weighting Strategy para garantir que as tarefas críticas sejam executadas primeiro.

   • Garantir prioridade ao negócio principal: Defina uma prioridade mais alta para workflows de negócios essenciais, de modo que sejam executados antes dos workflows não essenciais.

   • Reduzir a duração de workflows críticos: Dentro da mesma instância de workflow, utilize a Priority weighting strategy para influenciar a ordem de execução dos nós. A estratégia Downstream Weighting atribui maior peso aos nós com mais dependências upstream, priorizando a execução do caminho crítico e reduzindo a duração total.

     Item de configuração	Descrição
     Priority	Define o nível de prioridade de uma instância de workflow na fila de agendamento. Níveis disponíveis: 1, 3, 5, 7 e 8 (quanto maior o número, maior a prioridade). Tarefas com maior prioridade sempre adquirem recursos de agendamento primeiro.
     Priority weighting strategy	Determina como os pesos dos nós são calculados dentro de um workflow no mesmo nível de prioridade. Nós com pesos maiores são executados primeiro. Sem ponderação: Todos os nós têm um peso base fixo. Ponderação downstream: Os pesos são ajustados dinamicamente com base nas dependências upstream. Nós com mais dependências upstream recebem pesos maiores, priorizando a execução do caminho crítico. Peso = Initial weight value + sum of priorities of all upstream nodes.
     Max Parallel Instances	Define o número máximo de instâncias concorrentes deste workflow. Quando o limite é atingido, novas instâncias entram em estado pendente. Defina como Allowed ou um valor personalizado de até 100.000. Nota Se o limite configurado exceder a capacidade do grupo de recursos, a concorrência real será limitada pelo grupo de recursos.

     O sistema de prioridades do DataWorks segue uma regra hierárquica de substituição: Runtime specification > Node-level configuration > Workflow-level configuration.

     1. Nível do workflow (linha de base): Definido na Scheduling Policy do workflow. Aplica-se como padrão para todos os nós.

     2. Nível do nó (substituição): Nas Scheduling Settings > Scheduling Policy de um nó específico, defina uma Priority mais alta para esse nó, substituindo a configuração do nível do workflow.

     3. Tempo de execução (temporário): Use o Operation and Maintenance Center ao executar o workflow manualmente, por meio da opção Runtime Priority Reset. Tem efeito apenas na execução atual e não modifica as configurações permanentes.

Desenvolver lógica de negócios

O DataWorks abstrai as capacidades do mecanismo em tipos de nós, eliminando a necessidade de linhas de comando complexas. Utilize tipos de nós de uso geral para processamento de lógicas complexas.

Desenvolva a lógica de negócios com nós de sincronização, nós de computação e outros tipos de nós.

• Os nós de sincronização transferem dados entre bancos de dados mediante a configuração de conexões de source e destino.

• Utilize nós de desenvolvimento de dados para tarefas como consultas SQL do MaxCompute. O DataWorks oferece uma interface visual para criar nós de recursos e funções. Desenvolver dados. Criar recursos e funções.

Implantar um workflow acionado manualmente

Em um workspace no modo padrão, o Data Studio destina-se apenas a desenvolvimento e testes. Implante todo o workflow para enviar todos os nós para produção em lote.

1. Clique em Run na parte superior do workflow para abrir a página de execução e verifique se cada nó foi executado com sucesso.

2. Na página de execução do workflow, clique em Return na parte superior e, em seguida, clique em Publish.

3. Clique em Start Release Production e selecione Incremental Publish ou Full Publishing.

   • Incremental Publish: Implanta os nós internos selecionados.

   • Full Publishing: Implanta todo o workflow e todos os nós internos.

4. Conclua as etapas de implantação em sequência: Build Package, Development Checker, Deploy to Development Environment, Production Checker e Deploy to Production Environment.

Executar o workflow em produção

1. Após a implantação, clique em Go to operation and maintenance na página de implantação para abrir o Operation Center.

   Nota

   Alternativamente, abra a página de lista de workspaces do DataWorks, selecione a região de destino, localize o workspace e clique em Shortcuts > Data operations and maintenance na coluna Operation para abrir a página de O&M. Encontre Manually Triggered Task O&M no painel de navegação à esquerda.

2. Clique em Run na coluna Operation da tarefa de destino.

Outras operações