DataWorks:configure e use parâmetros de agendamento

Etapa 1: Defina os parâmetros

1. Clique duas vezes no nó desejado, como um MaxCompute SQL node, para abrir a página de edição do nó.

2. Defina os parâmetros no código: em um nó MaxCompute SQL, use a sintaxe ${param} para definir um nome de parâmetro. O DataWorks recomenda usar nomes significativos para facilitar a referência e o gerenciamento.

   Formato de referência para parâmetros de agendamento:

   Tipo de formato	Sintaxe	Escopo	Observações
   Formato geral	${parameter_name}	Aplicável à maioria dos tipos de nós, como nós MaxCompute SQL e nós de sincronização em lote.	Este é o formato mais utilizado.
   Formato especial	Varia conforme o tipo de nó. Não usa o formato ${...}.	PyODPS, Shell, Python	Para mais detalhes, consulte Configure scheduling parameters for different types of nodes.

   -- Example: Define a variable named pt_date for partition filtering
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. Clique em Scheduling Settings no lado direito da página para abrir a configuração de Scheduling Parameters.

4. configure os parâmetros de agendamento conforme descrito a seguir.

Etapa 2: configure os parâmetros

configure os parâmetros de agendamento em Define with table ou Defined with an expression. Para alternar entre os modos, clique em Defined with an expression no canto superior direito. O modo padrão é Define with table.

1. configure os parâmetros

   Define with table

   Clique em Scheduling Settings no lado direito do nó para abrir a página de configuração de parâmetros de agendamento.

   

   • Adicione parâmetros

     Clique em Scheduling Settings no lado direito do nó e adicione parâmetros em Scheduling Parameters. Use um dos seguintes métodos para adicionar parâmetros:

     1. Clique em Add parameters e insira o nome e o valor do parâmetro. O nome do parâmetro deve corresponder ao nome da variável definida no código.

     2. Clique em Loading parameters in code. O DataWorks analisa automaticamente as variáveis do código, como ${pt_date}, e preenche os nomes dos parâmetros. Basta preencher os valores dos parâmetros.

   • Atribua valores

     Defina parâmetros internos do sistema, parâmetros de tempo personalizados, parâmetros do workspace, parâmetros de saída de nós upstream e constantes.

     • Clique na caixa de entrada. A lista suspensa exibe algumas expressões de parâmetro comumente usadas para seleção direta. Também é possível insira manualmente uma expressão personalizada ou uma variável interna do sistema.

     • Preencha os valores de acordo com os requisitos de negócios. Para os formatos de valor suportados, consulte Supported formats for scheduling parameters.

     • A atribuição de parâmetros de agendamento também permite a vinculação rápida de parâmetros de contexto. Clique no botão ao lado do parâmetro. Na caixa de diálogo Associate Output Parameter of Ancestor Node, selecione um nó com parâmetros de saída configurados e associe rapidamente a dependência. Para detalhes sobre parâmetros de saída, consulte Configure output parameters.

   Define with an expression

   Clique em Defined with an expression para alternar o modo de configuração. Use este modo caso prefira configurar parâmetros com expressões.

   

   • Ao usar a definição baseada em expressão, separe vários parâmetros com espaços.

   • Ao adicionar, exclua ou modifique parâmetros de agendamento no modo Defined with an expression, o DataWorks valida a sintaxe da expressão atual. Se a validação falhar, não será possível configurar os parâmetros de agendamento.

     Por exemplo, o DataWorks verifica regras de sintaxe, como a regra que proíbe espaços ao redor do sinal de igual.

2. Visualização de parâmetros

   Após a definição dos parâmetros, clique em Preview of scheduling parameters e visualize os valores dos parâmetros para N instâncias após uma data de negócio especificada e verificar se as definições dos parâmetros atendem às expectativas. Ajuste a data de negócio e o número de instâncias para visualização.

   

   Nota

   Alguns nós, como os nós de sincronização em lote, possuem um parâmetro ${bizdate} integrado. Esse parâmetro recebe automaticamente o valor $bizdate. É possível substituir o nome do parâmetro bizdate no código por um nome de parâmetro personalizado. O próprio ${bizdate} não tem significado especial e funciona da mesma forma que qualquer outro parâmetro personalizado.

   

Etapa 3: Teste de smoke

Após a atribuição dos valores dos parâmetros, use o recurso de teste de smoke durante a implantação para simular um cenário de agendamento com uma data de negócio específica. Verifique se a substituição de parâmetros e a execução do código produzem os resultados esperados. Caso contrário, faça ajustes rápidos para evitar impactos no agendamento de produção.

1. Implante o código do nó.

   

   1. configure o scheduling time e o scheduling dependency.

   2. Clique em salve para salvar o código e a configuração. Em seguida, clique no botão Deploy na barra de ferramentas para iniciar o teste de smoke durante o processo de implantação.

      Nota

      Se o teste de smoke não executar o código ou os parâmetros mais recentes, clique em Republish Production.

2. Execute o teste de smoke.

   Clique em Initiate Smoke Testing. Na caixa de diálogo Smoke test, selecione uma data de negócio, clique em confirme e inicie o teste de smoke.

3. visualize os logs do teste de smoke.

   1. Clique no botão de registros de teste de smoke no menu esquerdo e clique em Logs nos registros do teste de smoke.

      

   2. Verifique a saída dos parâmetros nos logs para confirmar se os resultados atendem às expectativas.

Etapa 4: Implante e verifique

Após a verificação no ambiente de desenvolvimento, implante a tarefa no Operation Center para o agendamento de produção. Verifique os parâmetros de agendamento no ambiente de produção para evitar erros de execução.

Se a configuração dos parâmetros de agendamento de uma tarefa agendada não atender às expectativas, ou caso não encontre a tarefa desejada no Operation Center, verifique se a tarefa foi implantada com sucesso. Para detalhes sobre a implantação de tarefas, consulte Deploy a node.

1. verifique as definições dos parâmetros.

   acesse o Operation Center, mude para a região e o workspace desejados e navegue até a página Auto Triggered Task O&M > Auto Triggered Task. Clique no nome de uma tarefa na lista de tarefas e verifique se os parâmetros de execução no painel General atendem às expectativas.

   

2. Teste de smoke no Operation Center.

   Use também o teste de smoke no Operation Center para confirmar se uma tarefa implantada executa a substituição de parâmetros e a execução do código conforme o esperado no ambiente de produção. Para mais detalhes, consulte Smoke testing in Operation Center.

   Importante

   Note que o teste de smoke é executado em dados reais no ambiente de produção. Tome cuidado para evitar a poluição dos dados de produção.

   

3. Observe os resultados reais do agendamento.

   Após a tarefa entrar em agendamento automático, verifique ainda mais se a substituição de parâmetros está correta ao conferir se os parâmetros em Cycle Examples foram substituídos automaticamente conforme necessário.

   

Este exemplo usa um nó MaxCompute SQL para verificar a configuração de parâmetros de agendamento por meio do teste de smoke no ambiente de desenvolvimento e, em seguida, confirmar os valores dos parâmetros no Operation Center após a implantação.