DataWorks:Configurar e usar parâmetros de agendamento

1. Definir parâmetros

1. Clique em duas vezes no nó desejado, como um ODPS SQL node, para abrir o editor de nós.

2. No código de um nó ODPS SQL ou em outros nós baseados em SQL, defina um nome de parâmetro usando a sintaxe ${param}. A DataWorks recomenda o uso de nomes descritivos para facilitar a referência e o gerenciamento.

   Sintaxe dos parâmetros de agendamento:

   Tipo	Sintaxe	Aplicabilidade	Observações
   Formato geral	${parameter_name}	Aplica-se à maioria dos tipos de nó, como ODPS SQL e nós de sincronização de dados.	Este é o formato mais comum.
   Formato especial	Varia conforme o tipo de nó e não usa o formato ${...}.	PyODPS e Shell	Para mais informações, consulte Configuration examples for scheduling parameters of different node types.

   -- Example: Define a variable named pt_date for partition filtering.
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. No painel à direita, clique em Scheduling para acessar a seção Scheduling Parameter.

4. Configure os parâmetros de agendamento conforme descrito na próxima seção.

2. Configurar parâmetros

Defina parâmetros de agendamento tanto em Visual definition quanto em Define by expression. Alterne entre esses modos clicando em Define by expression no canto superior direito da lista de parâmetros. O modo padrão é Visual definition.

1. Configurar parâmetros

   Modo visual

   Clique em Scheduling no painel à direita para abrir o painel de configuração de parâmetros de agendamento.

   • Adicionar um parâmetro

     Clique em Scheduling à direita do nó e adicione parâmetros na seção Scheduling Parameter. Há duas formas de adicionar parâmetros:

     1. Clique em Add Parameter e insira manualmente um nome e um valor. O nome do parâmetro deve ser idêntico ao nome da variável definida no código.

     2. Clique em Load Parameters in Code. O DataWorks analisa automaticamente as variáveis no seu código, como ${pt_date}, e as preenche na lista de parâmetros. Basta inserir um valor para cada parâmetro.

   • Atribuir um valor

     Valores podem ser parâmetros integrados, variáveis de tempo personalizadas ou constantes.

     • Clique em na caixa de entrada. Uma lista suspensa exibirá expressões de parâmetros comuns para seleção direta. Também é possível inserir manualmente uma expressão personalizada ou uma variável integrada.

     • Insira um valor conforme suas necessidades de negócio. Para mais detalhes sobre os formatos de valor suportados, consulte Supported formats of scheduling parameters.

   Modo de expressão

   Clique em Define by expression para alternar para o Modo de expressão. Use este modo caso prefira configurar parâmetros por meio de expressões.

   • No Modo de expressão, separe múltiplos parâmetros com espaços.

   • Ao adicionar, exclua ou modifique parâmetros de agendamento em Define by expression, o DataWorks valida a sintaxe da expressão. Se a sintaxe for inválida, a configuração do parâmetro falhará.

     Por exemplo, o DataWorks aplica regras como não permitir espaços em ambos os lados do sinal de igual (=).

2. Visualize parâmetros

   Após definir os parâmetros, clique em Preview Scheduling Parameters para ver como eles serão resolvidos nas próximas instâncias com base em um timestamp de dados especificado. Isso ajuda a testar se as definições estão corretas. É possível ajustar o timestamp de dados e o número de instâncias para visualização.

3. Teste de fumaça

Após atribuir valores aos parâmetros de agendamento, use o recurso de teste de fumaça. Ele permite definir um timestamp de dados e simular a execução da tarefa, ajudando a verifique se o código roda e se os parâmetros são substituídos conforme o esperado. Caso os resultados não correspondam ao esperado, ajuste a configuração prontamente para evitar problemas nas execuções agendadas.

O teste de fumaça gera instâncias, o que incorre em custos. Para mais informações sobre preços de instâncias, consulte Billing of serverless resource groups .

1. Envie o código do nó.

   1. Configure o scheduling time e o scheduling dependencies.

   2. Clique em no ícone Salvar . Depois que o código e as configurações forem salvos, clique em no ícone Enviar para enviar o código e a configuração mais recentes para o Operation Center. O recurso de teste de fumaça só estará disponível no ambiente de desenvolvimento após o envio do nó.

      Nota

      Se o teste de fumaça não estiver executando o código ou os parâmetros mais recentes, envie o nó novamente.

2. Execute o teste de fumaça.

   Clique em no ícone Smoke Testing na barra de ferramentas. Na caixa de diálogo Perform Smoke Testing, selecione um timestamp de dados e clique em OK para iniciar o teste.

3. Visualize os logs do teste de fumaça.

   1. Na janela Smoke Testing Records que aparece, localize o registro mais recente e clique em View Log.

      O log exibe o status de execução e os detalhes do nó. A linha de resultados de substituição de parâmetros mostra os valores reais de cada parâmetro de agendamento, permitindo confirme se a substituição ocorreu corretamente.

   2. Verifique a saída dos parâmetros nos logs para confirme se os valores estão corretos.

      Nota

      Se você fechar a janela acidentalmente, reabra-a clicando em no ícone Smoke Testing Logs na barra de ferramentas.

4. Implantar e verificar

Após a verificação no ambiente de desenvolvimento, implante a tarefa no Operation Center para execução agendada em produção. Após a implantação, verifique os parâmetros de agendamento no ambiente de produção para evitar erros de execução.

1. Verifique as definições dos parâmetros.

   Acesse o Operation Center, alterne para a região e o workspace desejados e navegue até a página Auto Triggered Task O&M > Periodic tasks. Na lista de tarefas, clique em no nome da tarefa e verifique os parâmetros de execução no painel Attribute para garantir que estejam corretos.

2. Realize o teste de fumaça no Operation Center.

   Também é possível usar o teste de fumaça no Operation Center para confirme se uma tarefa implantada substitui os parâmetros e executa o código conforme o esperado no ambiente de produção. Para mais informações, consulte Run a test and view the test instance.

   Importante

   Observe que o teste de fumaça executa sobre dados reais de produção. Proceda com cautela para evitar corromper dados no seu banco de dados de produção.

   Na caixa de diálogo Smoke Testing, insira um Smoke Test Name, selecione o timestamp de dados alvo em Select Data Timestamp, ative opcionalmente a Advanced Configuration para personalizar os parâmetros de execução da tarefa e, em seguida, clique em OK para iniciar o teste.

3. Observe os resultados reais do agendamento.

   Depois que a tarefa for agendada automaticamente, verifique se os parâmetros foram substituídos corretamente consultando os parâmetros de uma instância acionada automaticamente em Auto Triggered Instances.

   Na lista Auto Triggered Instances, localize a instância da tarefa desejada e clique em no nome da instância. No painel Properties à direita, visualize o campo Execution Parameters para confirme se cada parâmetro foi substituído pelos valores reais de data e hora.

Este exemplo usa um nó ODPS SQL para demonstrar como usar o recurso Perform smoke test in development environment no ambiente de desenvolvimento, testando se os parâmetros de agendamento configurados funcionam conforme o esperado. Após a implantação da tarefa, você também verificará a configuração dos parâmetros de agendamento no Operation Center.