Realtime Compute for Apache Flink:Gerencie workflows

Limitações

• É possível criar um workflow para agendar apenas tarefas associadas a deployments em lote.

• O recurso Workflows está em visualização pública. O acordo de nível de serviço (SLA) não é garantido durante essa fase. Para mais informações, consulte Service Level Agreement (SLA). Em caso de dúvidas durante o uso deste recurso, envie um ticket para obter suporte técnico.

• O recurso Workflows tem suporte apenas nas regiões China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen), China (Zhangjiakou) e Singapura.

Crie um workflow

1. Faça login no console de gerenciamento do Realtime Compute for Apache Flink.

2. Clique em Console na coluna Actions do seu workspace.

   O console de desenvolvimento será exibido.

3. No painel de navegação à esquerda, escolha O&M > Workflows.

4. Clique em Create Workflow.

5. No painel Create Workflow, configure os parâmetros:

   Parâmetro	Descrição
   Name	Nome do workflow, que deve ser único no namespace atual.
   Variable Configuration	Uma ou mais variáveis predefinidas utilizadas para processamento de dados. Variable Name: insira um nome de variável personalizado, como ${date}. Variable Value: insira uma data estática, um formato de hora ou uma expressão. É possível configurar as seguintes variáveis de hora do sistema: Variável com nome system.biz.date e valor ${system.biz.date}: especifica a data do dia anterior ao horário de execução agendada de uma instância de workflow com agendamento diário, no formato yyyyMMdd. Variável com nome system.biz.curdate e valor ${system.biz.curdate}: especifica o horário de execução agendada de uma instância de workflow com agendamento diário, no formato yyyyMMdd. Variável com nome system.datetime e valor ${system.datetime}: especifica o horário de execução agendada de uma instância de workflow com agendamento diário, no formato yyyyMMddHHmmss. Nota Ignore esta configuração se estiver criando um workflow para tabelas materializadas. As variáveis configuradas aplicam-se a todos os deployments associados a tarefas. As variáveis definidas no workflow têm precedência sobre aquelas configuradas diretamente no deployment.
   Scheduling Type	Tipo de agendamento. Valores válidos: Manual Scheduling: clique em Execute na coluna Actions para executar o workflow. Ideal para testes ad-hoc ou processamentos pontuais. Periodic Scheduling: o workflow é executado conforme a regra de agendamento definida. O agendamento pode ser por minuto, hora ou dia. Importante Para criar uma tarefa do tipo tabela materializada, escolha Periodic Scheduling.
   Scheduling Rule	Este parâmetro é obrigatório apenas quando Scheduling Type está definido como Periodic Scheduling. Selecione Use cron expression para especificar regras complexas de agendamento. Exemplos: 0 0 /4 ? *: o workflow é agendado a cada quatro horas. 0 0 2 ? : o workflow é agendado diariamente às 02:00:00. 0 0 5,17 ? * MON-FRI: o workflow é agendado às 05:00:00 e 17:00:00, de segunda a sexta-feira. Consulte Sintaxe de expressão Cron.
   Scheduled Start Time	Horário em que a regra de agendamento entra em vigor. Este parâmetro é necessário apenas quando Scheduling Type está definido como Periodic Scheduling. Importante Após criar um workflow com agendamento periódico, ative a chave na coluna State para que ele seja executado no horário especificado pelo parâmetro Scheduled Start Time. Para evitar execuções simuladas (dry-run) ou falhas, defina o horário inicial para um momento futuro.
   Failure Retry Times	Número de tentativas de repetição para cada tarefa no workflow. Por padrão, nenhuma nova tentativa ocorre em caso de falha.
   Failure Notification Email	Endereço de e-mail para envio de notificações em caso de falha na tarefa. Nota As notificações também podem ser enviadas via DingTalk ou SMS. Para mais informações, consulte Configurar monitoramento e alertas.
   Resource Queue	A fila onde o workflow será implantado. Ao configurar a fila para um workflow, as tarefas contidas nele são automaticamente implantadas nessa mesma fila, eliminando a necessidade de especificar filas individuais para cada tarefa. Nota A alteração deste parâmetro não modifica a fila dos deployments em lote existentes.
   Tags	Uma ou mais tags do workflow. Especifique uma chave e um valor para cada tag.

6. Clique em Create.

   O construtor de workflows será exibido.

7. Configure a tarefa inicial do workflow.

   Uma tarefa inicial é criada automaticamente para o workflow. Clique na tarefa inicial chamada untitled. No painel Edit Task, configure os parâmetros abaixo e clique em Save:

   Deployment

   Parâmetro	Descrição
   Deployment	Apenas deployments em lote no namespace atual são exibidos. Há suporte para busca aproximada (fuzzy search).
   Name	Nome da tarefa dentro do workflow atual.
   Upstream Tasks	Tarefa upstream da qual a tarefa atual depende. Somente outras tarefas do workflow atual podem ser selecionadas. Nota Ignore esta configuração para a tarefa inicial, pois ela não depende de nenhuma outra tarefa.
   Failure Retry Times	Número de tentativas de repetição para a tarefa. Por padrão, herda a configuração de repetição do workflow. Caso um valor específico seja definido para a tarefa, este terá precedência sobre a configuração do workflow.
   Subscription	Estado da tarefa para o qual você deseja receber notificações. Para ativar as notificações de estado, forneça um endereço de e-mail e configure a opção Strategy para definir se deseja ser notificado sobre o início, falha ou ambos os eventos da tarefa.
   Timeout(sec)	Tempo limite da tarefa. Se o tempo de execução ultrapassar o valor definido neste parâmetro, a tarefa falhará.
   Resource Queue	A fila onde a tarefa será implantada. Por padrão, a tarefa herda a fila do workflow, a menos que outra seja explicitamente especificada. Nota Esta configuração não afeta as filas dos deployments em lote existentes.
   Tags	Permite especificar uma chave e um valor de tag para a tarefa no workflow.

   Materialized table

   Parâmetro	Descrição
   Materialized Table	Uma tabela materializada só estará disponível para seleção se atender às seguintes condições: Ser particionada por tempo; Ter modo de atualização contínua; Utilizar VVR 11.0 ou superior.
   Name	Nome da tarefa dentro do workflow atual.
   Time Partition	Partitioned Column: nome da coluna de partição de tempo da tabela materializada. Partition Format: formato da partição, como yyyyMMdd. Uma descrição adaptativa é fornecida com base no horário agendado do workflow, na coluna de partição e no formato da partição.
   Resource Setting	Especifique os recursos disponíveis para o backfill de dados agendado. Para Parallelism, selecione Automatically allocate e o Flink definirá automaticamente um paralelismo ideal.
   Upstream Tasks	Tarefa upstream da qual a tarefa atual depende. Somente outras tarefas do workflow atual podem ser selecionadas. Nota Ignore esta configuração para a tarefa inicial, pois ela não depende de nenhuma outra tarefa.
   Failure Retry Times	Número de tentativas de repetição para a tarefa. Por padrão, herda a configuração de repetição do workflow. Caso um valor específico seja definido para a tarefa, este terá precedência sobre a configuração do workflow.
   Subscription	Estado da tarefa para o qual você deseja receber notificações. Para ativar as notificações de estado, forneça um endereço de e-mail e configure a opção Strategy para definir se deseja ser notificado sobre o início, falha ou ambos os eventos da tarefa.
   Timeout(sec)	Tempo limite da tarefa. Se o tempo de execução ultrapassar o valor definido neste parâmetro, a tarefa falhará.
   Resource Queue	A fila onde a tarefa será implantada. Se este parâmetro não for configurado, a fila do workflow será utilizada. Nota Esta configuração não afeta as filas das tabelas materializadas existentes.
   Tags	Permite especificar uma chave e um valor de tag para a tarefa no workflow.

   Nota

   • Após a criação de uma tarefa de tabela materializada, o Realtime Compute for Apache Flink solicitará a criação de uma tarefa downstream com base na linhagem dessa tabela. Na caixa de diálogo, selecione a tarefa downstream para confirmar sua criação rápida.

   • A tarefa downstream também deve atender a estas condições:

     • A tabela materializada utiliza VVR 11.0 ou superior;

     • É particionada por tempo;

     • O modo de atualização é contínuo ou a latência (freshness) é inferior a 30 minutos.

8. (Opcional) Clique em Add Task na parte inferior da página do construtor de workflows para adicionar mais tarefas.

9. Salve as configurações do workflow.

   1. Clique em Save no canto superior direito da página do construtor de workflows.

   2. Na caixa de diálogo Save Workflow, clique em OK.

Execute um workflow

Uma instância de workflow é gerada na seção Instance History, na aba Overview da página de detalhes do workflow, sempre que um workflow é executado.

• Executar manualmente um workflow para testes ou processamentos ad-hoc

  Localize o workflow desejado e clique em Execute na coluna Actions. Na caixa de diálogo Execute Manually, selecione Manually Triggered para Schedule Type e clique em OK. Cada clique em Execute resulta em uma única execução do workflow.

• Executar um workflow com agendamento periódico

  Localize o workflow desejado e ative a chave na coluna State para executá-lo no horário especificado pelo parâmetro Scheduled Start Time.

Backfill de dados

O backfill de dados serve para complementar ou atualizar informações dentro de um período especificado. Utilize esse procedimento para lidar com cenários como retransmissão de dados históricos por sistemas upstream, correção de tabelas de dimensão e adição de novas interfaces.

Visualize o status de um workflow

É possível verificar o status de todas as instâncias de um workflow na coluna Status. Por exemplo, se um workflow for executado diariamente durante cinco dias, cinco instâncias serão geradas. A coluna Status exibe o estado de cada instância e a quantidade de vezes que o workflow permaneceu em cada estado.

Edite um workflow

1. Faça login no console de gerenciamento do Realtime Compute for Apache Flink.

2. Localize o workspace que deseja gerenciar e clique em Console na coluna Actions.

3. No painel de navegação à esquerda, clique em Workflows.

4. Localize o workflow que deseja gerenciar e clique em Edit Workflow na coluna Actions.

   Para mais informações sobre como modificar os parâmetros, consulte a seção Criar um workflow deste tópico.

   Nota

   Se a chave na coluna State de um workflow estiver ativada, não será possível editá-lo.

Referências

• O DataWorks permite agendar deployments SQL executados em modo batch. Para mais informações, consulte Nó batch Flink SQL e Configuração de agendamento de nó na documentação do DataWorks.

• Para mais detalhes sobre os conceitos relacionados ao recurso Workflows, consulte Workflows (visualização pública).

• Para saber como visualizar uma instância de workflow e os logs da instância de tarefa, consulte Gerenciar instâncias de workflow e tarefas.

• Para mais informações sobre como adicionar filas para isolar e gerenciar recursos, consulte Gerenciar filas.

• Para instruções sobre como criar um deployment em lote do tipo SQL, JAR ou Python, consulte Implantar um job.