Gerencie workflows - E-MapReduce: Central de Documentação do Alibaba Cloud

Pré-requisitos

Você criou um workspace. Para mais informações, consulte Gerencie workspaces.
Você desenvolveu e publicou as tarefas necessárias.

Crie um fluxo de trabalho

Acesse a página Workflows.
1. Faça login no console do E-MapReduce.
2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.
3. Na página Spark, clique no nome do workspace de destino.
4. Na página EMR Serverless Spark, clique em Workflows no painel de navegação à esquerda.
Na página Workflows, clique em Create Workflow.

No painel Create Workflow, configure os seguintes parâmetros e clique em Next.

Parâmetro		Descrição
Name		O nome do fluxo de trabalho deve ser exclusivo no workspace atual.
Resource Queue		Selecione a fila de recursos padrão para a execução do fluxo de trabalho. Nota A configuração da fila de recursos de um nó substitui essa fila padrão.
Other Settings	Scheduling Type	O tipo de agendamento para a execução do fluxo de trabalho no ambiente de produção: Manual (Padrão): o fluxo de trabalho é executado apenas quando você o aciona manualmente. Scheduler: o fluxo de trabalho é executado automaticamente em uma programação definida (minuto, hora ou dia). Defina o Scheduling Type como Scheduler e configure também os parâmetros Scheduler e Scheduling Started At.
	Scheduler	A frequência com que o fluxo de trabalho é executado automaticamente. Necessário apenas se defina o Scheduling Type como Scheduler. Ciclos de agendamento disponíveis: Diário: executa uma vez por dia em um horário especificado. A cada hora: executa em um intervalo definido, como `every N hours`, dentro de um intervalo de tempo diário especificado. A cada minuto: executa em um intervalo definido, como `every N minutes`, dentro de um intervalo de tempo diário especificado.
	Scheduling Started At	A data e a hora de início do fluxo de trabalho agendado. O padrão é a hora atual. Necessário apenas para o tipo Scheduler. Importante Para um fluxo de trabalho do tipo Scheduler, ative a opção Scheduling Status na página Workflows para ativar o agendamento.
	Retries After Failure	O número de tentativas de execução de um nó após uma falha. Padrão: nenhuma. Nota As configurações de um nó específico podem substituir este parâmetro.
	Failure Notification	O endereço de e-mail para receber notificações de falha.
	Tags	Pares de chave-valor para adicionar tags ao fluxo de trabalho.

Edite os nós do fluxo de trabalho.

Na página Edit Workflow, clique em Add Node na parte inferior.

No painel Add Node, configure os parâmetros do nó.

Parâmetro	Descrição
Path	O caminho da tarefa executada por este nó. A tarefa deve estar publicada.
Node Type	O tipo de nó do fluxo de trabalho. Por padrão, o sistema infere o tipo a partir da tarefa no caminho especificado.
Node Name	Um nome personalizado para o nó. Preenchido automaticamente a partir da source da tarefa.
Upstream Nodes	O nó anterior no fluxo de trabalho. O primeiro nó não exige um nó upstream.
Failure Retries	Herda as configurações de repetição do fluxo de trabalho. Padrão: nenhuma.
Timeout(seconds)	O tempo limite para uma única execução do nó. Padrão: sem limite.
Subscriptions	Especifique um endereço de e-mail para receber notificações sobre estados específicos do nó.
Tags	Pares de chave-valor de tags para o nó. Cada nó inclui automaticamente duas tags integradas: `workflow_name` e `task_name`.
Resource Queue	A fila de recursos deste nó. Esta configuração substitui a fila de recursos padrão do fluxo de trabalho. Importante Uma configuração de fila de recursos específica do nó tem precedência sobre a padrão do fluxo de trabalho, mesmo que esta sofra alterações posteriores.

Nota

Se a source da tarefa for desenvolvimento SQL, configure também os parâmetros da tarefa. Por padrão, esses parâmetros herdam valores do modelo de tarefa. Modifique o modelo de tarefa para alterar os valores padrão. Para obter mais informações sobre parâmetros, consulte Configuration management.

Clique em Save.

Após configurar o nó inicial, clique em Add Node na parte inferior da página para adicionar mais nós.

Publique o fluxo de trabalho.
1. No canto superior direito, clique em Publish Workflow.
2. Na caixa de diálogo Publish, insira uma descrição para a versão e clique em OK.

Execute um fluxo de trabalho

Cada execução de fluxo de trabalho gera um registro na aba Workflow Runs da página de detalhes do fluxo de trabalho.

Depurar

Depure a versão mais recente de um fluxo de trabalho durante a edição.

Na página Edit Workflow, clique em Debugging.
Na caixa de diálogo Debugging, selecione uma fila de recursos do ambiente de desenvolvimento e clique em Run.

Execução agendada

Defina o Scheduling Type como Scheduler durante a criação do fluxo de trabalho e ative a opção Scheduling Status após a criação. O sistema aciona o fluxo de trabalho no horário especificado.

Execução manual

Na página Workflows, clique no nome do fluxo de trabalho de destino. No canto superior direito, clique em Run e selecione um método para a execução do fluxo de trabalho.

Manually Run (Padrão): executa o fluxo de trabalho imediatamente, independentemente de seu agendamento.

Backfill: executa o fluxo de trabalho novamente para um período histórico, a fim de corrigir dados de execuções com falha ou perdidas. Configure os seguintes parâmetros:

Parâmetro	Descrição
Cycle	O sistema gera execuções do fluxo de trabalho para o intervalo de tempo selecionado. Quando o horário atual ultrapassa o início do ciclo selecionado, o sistema gera e executa automaticamente as execuções de backfill. O sistema gera e executa uma execução de backfill apenas se o horário agendado do fluxo de trabalho estiver dentro do ciclo selecionado. Se o fluxo de trabalho contiver variáveis de tempo (por exemplo, `${ds}`), o sistema as substitui automaticamente pelo horário do ciclo selecionado.
Parallelism	O número de execuções de backfill agendadas simultaneamente pelo sistema. Valor padrão: 1. O sistema agenda as execuções em ordem crescente de ciclo de negócios e inicia as subsequentes à medida que as anteriores terminam. O valor 1 executa o backfill em série. Valores maiores que 1 executam o backfill simultaneamente, em ordem crescente de ciclo de negócios. Nota O sistema agenda as execuções em ordem crescente de ciclo de negócios, mas a ordem de conclusão depende da duração de cada fluxo de trabalho e não há garantia de correspondência com a ordem de agendamento.
Resource Queue	Usa a fila de recursos padrão do fluxo de trabalho. Selecione outra fila disponível no ambiente de produção.
Remarks	Uma descrição da execução de backfill para auxiliar no gerenciamento e na solução de problemas futuros.
More	Failure Notification: especifique um endereço de e-mail para receber alertas quando a execução do fluxo de trabalho de backfill falhar. Node resource queue priority: desativada por padrão. Quando ativada, cada nó do fluxo de trabalho executa nas filas de recursos de Driver e Executor configuradas para esse nó, e nós sem fila configurada usam a fila de recursos especificada acima. Quando desativada, todos os nós usam a fila de recursos especificada acima. Ative esta opção se o fluxo de trabalho usar uma combinação de filas de cpu e GPU.

Visualize status de execução

Visualize o status de todas as execuções de fluxo de trabalho e de nó nas colunas Workflow Runs Status e Workflow Job Runs Status do fluxo de trabalho de destino.

Status de execução do fluxo de trabalho

Status	Descrição
Azul	Em execução
Verde	Bem-sucedido
Vermelho	Com falha
Roxo	Pendente

Status de execução do nó do fluxo de trabalho

Status	Descrição
Azul	Em execução
Verde	Bem-sucedido
Vermelho	Com falha
Amarelo	Tentando novamente
Roxo	Pendente

Tópicos relacionados

Para obter mais informações sobre os principais conceitos de fluxo de trabalho, consulte Basic concepts.
Visualize as execuções de fluxo de trabalho e de nós consultando Gerencie workflow runs e node runs.