No DataWorks, um Workflow ajuda a organizar tarefas de desenvolvimento de dados sob uma perspectiva de negócios. Crie um auto triggered workflow para tarefas que exigem agendamento periódico ou um Manually Triggered Workflows para tarefas sob demanda. Este tópico descreve como criar, projetar, enviar e visualizar workflows, além de modificar ou excluir nós em massa.
Contexto
Um workspace pode suportar vários tipos de mecanismos de computação e conter múltiplos workflows. Um workflow é uma coleção de diversos objetos, incluindo nós para diferentes mecanismos, como Data Integration, MaxCompute, Hologres e E-MapReduce (EMR). Exemplos incluem nós MaxCompute SQL e nós de tabela MaxCompute.
Cada tipo de objeto possui sua própria pasta, onde é possível criar subpastas. Para garantir a facilidade de gerenciamento, recomendamos uma profundidade máxima de quatro níveis de subpastas. Caso sua estrutura exceda esse limite, considere dividir o workflow em dois ou mais workflows menores. Em seguida, agrupe esses workflows relacionados em uma solução para melhorar a eficiência.
Workflows com acionamento automático e manual
O DataWorks oferece dois tipos de workflows: auto triggered workflow e Manually Triggered Workflows. Esses tipos atendem a cenários de execução periódica e sob demanda. Desenvolva tarefas para ambos os tipos de workflow no DataStudio e envie-as ao Operation Center para execução no ambiente de produção. A tabela a seguir compara os dois tipos.
Item de comparação | Auto triggered workflow | Manually triggered workflow |
Casos de uso | Indicado para tarefas executadas automaticamente em um cronograma recorrente. | Destinado a tarefas acionadas manualmente sob demanda. |
Método de execução | Execução automática conforme agendamento. | Acionado manualmente. |
Pontos principais de configuração para desenvolvimento de tarefas | Configure parâmetros de agendamento periódico, como horário agendado e dependências de nó. | Como as tarefas são acionadas manualmente, não é necessário configurar parâmetros relacionados ao agendamento, como dependências de nó pai, saídas de nó ou horários de execução agendados. Nota Exceto por esses parâmetros de agendamento, a configuração é idêntica à de um auto triggered workflow. Os exemplos de desenvolvimento de tarefas neste tópico baseiam-se em um auto triggered workflow. As etapas de configuração para parâmetros compartilhados são as mesmas para ambos os tipos de workflow. |
Como criar | No painel de navegação à esquerda, clique em DataStudio. Na página DataStudio, clique em + New no canto superior direito e selecione New Workflow na lista suspensa. | No painel de navegação à esquerda, selecione Manually Triggered Workflow. Clique em + New no canto superior direito e selecione New Workflow na lista suspensa. |
Se você não encontrar o ponto de entrada correspondente no painel de navegação à esquerda, consulte Personalizar exibição de módulos no DataStudio para configurar os módulos exibidos no DataStudio.
Criar um auto triggered workflow
No DataStudio, todo o desenvolvimento ocorre dentro de um workflow. Portanto, crie um workflow antes de criar um nó. Antes da criação, consulte a seção Projetar um workflow para planejar um workflow que atenda aos seus requisitos de negócios. As etapas a seguir descrevem como criar um auto triggered workflow.
-
Acesse a página DataStudio.
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
Passe o mouse sobre o ícone
e clique em Create Workflow.Na caixa de diálogo Create Workflow, insira um Workflow Name e uma Description.
Clique em Create.
Após a criação do workflow:
Inicie o desenvolvimento de tarefas sob o mecanismo correspondente dentro do workflow. Para diretrizes gerais de desenvolvimento, consulte Desenvolver lógica de negócios.
Ao concluir o desenvolvimento das tarefas, envie o workflow para implantá-las no ambiente de produção. Para obter mais informações, consulte Enviar um workflow.
Gerencie o workflow também por meio de várias páginas. Para obter mais informações, consulte Visualizar todos os workflows, Excluir nós em um workflow, Copiar rapidamente um workflow e Importar e exportar rapidamente vários workflows para outros workspaces do DataWorks ou mecanismos open-source.
Projetar um workflow
Todo o desenvolvimento de código ocorre dentro de um workflow. Desenvolva nós de duas maneiras: crie nós a partir da árvore de diretórios na visualização de lista ou clique duas vezes em um workflow para abrir sua tela e orquestrar visualmente tarefas multimotor usando uma interface baseada em DAG com arrastar e soltar. O DataWorks utiliza uma estrutura hierárquica para desenvolvimento de dados: uma solution agrupa um conjunto de workflows relacionados, e você pode clicar duas vezes em um workflow para abrir sua tela de workflow. A árvore de diretórios do workflow contém categorias como Data Integration, DataStudio, table, resource, function, algorithm, Data Service e control, permitindo organizar seu código visualmente. Na tela do workflow, arraste componentes de desenvolvimento (nós) para visualizar e desenvolver sua lógica de negócios. Ao projetar um workflow:
-
Uma grande quantidade de nós em um workflow pode degradar o desempenho. Recomendamos limitar um único workflow a 100 nós.
NotaÉ possível criar no máximo 1.000 nós em um workflow.
No modo DAG, arraste linhas de dependência para configurar dependências de agendamento entre nós. Abra também o painel de configuração de agendamento de um nó para editar manualmente suas dependências. Para obter mais informações, consulte Configurar dependências de agendamento.
Para nós criados no modo de lista, configure dependências de agendamento com base na linhagem de código. Para obter mais informações, consulte Configurar dependências de agendamento.
Desenvolver lógica de negócios
O DataWorks encapsula capacidades de mecanismos, permitindo desenvolver dados usando nós de mecanismo sem interagir com linhas de comando complexas. Utilize também os nós de uso geral da plataforma para lidar com lógicas complexas.
Dentro de um workflow, desenvolva sua lógica de negócios usando nós de sincronização e nós de mecanismo de computação.
Na pasta Data Integration, utilize nós de componentes de sincronização em lote e em tempo real para sincronizar dados de um banco de dados para outro.
Limpe dados usando nós de desenvolvimento de dados sob o grupo de mecanismos correspondente no workflow. Um exemplo é um nó ODPS SQL para o mecanismo MaxCompute. Se precisar usar recursos ou funções durante o desenvolvimento de código, o DataWorks permite criar nós de recurso e nós de função por meio de uma interface visual.
Para obter mais informações sobre as capacidades de mecanismo que o DataWorks encapsula e as capacidades de desenvolvimento que o produto suporta, consulte DataStudio (Legacy).
Para informações sobre dependências de agendamento de nós e configuração de propriedades, consulte Configuração de agendamento.
Enviar um workflow
Em um workspace no modo padrão, a interface do DataStudio serve como ambiente de desenvolvimento e teste para tarefas de nó. Para publicar seu código no ambiente de produção, envie os nós no workflow e publique-os em massa na página de implantação.
Após projetar e testar o workflow, clique no ícone
na barra de ferramentas.Na caixa de diálogo Submission, selecione os nós que deseja enviar, insira Remarks e escolha se deve Ignore I/O Inconsistency Alerts conforme seus requisitos de negócios. Se o conteúdo de entrada e saída não corresponder à análise de linhagem de código e você não selecionar Ignore I/O Inconsistency Alerts, um alerta será acionado. Para obter mais informações, consulte Um alerta indicando incompatibilidade entre E/S e linhagem de código é relatado ao enviar um nó.
-
Clique em Submission.
NotaSe um nó já foi enviado e seu conteúdo permanece inalterado, ele não pode ser selecionado novamente. Nesse caso, insira Remarks e clique em Submission. Alterações nas propriedades do nó ainda serão enviadas.
Publique as tarefas. Para obter mais informações, consulte Processo de publicação de tarefas para um workspace no modo padrão.
Visualizar histórico de operações
A página Operating History no DataStudio exibe todos os registros de execução de tarefas da sua conta nos últimos três dias.
Ao executar uma tarefa no DataStudio, o sistema a envia ao serviço de mecanismo correspondente para execução. A tarefa continua em execução mesmo se você fechar acidentalmente a aba da tarefa. Na página Operating History, visualize os logs de execução ou interrompa uma tarefa em andamento.
Visualizar todos os workflows
Na página Data Studio, clique com o botão direito em Workflow e selecione All Workflows para visualizar todos os workflows no workspace.
Clique em um cartão para acessar a tela do workflow correspondente. A página exibe uma lista de cartões de workflow, incluindo um ponto de entrada para New Workflow e cartões para workflows existentes.
Gerenciar workflows com soluções
Agrupe workflows em uma solução. As soluções suportam os seguintes recursos:
Uma solução pode conter múltiplos workflows.
O mesmo workflow pode ser reutilizado em diferentes soluções.
Soluções agrupadas personalizadas proporcionam uma experiência de desenvolvimento imersiva.
Para gerenciar workflows usando soluções, realize as seguintes operações:
Na parte inferior do painel de navegação à esquerda na página DataStudio, clique no ícone
. Na página , selecione Show Solution no módulo File Management.Adicione workflows a uma solução em lotes usando o painel de edição da solução. Clique com o botão direito no nó da solução de destino, como doctest, e clique em Edit.
Excluir nós em um workflow
Excluir nós em massa
Se precisar modificar propriedades de agendamento de tarefas, como alterar o grupo de recursos usado pelas tarefas, ou enviar tarefas para revisão em massa, utilize o recurso Batch Operation. Esse recurso permite filtrar e processar nós de destino com base em critérios como tipo de nó, workflow e grupo de recursos para agendamento.
Operações em lote modificam propriedades de tarefas apenas no ambiente de desenvolvimento. Para aplicar as alterações ao ambiente de produção, acesse a página de implantação e publique-as após a conclusão da operação em lote.
Na página Data Studio, clique no ícone
ao lado de Workflow para abrir a página Tasks. Este é o ícone Task List, localizado na barra de ferramentas acima da caixa de pesquisa.-
Modifique ou exclua os nós de destino.
Filtre nós com base em critérios como node name/ID, Node Type e Workflow.
Selecione alguns ou todos os nós que deseja processar.
-
Modifique ou exclua os nós de destino.
-
Modificar os nós de destino: É possível modificar em lote apenas o proprietário e o grupo de recursos para agendamento dos nós de destino. Clique em Change Owner ou Change Resource Group for Scheduling para fazer alterações.
Definir o parâmetro Forcefully Modify como Yes na caixa de diálogo de modificação permite modificar todos os nós selecionados. Se definir este parâmetro como No, será possível modificar apenas os nós que você bloqueou.
-
Excluir os nós de destino: Clique em para excluir os nós selecionados.
Na caixa de diálogo Delete Node, definir o parâmetro Force deletion como Yes permite excluir todos os nós selecionados. Se definir este parâmetro como No, será possível excluir apenas os nós que você bloqueou.
-
Excluir nós usando grupos de nós
Utilize grupos de nós para criar, referenciar, dividir e excluir grupos de nós. Para obter mais informações, consulte Usar grupos de nós.
Copiar rapidamente um workflow
Use grupos de nós para agrupar rapidamente um workflow em um grupo de nós e, em seguida, referenciar esse grupo em um novo workflow. Para obter mais informações, consulte Usar grupos de nós.
Migrar workflows
Para exportar rapidamente vários workflows de um workspace do DataWorks e importá-los para outro, use o Migration Assistant do DataWorks. Para obter mais informações, consulte Migration Assistant.