:Criar um workflow

Pré-requisitos

Antes de começar, crie a tabela de dados de negócios bank_data e a tabela de destino result_table no workspace. A tabela de dados de negócios deve conter dados. Para mais informações, consulte Criar uma tabela e carregar dados.

Contexto

No DataWorks, é possível configurar visualmente as dependências entre nós em um workflow. Os workflows permitem processar dados e definir dependências. É possível criar vários workflows em um único workspace. Para mais informações, consulte Criar um workflow.

Criar um workflow

1. Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Na página Data Studio, passe o ponteiro do mouse sobre o ícone e clique em Create Workflow.

3. Na caixa de diálogo Create Workflow, insira o Business Name e a Description.

4. Clique em Create.

Criar nós e configurar dependências

Recomendamos criar um nó de carga zero para servir como nó raiz do workflow. Esse nó pode controlar a execução de todo o fluxo. Para projetar o workflow, siga estas etapas:

1. Clique duas vezes no nome do workflow para abrir o painel de desenvolvimento. Clique em General>Zero Load Node.

   Também é possível arrastar o Zero Load Node para o painel de desenvolvimento à direita.

2. Na caixa de diálogo Create Node, selecione um Path, insira start no campo Node Name e clique em OK.

3. Repita as etapas anteriores para criar um nó ODPS SQL chamado insert_data.

4. Arraste uma linha do nó start até o nó insert_data para definir start como o nó pai de insert_data.

Configurar a dependência upstream do nó de carga zero

Um nó de carga zero frequentemente controla todo o workflow, atuando como o nó pai principal para todos os outros nós.

Normalmente, defina o Add Root Node como os Parent Nodes do nó de carga zero:

1. Clique duas vezes no nome do nó de carga zero para abrir seu editor.

2. No painel à direita, clique em Scheduling.

3. Na seção Scheduling Dependencies, clique em Add Root Node para definir o nó raiz do workspace como o nó pai do nó de carga zero.

4. Salve e envie o nó.

   Importante

   Configure as propriedades Rerun attribute e Parent Nodes antes de enviar o nó.

   1. Na barra de ferramentas, clique no ícone para salvar o nó.

   2. Na barra de ferramentas, clique no ícone .

   3. Na caixa de diálogo Submit, insira uma Change Description.

   4. Clique em OK.

Editar e executar o nó ODPS SQL

Esta seção descreve como usar código SQL no nó ODPS SQL insert_data para consultar o número de pessoas solteiras com empréstimos habitacionais, agrupadas por nível de escolaridade, e salvar os resultados para análise ou apresentação posterior pelos nós downstream.

1. Abra o editor do nó ODPS SQL e insira o seguinte código.

   Para mais informações sobre a sintaxe, consulte Visão geral do SQL.

   INSERT OVERWRITE TABLE result_table  --Insert data into the result_table table.
   SELECT education
       , COUNT(marital) AS num
   FROM bank_data
   WHERE housing = 'yes'
       AND marital = 'single'
   GROUP BY education;

2. Clique com o botão direito em bank_data no código e selecione Delete Input.

   A tabela bank_data, criada em Criar uma tabela e carregar dados, não é gerada por um nó agendado. Se um nó ler dados dessa tabela, clique com o botão direito no nome da tabela no editor de código para remover a dependência analisada automaticamente. Como alternativa, adicione um comentário específico no início do código para impedir a criação da dependência.

   Nota

   As dependências de agendamento no DataWorks garantem que os nós downstream acessem de forma confiável os dados dos nós upstream atualizados regularmente. A plataforma não monitora tabelas que não são atualizadas por nós agendados dentro do DataWorks. Se um nó selecionar dados de uma tabela não gerada por uma tarefa agendada, exclua manualmente a dependência criada automaticamente pelo DataWorks.

3. Clique no ícone na barra de ferramentas para salvar o código.

4. Clique no ícone para executar o código.

   Após a conclusão da execução, visualize o log de execução e os resultados na parte inferior da página.

Enviar o workflow

1. Após executar e depurar o nó ODPS SQL insert_data, retorne à tela do workflow.

2. Clique no ícone na barra de ferramentas.

3. Na caixa de diálogo Submit, selecione os nós que deseja enviar, insira uma Change Description e marque Ignore I/O Inconsistency Alerts.

4. Clique em OK.

   Depois de enviar o workflow, verifique o status de envio de cada nó na lista de nós em Workflow. Um ícone à esquerda do nome de um nó indica que existem alterações não enviadas. Se esse ícone não estiver presente, o nó não possui alterações pendentes de envio.

Próximas etapas

Agora que você criou e enviou um workflow, prossiga para o próximo tutorial e aprenda a criar uma tarefa de sincronização para gravar dados de volta em diferentes tipos de fontes de dados. Para mais informações, consulte Criar uma tarefa de sincronização.