DataWorks:Nó de push de dados

Contexto

Um nó de push de dados utiliza Node Context Parameters para recuperar parâmetros de saída de nós de consulta SQL upstream, como nós de atribuição, Hologres SQL ou ClickHouse SQL. Em seguida, edite esses parâmetros no corpo do push como placeholders e envie o conteúdo ao destino.

• Após a conclusão da execução de um nó de consulta SQL upstream, ele gera um parâmetro de saída chamado outputs com os resultados da consulta.

• No nó de push de dados downstream, use Node Context Parameters para recuperar o parâmetro outputs do nó upstream e vinculá-lo como parâmetro de entrada do nó de push de dados.

• Na configuração do nó de push de dados, referencie o parâmetro de entrada como conteúdo do push, defina o destino e envie o conteúdo.

Nós de consulta SQL upstream compatíveis:

• Nó de atribuição: Nós de consulta MaxCompute SQL não são compatíveis diretamente. Se necessário, crie um nó de atribuição para consultar dados do MaxCompute.

• Outros nós SQL: Nó Hologres SQL, Nó ClickHouse SQL, Nó AnalyticDB for MySQL SQL, Nó AnalyticDB for PostgreSQL SQL, Nó StarRocks SQL, Nó PostgreSQL e Nó MySQL.

Pré-requisitos

• Você já criou um workspace.

• Você já criou um grupo de recursos serverless e o associou ao workspace do DataWorks de destino.

Limitações

• Os limites de tamanho de dados variam conforme o destino de push:

  Destino do push	Limites do push
  DingTalk	O tamanho dos dados de push não pode exceder 20 KB.
  Lark	O tamanho dos dados de push não pode exceder 20 KB, e as imagens devem ser menores que 10 MB.
  WeCom	Cada bot pode enviar no máximo 20 mensagens por minuto.
  Teams	O tamanho dos dados de push não pode exceder 28 KB.
  E-mail	Cada tarefa de push de dados aceita apenas um corpo de e-mail. Se já houver um corpo adicionado, não será possível incluir outro. Para mais restrições, consulte os limites SMTP do seu serviço de e-mail.

• Regiões compatíveis com o Data Push:

  China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapura, Japão (Tóquio), EUA (Vale do Silício) e EUA (Virgínia).

Acessar o Data Studio

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace e escolha Shortcuts > Data Studio na coluna Actions.

2. No painel de navegação à esquerda, clique em para acessar a página do Data Studio.

Criar um pipeline de push

Crie e configure um pipeline composto por um nó de consulta SQL e um nó de push de dados.

1. Crie um fluxo de trabalho e adicione um nó de consulta SQL e um nó de push de dados a esse fluxo.

2. Crie um nó de consulta SQL e adicione o código SQL referente aos dados que deseja consultar e enviar.

   Nota

   • O nó de push de dados não permite recuperar dados de consulta diretamente do ODPS SQL. É possível criar um nó de atribuição e consultar os dados a serem enviados nesse nó de atribuição.

   • Outros nós de consulta SQL podem ser criados normalmente.

3. Configure o nó de consulta SQL.

   Configure Compute Resource, Resource Group for Scheduling e Same-cycle Dependency no painel Scheduling Settings à direita do nó. Caso não exista nenhum nó upstream, selecione Add Root Node. A configuração do parâmetro de saída varia conforme descrito abaixo:

   Tipo de nó	Observações de configuração
   Nó de atribuição	Possui um parâmetro de saída padrão. Nenhuma configuração adicional é necessária.
   Outros nós de consulta SQL	Não possuem parâmetros de saída padrão. Acesse Node Context Parameters no painel Scheduling Settings à direita do nó, localize Node output parameters e clique em Add Assignment Parameter para transmitir os resultados da consulta atual ao nó de push de dados downstream por meio de parâmetros.

4. Você já criou um nó de push de dados e configurou o nó de consulta SQL como upstream.

   1. Clique em Scheduling Settings. Na seção Scheduling Dependency > Same-cycle Dependency, clique em Add e pesquise pelo nome do nó para adicionar o nó de consulta SQL criado como upstream do nó de push de dados.

   2. Na seção Scheduling Policy > Resource Group for Scheduling, selecione o grupo de recursos serverless criado.

   3. Na seção Node Context Parameters > Input Parameters, clique em Add parameters para adicionar o parâmetro de saída do nó de consulta SQL como fonte de valor e vinculá-lo como parâmetro de entrada do nó de push de dados.

Configurar destinos e conteúdo do push

Na página de edição do nó de push de dados, personalize o título e configure o destino e o conteúdo do corpo.

Depurar o push de dados

Após concluir a configuração, salve o nó de consulta SQL e o nó de push de dados. Em seguida, clique em na barra de ferramentas acima do fluxo de trabalho para depurar a tarefa de push de dados.

Próximas etapas

• Configurar definições de agendamento: Para executar os nós no diretório do projeto periodicamente, configure a Scheduling Policy no painel Scheduling Settings à direita do nó.

• Implantar um nó: Para implantar tarefas no ambiente de produção, clique em na página para iniciar o processo. Os nós no diretório do projeto só serão agendados periodicamente após a implantação no ambiente de produção.