DataWorks:Nó de envio de dados

Contexto

O nó de envio de dados usa os Node Context Parameters para recuperar parâmetros de saída de nós de consulta SQL upstream, como nós de atribuição, nós Hologres SQL ou nós ClickHouse SQL. Referencie esses parâmetros como placeholders no corpo do envio para transmitir o conteúdo ao destino.

• Após a conclusão da execução de um nó de consulta SQL upstream, ele gera um parâmetro de saída chamado outputs que contém os resultados da consulta.

• No nó de envio de dados downstream, use os Node Context Parameters para recuperar o parâmetro outputs do nó upstream e vinculá-lo como parâmetro de entrada.

• Na configuração do nó de envio de dados, referencie o parâmetro de entrada como conteúdo do envio, defina o destino e transmita o conteúdo.

Nós de consulta SQL upstream compatíveis:

• Nó de atribuição: Nós de consulta MaxCompute SQL não são compatíveis diretamente. Se necessário, crie um nó de atribuição para consultar dados do MaxCompute.

• Outros nós SQL: Nó Hologres SQL, Nó ClickHouse SQL, Nó AnalyticDB for MySQL SQL, Nó AnalyticDB for PostgreSQL SQL, Nó StarRocks SQL, Nó PostgreSQL e Nó MySQL.

Pré-requisitos

• Você já criou um workspace.

• Você já criou um grupo de recursos serverless e o associou ao workspace do DataWorks desejado.

Limitações

• Os limites de tamanho de dados para diferentes destinos de envio são os seguintes:

  Destino do envio	Limites de envio
  DingTalk	O tamanho dos dados de envio não pode exceder 20 KB.
  Lark	O tamanho dos dados de envio não pode exceder 20 KB, e as imagens devem ser menores que 10 MB.
  WeCom	Cada bot pode enviar no máximo 20 mensagens por minuto.
  Teams	O tamanho dos dados de envio não pode exceder 28 KB.
  E-mail	Cada tarefa de envio de dados aceita apenas um corpo de e-mail. Se já houver um corpo de e-mail adicionado, não será possível adicionar outro. Para mais limites, consulte os limites SMTP do seu service de e-mail.

• Regiões compatíveis com o Envio de Dados:

  China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Japan (Tokyo), US (Silicon Valley) e US (Virginia).

Acessar o Data Studio

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

2. No painel de navegação à esquerda, clique em o ícone para acessar a página do Data Studio.

Criar um pipeline de envio

Crie e configure um pipeline composto por um nó de consulta SQL e um nó de envio de dados.

1. Crie um fluxo de trabalho e, em seguida, crie um nó de consulta SQL e um nó de envio de dados nesse fluxo.

2. Crie um nó de consulta SQL e adicione o código SQL referente aos dados que você deseja consultar e enviar.

   Nota

   • O nó de envio de dados não permite recuperar dados de consulta diretamente do ODPS SQL. Você pode criar um nó de atribuição e consultar os dados a serem enviados no nó de atribuição.

   • Outros nós de consulta SQL podem ser criados normalmente.

3. Configure o nó de consulta SQL.

   Configure o Compute Resource, o Resource Group for Scheduling e a Same-cycle Dependency no painel Scheduling Settings no lado direito do nó. Caso não exista nenhum nó upstream, selecione Add Root Node. A configuração do parâmetro de saída varia conforme descrito abaixo:

   Tipo de nó	Observações de configuração
   Nó de atribuição	Um nó de atribuição possui um parâmetro de saída padrão. Nenhuma configuração adicional é necessária.
   Outros nós de consulta SQL	Outros nós de consulta SQL não possuem parâmetros de saída padrão. Acesse Node Context Parameters no painel Scheduling Settings no lado direito do nó, localize Node output parameters e clique em Add Assignment Parameter para transmitir os resultados da consulta ao nó de envio de dados downstream.

4. Você já criou um nó de envio de dados e configurou o nó de consulta SQL como nó upstream.

   1. Clique em Scheduling Settings. Na seção Scheduling Dependency > Same-cycle Dependency, clique em Add e pesquise pelo nome do nó para adicionar o nó de consulta SQL criado como nó upstream do nó de envio de dados.

   2. Na seção Scheduling Policy > Resource Group for Scheduling, selecione o grupo de recursos serverless criado.

   3. Na seção Node Context Parameters > Input Parameters, clique em Add parameters para adicionar o parâmetro de saída do nó de consulta SQL como source de valor e vinculá-lo como parâmetro de entrada do nó de envio de dados.

Configurar destinos e conteúdo do envio

Na página de edição do nó de envio de dados, personalize o título do envio e configure o destino e o conteúdo do corpo.

Depurar o envio de dados

Após concluir a configuração, salve o nó de consulta SQL e o nó de envio de dados. Em seguida, clique em o ícone na barra de ferramentas acima do fluxo de trabalho para depurar a tarefa.

Próximas etapas

• Configurar definições de agendamento: Para execute nós periodicamente, configure a Scheduling Policy no painel Scheduling Settings no lado direito do nó.

• Implantar um nó: Para implantar tarefas no ambiente de produção, clique em o ícone para iniciar a implantação. Os nós são agendados periodicamente somente após a implantação em produção.