DataWorks:Push de dados

Preparação (opcional)

Para ajudar você a realizar rapidamente um push de dados, este tópico usa um exemplo para explicar como enviar resultados de consulta de uma tabela do MaxCompute. Neste exemplo, você utiliza o recurso de push de dados para enviar informações de uma tabela chamada sales para um canal especificado. Os dados incluem o valor diário de vendas de cada departamento e a variação desse valor em relação ao dia anterior. Caso queira seguir os passos deste exemplo, crie primeiro a tabela sales em seu ambiente. O código a seguir fornece as instruções para criar a tabela sales e inserir dados nela. Para mais informações sobre como criar uma tabela, consulte Criar e usar tabelas do MaxCompute.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Selecionar uma fonte de dados

Selecione o Data Source Type, o Data Source Name e o Data Source Environment para determinar o ambiente da tabela de dados para o push. Escolha o ambiente da fonte de dados conforme o push seja destinado a uma tabela de desenvolvimento ou de produção. Se estiver realizando um exercício prático, confirme o ambiente onde a tabela sales criada durante a fase de preparação está localizada.

Por exemplo, defina Data source type como odps, Data source name como MaxCompute_Source e Data source environment como production environment. Para criar uma nova fonte de dados, clique no link abaixo do campo Data source name.

Escrever SQL de consulta

• Defina o escopo dos dados e recupere as informações.

  Na seção Edit Query SQL, utilize consultas SQL de tabela única ou múltiplas tabelas para definir os dados a serem enviados. Por exemplo:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Após escrever o SQL, os campos de resultado são preenchidos automaticamente na seção Parameters > Output Parameters. Se a análise dos parâmetros de saída falhar ou estiver incorreta, desative a opção Automatically Parse Parameters e adicione manualmente os parâmetros clicando em Add Parameter.

  Também é possível configurar variáveis personalizadas no SQL usando o formato ${variable_name}. Essa variável é um Assignment Parameters (os Assignment Parameters podem receber expressões de tempo e constantes) para implementar entrada dinâmica de parâmetros no seu código. Para mais informações, consulte Configurar conteúdo de push.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Consulta paginada.

  Para tabelas grandes, o push de dados suporta consultas paginadas usando um Next Token. Clique em Code Help > Code Template > Next Token na barra de ferramentas do editor de código para obter instruções de uso.

Configurar conteúdo de push

Na seção Content to Push, edite o conteúdo da mensagem usando os formatos Markdown e Table. Esse conteúdo será enviado para o Webhook.

Após personalizar o título da mensagem no campo Title, clique em Add na área do corpo. Em seguida, escolha Markdown, Table ou Email Body para editar o conteúdo. O exemplo a seguir mostra uma configuração de amostra. Clique em Preview na barra de ferramentas para visualizar o formato da mensagem.

Criar um destino Webhook

Ao clicar em Create Destination, configure os seguintes parâmetros:

• Type: Selecione um tipo de canal. As opções incluem DingTalk, Lark, WeCom e Teams.

• Destination Name: Insira um nome personalizado para o novo destino de push.

• Webhook: A URL do Webhook do canal de push selecionado.

A lista suspensa Type também suporta o canal Email. Após concluir a configuração, clique em OK.

Criar um destino de e-mail

Antes de configurar as Push Settings, clique no ícone no canto inferior esquerdo da página Service Development para abrir o painel de configurações. Alterne para a aba Destination Management e clique em Create Destination para criar um destino.

Ao clicar em Create Destination, configure os seguintes parâmetros:

• Type: Selecione Email.

• Destination Name: Insira um nome personalizado para o novo destino de push.

• SMTP Host: O endereço do servidor de e-mail.

• SMTP Port: O número da porta do servidor de e-mail. O valor padrão é 465, podendo ser alterado manualmente.

• Sender Address: O endereço de envio de e-mail.

• SMTP Account: A conta de e-mail completa.

• SMTP Password: A senha da conta de e-mail.

• Receiver Address: O endereço de e-mail de destino.

Configurações de push

Clique em Push Settings no lado direito para configurar o ciclo de agendamento, os recursos de agendamento e os destinos de push da tarefa. Os itens específicos de configuração são:

• Configuração de ciclo de agendamento e horário de execução: Defina o ciclo de agendamento e o horário específico para o serviço de push de dados enviar o conteúdo editado.

  Ciclo de agendamento	Tempo especificado	Horário de agendamento	Exemplo
  Month	Especifique os dias do mês em que a tarefa de push deve ser executada.	O horário de agendamento da tarefa de push de dados no dia do push.	Scheduling Frequency: Month Specified Time: 1º de cada mês Data Timestamp: 08:00 Horário real de execução: A tarefa de push é executada às 08:00 no dia 1º de cada mês.
  Week	Especifique os dias da semana em que a tarefa de push deve ser executada.	O horário de agendamento da tarefa de push de dados no dia do push.	Scheduling Frequency: Week Specified Time: Segunda-feira Data Timestamp: 09:00 Horário real de execução: A tarefa de push é executada às 09:00 toda segunda-feira.
  Day	Nota O ciclo diário agenda a tarefa para execução todos os dias.	O horário de agendamento da tarefa de push de dados no dia do push.	Scheduling Frequency: Day Data Timestamp: 08:00 Horário real de execução: A tarefa de push é executada às 08:00 todos os dias.
  Hour	Nota Escolha entre dois modos de push: Push em um intervalo horário especificado. Push em horas e minutos especificados.		Push em intervalo horário: Start Time: 00:00 Time Interval: 1 hora End Time: 23:59 Horário real de execução: Envia uma vez a cada hora, das 00:00 às 23:59 diariamente. Push em horas e minutos especificados: Hour: 0, 1 Specified Minute: 10 Horário real de execução: Envia às 00:10 e 01:10 diariamente.

• Timeout Definition: Define um limite de tempo para a execução da tarefa. A tarefa é encerrada se exceder esse limite.

  • Default Value: Com a configuração Default Value, o tempo limite da tarefa é ajustado dinamicamente com base na carga do sistema, variando de 3 a 7 dias. Tarefas que atingem o tempo limite são encerradas.

  • Exemplo: Se você definir um tempo limite Custom de 1 hora, a tarefa de push será encerrada caso execute por mais de 1 hora após o início agendado.

• Valid From: Configure o intervalo de tempo durante o qual a tarefa de push de dados permanece ativa.

  • Permanent: A tarefa de push de dados permanece efetiva permanentemente, sem limitação por um intervalo de datas de vigência.

  • Example: Se configurar um intervalo de Specified Time de 01/01/2024 a 31/12/2024, a tarefa de push será executada conforme o ciclo de agendamento configurado dentro desse período.

• Resource Group for Scheduling: Configure um Exclusive resource group for scheduling ou um serverless resource group (grupo de recursos de uso geral) para fornecer recursos de agendamento para a tarefa de push de dados. Para mais informações sobre grupos de recursos, consulte Gerenciamento de Grupos de Recursos.

• Push Every Time: Controla se uma notificação de push deve ser enviada quando a consulta SQL não retornar dados.

  • Ativado (padrão): O push é executado em cada execução agendada, independentemente de a consulta retornar dados ou não.

  • Desativado: Se todas as variáveis usadas no conteúdo do push, exceto os parâmetros de entrada, estiverem vazias, a mensagem não será enviada. Utilize cláusulas WHERE ou HAVING no SQL para filtrar dados. Se as condições de filtro não forem atendidas e o resultado da consulta estiver vazio, a tarefa de push será ignorada automaticamente e nenhuma mensagem será enviada.

• Destination: Envie o conteúdo configurado para um destino selecionado. Escolha apenas entre destinos de push existentes, configurados em Data Push Task Management.

  Nota

  Ao enviar para um Webhook do DingTalk, adicione uma palavra-chave na seção Security Settings > Custom Keywords da configuração do bot. Certifique-se de que o conteúdo do push inclua essa palavra-chave para que o envio seja bem-sucedido.

Gerenciar versões de tarefas

1. Após confirmar que os testes durante o desenvolvimento foram bem-sucedidos, clique em Submit. Se a tarefa de push não for submetida, ela permanecerá em estado de rascunho e nenhuma nova versão será gerada.

2. Depois de submeter o serviço, uma nova versão é gerada. No painel Version à direita, localize a versão submetida que está Can Be Published e clique em Publish. Publicar a tarefa ativa seu agendamento conforme definido nas Push Settings.

   No painel Version, gerencie a tarefa de push de dados da seguinte forma.

   Status	Ações	Description
   Publish	Data Push Task Management	Acessa a página Data Push Task Management, onde é possível visualizar informações detalhadas sobre tarefas publicadas. Para mais informações, consulte Gerenciar tarefas de push de dados.
   Can Be Published	Publish	Publica a versão correspondente da tarefa.
   	Abandoned	Descarta a versão correspondente da tarefa e altera seu status para Abandoned.
   Off-Line, Abandoned	Version Details	Visualize as informações de configuração e o conteúdo de push correspondente para aquela versão da tarefa de push de dados.
   	Roll Back	Restaura esta versão, tornando-a a configuração atual.

   Nota

   As operações Version Details e Roll Back estão disponíveis e funcionam de maneira idêntica para tarefas em todos os status.

Gerenciar tarefas de push

Após a publicação bem-sucedida de uma tarefa de push de dados, clique em Data Push Task Management na coluna Operation do painel Version, ou acesse a página de lista Data Push Tasks pelo caminho Service Management > Data Push Task Management.

Esta página lista todas as Data Push Tasks publicadas e exibe detalhes como ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer e Published Time. Na coluna Operation, realize as seguintes operações nas tarefas de push de dados publicadas:

Testar uma tarefa publicada

Acesse a página Version Details de uma das seguintes maneiras:

• Método 1: Escolha Data Push Test > Service Management.

• Método 2: Escolha Test Data Push Task > Service Management > Data Push Task Management.

Testar uma tarefa publicada confirma que ela executa corretamente e que o destino recebe os dados conforme esperado.

Na página Data Push Test, selecione ou pesquise a tarefa de push de dados alvo na lista suspensa, marque a caixa de seleção Push to Destination conforme necessário e clique em Start Test.