DataWorks:Data push

Preparation (optional)

Para ajudá-lo a realizar um data push rapidamente, este tópico usa um exemplo que demonstra como enviar resultados de consulta de uma tabela MaxCompute. Neste exemplo, o recurso de data push é utilizado para enviar dados de uma tabela chamada sales para um canal específico. Os dados incluem o valor de vendas diário de cada departamento e a variação em relação ao dia anterior. Para acompanhar as etapas deste exemplo, crie previamente a tabela sales em seu ambiente. O código a seguir contém as instruções para criar a tabela sales e inserir dados nela. Para mais informações sobre como criar uma tabela, consulte Create and use MaxCompute tables.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Select a data source

Selecione o Data Source Type, o Data Source Name e o Data Source Environment para determinar o ambiente da tabela de dados do data push. Escolha o ambiente de fonte de dados com base em se o data push é para uma tabela de desenvolvimento ou de produção. Ao realizar o exercício prático, confirme o ambiente onde a tabela sales criada na fase de preparação está localizada.

Por exemplo, defina Data source type como odps, Data source name como MaxCompute_Source e Data source environment como production environment. Para criar uma nova fonte de dados, clique no link abaixo do campo Data source name.

Write query SQL

• Defina o escopo dos dados e recupere-os.

  Na seção Edit Query SQL, use consultas SQL de tabela única ou múltiplas tabelas para definir os dados a serem enviados. Por exemplo:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Após escrever o SQL, os campos de resultado são automaticamente preenchidos na seção Parameters > Output Parameters. Se a análise dos parâmetros de saída falhar ou estiver incorreta, desative a opção Automatically Parse Parameters e adicione os parâmetros manualmente em Add Parameter.

  Configure variáveis personalizadas no SQL usando o formato ${variable_name}. Essa variável é um Assignment Parameters(Assignment Parameters aceitam expressões de tempo e constantes) para implementar entrada dinâmica de parâmetros no seu código. Para mais informações, consulte Configure push content.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Consulta paginada.

  Para tabelas grandes, o data push suporta consultas paginadas usando um Next Token. Clique em Code Help > Code Template > Next Token na barra de ferramentas do editor de código para obter as instruções de uso.

Configure push content

Na seção Content to Push, edite o conteúdo da mensagem nos formatos Markdown e Table. Esse conteúdo será enviado ao Webhook.

Após personalizar o título da mensagem no campo Title, clique em Add na área do corpo. Em seguida, escolha Markdown, Table ou Email Body para editar o conteúdo. O exemplo a seguir mostra uma configuração de amostra. Clique em Preview na barra de ferramentas para visualizar o formato da mensagem.

Criar um destino Webhook

Ao clicar em Create Destination, configure os seguintes parâmetros:

• Type: Selecione o tipo de canal. As opções disponíveis são DingTalk, Lark, WeCom e Teams.

• Destination Name: Insira um nome personalizado para o novo destino de push.

• Webhook: A URL do Webhook do canal de push selecionado.

A lista suspensa Type também suporta o canal Email. Após concluir a configuração, clique em OK.

Criar um destino de e-mail

Antes de configurar Push Settings, clique no ícone no canto inferior esquerdo da página Service Development para abrir o painel de configurações. Acesse a aba Destination Management e clique em Create Destination para criar um destino.

Ao clicar em Create Destination, configure os seguintes parâmetros obrigatórios:

• Type: Selecione Email.

• Destination Name: Insira um nome personalizado para o novo destino de push.

• SMTP Host: O endereço do servidor de e-mail.

• SMTP Port: O número da porta do servidor de e-mail. O valor padrão é 465 e pode ser alterado manualmente.

• Sender Address: O endereço de e-mail do remetente.

• SMTP Account: A conta de e-mail completa.

• SMTP Password: A senha da conta de e-mail.

• Receiver Address: O endereço de e-mail de destino.

Push settings

Clique em Push Settings no lado direito para configurar o ciclo de agendamento, os recursos de agendamento e os destinos de push da tarefa. Os itens de configuração são os seguintes:

• Configuração do ciclo de agendamento e horário de execução: Configure o ciclo de agendamento e o horário específico para que o service de push de dados envie o conteúdo editado.

  Ciclo de agendamento	Horário especificado	Horário de agendamento	Exemplo
  Month	Especifique os dias do mês em que a tarefa de push deve ser executada.	O horário de agendamento da tarefa de push de dados no dia configurado.	Scheduling Frequency: Month Specified Time: 1st of every month Data Timestamp: 08:00 Horário real de execução: A tarefa de push é executada às 08:00 no dia 1º de cada mês.
  Week	Especifique os dias da semana em que a tarefa de push deve ser executada.	O horário de agendamento da tarefa de push de dados no dia configurado.	Scheduling Frequency: Week Specified Time: Monday Data Timestamp: 09:00 Horário real de execução: A tarefa de push é executada às 09:00 toda segunda-feira.
  Day	Nota O ciclo diário agenda a tarefa para execução todos os dias.	O horário de agendamento da tarefa de push de dados no dia configurado.	Scheduling Frequency: Day Data Timestamp: 08:00 Horário real de execução: A tarefa de push é executada às 08:00 todos os dias.
  Hour	Nota Há dois modos de push disponíveis: Push em intervalo de horas especificado. Push em horas e minutos especificados.		Push em intervalo de horas: Start Time: 00:00 Time Interval: 1 hour End Time: 23:59 Horário real de execução: Envia uma vez por hora, das 00:00 às 23:59, diariamente. Push em horas e minutos especificados: Hour: 0, 1 Specified Minute: 10 Horário real de execução: Envia às 00:10 e às 01:10 diariamente.

• Timeout Definition: Define um limite de tempo para a execução da tarefa. A tarefa é encerrada caso esse limite seja excedido.

  • Default Value: Com a configuração Default Value, o timeout da tarefa é ajustado dinamicamente com base na carga do sistema, com valor entre 3 e 7 dias. Tarefas que atingem o timeout são encerradas automaticamente.

  • Exemplo: Se você definir um timeout Custom de 1 hora, a tarefa de push será encerrada caso sua execução ultrapasse 1 hora após o horário de início agendado.

• Valid From: Configure o intervalo de tempo durante o qual a tarefa de push de dados estará ativa.

  • Permanent: A tarefa de push de dados permanece ativa indefinidamente, sem restrição de período de vigência.

  • Example: Se você configurar um intervalo Specified Time de 2024-01-01 a 2024-12-31, a tarefa de push será executada conforme o ciclo de agendamento configurado dentro desse período.

• Resource Group for Scheduling: Configure um Exclusive resource group for scheduling ou um serverless resource group (grupo de recursos de uso geral) para fornecer recursos de agendamento à tarefa de push de dados. Para mais informações sobre grupos de recursos, consulte Resource Group Management.

• Push Every Time: Controla se uma notificação de push deve ser enviada quando a consulta SQL não retornar dados.

  • Ativado (padrão): O push é executado em cada execução agendada, independentemente de a consulta retornar dados.

  • Desativado: Se todas as variáveis usadas no conteúdo de push, exceto os parâmetros de entrada, estiverem vazias, a mensagem não é enviada. Use as cláusulas WHERE ou HAVING no SQL para filtrar os dados. Caso as condições de filtro não sejam atendidas e o resultado da consulta seja vazio, a tarefa de push é ignorada automaticamente e nenhuma mensagem é enviada.

• Destination: Envie o conteúdo configurado para um destino selecionado. Apenas destinos de push já existentes podem ser escolhidos, configurados em Data Push Task Management.

  Nota

  Ao enviar para um Webhook do DingTalk, adicione uma palavra-chave na seção Security Settings > Custom Keywords das configurações do bot. Certifique-se de que o conteúdo do push inclua essa palavra-chave para que o envio seja bem-sucedido.

Gerenciar versões da tarefa

1. Após confirmar que os testes no ambiente de desenvolvimento foram bem-sucedidos, clique em Submit. Se a tarefa de push não for enviada, ela permanecerá em estado de rascunho e nenhuma nova versão será gerada.

2. Após enviar o service, uma nova versão é gerada. No painel Version à direita, localize a versão enviada com status Can Be Published e clique em Publish. Ao publicar a tarefa, o agendamento definido nas Push Settings é ativado.

   No painel Version, gerencie a tarefa de push de dados conforme descrito a seguir.

   Status	Ações	Description
   Publish	Data Push Task Management	Acessa a página Data Push Task Management, onde é possível visualizar informações detalhadas sobre as tarefas publicadas. Para mais informações, consulte Manage data push tasks.
   Can Be Published	Publish	Publica a versão correspondente da tarefa.
   	Abandoned	Descarta a versão correspondente da tarefa e altera seu status para Abandoned.
   Off-Line, Abandoned	Version Details	Visualize as informações de configuração e o conteúdo de push correspondente dessa versão da tarefa de push de dados.
   	Roll Back	Restaura esta versão, tornando-a a configuração atual.

   Nota

   As operações Version Details e Roll Back estão disponíveis e funcionam de forma idêntica para tarefas em todos os status.

Gerenciar tarefas de push

Após a publicação bem-sucedida de uma tarefa de push de dados, clique em Data Push Task Management na coluna Operation do painel Version, ou acesse a página de lista Data Push Tasks pelo caminho Service Management > Data Push Task Management.

Esta página lista todas as Data Push Tasks publicadas e exibe detalhes como ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer e Published Time. Na coluna Operation, execute as seguintes operações nas tarefas de push de dados publicadas:

Testar uma tarefa publicada

Acesse a página Data Push Test por um dos seguintes caminhos:

• Método 1: Escolha Service Management > Test Data Push Task.

• Método 2: Escolha Service Management > Data Push Task Management > Data Push Tasks.

Testar uma tarefa publicada confirma que ela é executada corretamente e que o destino recebe os dados conforme esperado.

Na página Data Push Test, selecione ou pesquise a tarefa de push de dados desejada na lista suspensa, marque a caixa de seleção Push to Destination conforme necessário e clique em Start Test.