OpenEvent real-time message subscription for DataWorks - DataWorks: Central de Documentação do Alibaba Cloud

O OpenEvent do DataWorks envia mensagens de alteração de status para o EventBridge, permitindo que você assine e responda em tempo real. Por exemplo, assine alterações de tabelas para monitorar tabelas principais ou assine alterações de tarefas e crie painéis de monitoramento personalizados.

Visão geral

O DataWorks envia mensagens de alteração de status de seus processos principais para o OpenEvent. Use o módulo OpenEvent e gerencie o envio de mensagens do seu workspace e utilize o EventBridge para filtrar e consumir as mensagens de eventos.

Vantagens:

Baixo custo de O&M: Ative a assinatura de mensagens na DataWorks Open Platform para receber mensagens de eventos.
Desenvolvimento mais rápido: Configure as assinaturas no console do DataWorks sem configuração manual de envio de mensagens. Prepare o SDK e assine.
Respostas personalizáveis: Assine tipos de eventos específicos para detectar alterações nos negócios e acionar respostas personalizadas.

Notas de uso

Edição: Apenas DataWorks Enterprise Edition.
Regiões: Suportado na China (Beijing), China (Hangzhou), China (Shenzhen), China (Shanghai), China (Zhangjiakou), China (Chengdu), US (Silicon Valley), US (Virginia), Germany (Frankfurt), Japan (Tokyo), China (Hong Kong) e Singapore.
Controle de acesso: Apenas usuários com a função Open Platform Administrator, Tenant Administrator, contas da Alibaba Cloud ou usuários do RAM com a permissão Aliyundataworksfullaccess têm permissões de leitura e gravação no console do desenvolvedor. Open Platform administrator. Grant the AliyunDataWorksFullAccess permission to a RAM user.
Dependência: O OpenEvent usa o EventBridge para assinatura e consumo de mensagens. Ative o EventBridge antes de começar.

Conceitos relacionados

O DataWorks classifica as mensagens de eventos em eventos regulares e eventos de ponto de extensão dependendo da criação de pontos de verificação de processo.

Regular Events: Desenvolva um programa local para receber essas mensagens e crie respostas personalizadas.
Extension Point Events: Esses eventos suportam todos os recursos dos eventos regulares. Registre também um programa local como uma extensão do DataWorks para implementar lógica personalizada e controles de comportamento, como interceptar ou bloquear operações do usuário.

Os eventos também são classificados por escopo em eventos no nível do workspace e eventos no nível do tenant.

Eventos no nível do workspace: Gerados por módulos no nível do workspace, como Data Studio (execução de nós) e Operation Center (alterações de status de instâncias agendadas).
Eventos no nível do tenant: Gerados por módulos no nível do tenant, como a exclusão de workspace pelo console. As tabelas de eventos a seguir listam o tipo, a categoria e o formato da mensagem para cada módulo.

Tipos de eventos suportados

As tabelas a seguir listam os eventos de ponto de extensão e eventos regulares nos níveis de workspace e tenant.

Eventos no nível do tenant

Console

Formatos de mensagem do console: Console event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Excluir um workspace	Evento de pré-exclusão de workspace	Não suportado	Suportado	O sistema aciona este evento antes que um usuário exclua um workspace. O Pre-delete Workspace Event aciona a extensão correspondente e crie um ponto de verificação de processo.
Excluir um workspace	Pós-exclusão de workspace	Suportado	Não suportado

Upload e download de dados

Formatos de mensagem: Data Upload & Download event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Download e upload de dados	Evento de pré-download de dados - Geração de arquivo	Não suportado	Suportado	Um usuário baixa dados do centro de download. Antes do download, o Pre-data Download Event captura informações sobre a operação.
	Evento de pré-download de dados - Download de arquivo	Não suportado	Suportado
	Evento de pré-upload de dados	Não suportado	Suportado

Eventos no nível do workspace

Console

Para formatos de mensagem do Alibaba Cloud Console, consulte: Console event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Adicionar um membro a um workspace	Adicionar um membro a um workspace	Suportado	Não suportado	O sistema aciona este evento quando um usuário adiciona um membro a um workspace. A adição de N membros gera N eventos independentes.

Data Studio

Formatos de mensagem: Data Studio event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Alterações de nó	Adicionar um nó	Suportado	Não suportado	Crie um nó e implantá-lo em produção
Alterações de nó	Atualize um nó	Suportado	Não suportado	Modifique um nó no ambiente de desenvolvimento Implantar a modificação em produção
Alterações de arquivo Nó Recurso Função	Evento de pré-exclusão de arquivo	Não suportado	Suportado	Excluir um arquivo no ambiente de desenvolvimento. O sistema move o arquivo excluído para a lixeira.
	Evento de pré-envio de arquivo	Não suportado	Suportado	Envie um nó, recurso ou função no Data Studio.
	Evento de pré-implantação de arquivo	Não suportado	Suportado	Implantar um nó, recurso ou função enviado no Data Studio.
	Evento de pré-execução de código	Não suportado	Suportado	Execute o código do nó no Data Studio.
Alterações de tabela	Evento de pré-envio de tabela para desenvolvimento	Não suportado	Suportado	Evento de ponto de extensão de envio de tabela: por exemplo, envie uma tabela no gerenciamento de tabelas.
Alterações de tabela	Evento de pré-envio de tabela para produção	Não suportado	Suportado	Evento de ponto de extensão de implantação de tabela: por exemplo, implantar uma tabela no gerenciamento de tabelas. Nota Apenas workspaces no modo padrão suportam a implantação de tabelas no gerenciamento de tabelas. Portanto, o evento de ponto de extensão de implantação de tabela existe apenas no modo padrão.

Data Integration

Formatos de mensagem: Data Integration event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Eventos de alteração de nó	Iniciar uma tarefa em tempo real	Não suportado	Suportado	Iniciar uma tarefa em tempo real no Data Integration.
Eventos de alteração de nó	Iniciar tarefas em tempo real em lote	Não suportado	Suportado	Iniciar tarefas em tempo real em lote no Data Integration.

Operation Center

Formatos de mensagem: Operation Center event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Alterações de nó	Excluir um nó	Suportado	Não suportado	Implantar a operação de exclusão em produção para desimplantar o nó de produção Excluir um nó da lixeira
	Evento de pré-desimplantação de nó	Não suportado	Suportado	Desimplantar diretamente um nó das tarefas agendadas no ambiente de produção. Nota Esta operação também exclui o nó no Data Studio e o move para a lixeira.
	Evento de pré-congelamento de nó	Não suportado	Suportado	Congelar uma tarefa na página de tarefas agendadas.
	Evento de pré-descongelamento de nó	Não suportado	Suportado	Descongelar uma tarefa na página de tarefas agendadas.
Backfill de dados de nó	Evento de pré-backfill de dados	Não suportado	Suportado	Fazer backfill de dados para o nó atual de uma tarefa agendada. Fazer backfill de dados para o nó atual e nós downstream de uma tarefa agendada. Fazer backfill de dados no modo de nó massivo. Fazer backfill de dados no modo avançado.
Alterações de status de tarefa	Alteração de status de tarefa agendada	Suportado	Não suportado	Os seguintes cenários acionam um evento de alteração de status de tarefa agendada: O sistema envia uma tarefa agendada para o Data Quality para validação de dados. Uma tarefa agendada valida condições de ramificação. O agendamento, a execução manual ou um evento aciona uma tarefa. O status da tarefa muda de Pending Resource para Running. Uma tarefa agendada termina a execução (com sucesso ou falha). O status da tarefa muda de Running para Succeeded. Após a falha de uma tarefa agendada, escolha execute-a novamente. O status da tarefa muda de Failed para Running. Defina uma tarefa agendada para execução em um horário específico. O status da tarefa muda para aguardando o horário agendado (DueTime ou cycleTime).
Alterações de instância	Congelar uma instância	Suportado	Não suportado	O sistema aciona os seguintes eventos após a execução destas operações em uma instância na lista de scheduled instance no Operation Center. Congelar uma instância. Descongelar uma instância. Encerrar uma instância. Execute uma instância novamente. Marcar uma instância como bem-sucedida. Remover uma dependência upstream especificada de uma instância.
	Descongelar uma instância	Suportado	Não suportado
	Encerrar uma instância	Suportado	Não suportado
	Execute uma instância novamente Execute novamente Execute downstream novamente	Suportado	Não suportado
	Marcar uma instância como bem-sucedida	Suportado	Não suportado
	Remover uma dependência upstream especificada de uma instância	Suportado	Não suportado
	Evento de pré-congelamento de instância	Não suportado	Suportado	O sistema aciona o pré-evento correspondente quando você executa uma operação em uma instância na lista de scheduled instance no Operation Center. Congelar uma instância. Descongelar uma instância. Execute uma instância novamente. Marcar uma instância como bem-sucedida. Encerrar uma instância.
	Evento de pré-descongelamento de instância	Não suportado	Suportado
	Evento de pré-reexecução de instância	Não suportado	Suportado
	Evento de pré-marcação de instância como bem-sucedida	Não suportado	Suportado
	Evento de pré-encerramento de instância	Não suportado	Suportado
	Excluir instâncias expiradas	Suportado	Não suportado
Alterações de status de fluxo de trabalho	Alteração de status de fluxo de trabalho Instâncias de backfill de dados Fluxos de trabalho manuais	Suportado	Não suportado	Monitoramento de status de fluxo de trabalho gerado ao realizar uma operação de backfill de dados. Monitoramento de status de fluxo de trabalho gerado ao executar um fluxo de trabalho manual.
Alertas de monitoramento	Alerta de monitoramento	Suportado	Não suportado	Exemplo de alerta de linha de base: uma tarefa em uma linha de base tem um tempo estimado de conclusão muito tardio, o que aciona um alerta de linha de base. Exemplo de alerta de evento: uma tarefa em uma linha de base falha, o que aciona um alerta de evento. Exemplo de alerta de regra: após a criação de uma regra de monitoramento para nós órfãos, um nó órfão aparece em um fluxo de trabalho, o que aciona este alerta de regra.

Security Center

Formatos de mensagem: Security Center event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Criação/aprovação de solicitação de permissão	Evento de pré-criação de solicitação de permissão	Não suportado	Suportado	Por exemplo, no Security Center, acesse a página Data Access Control > Permission Request e crie solicitações de permissão para Functions, Tables e Resources.
Criação/aprovação de solicitação de permissão	Concluir uma solicitação	Suportado	Não suportado	Como exemplo, no Security Center, acesse a página Data Access Control > Permission Approval para aprovar permissões para tabelas, recursos e funções em todos os projetos.
Alterações de permissão de tabela	Solicitação de permissão de tabela	Não suportado	Suportado	Por exemplo, um usuário solicita permissões de leitura, gravação ou modificação para uma tabela específica com base em suas necessidades.

Data Quality

Formatos de mensagem: Data Quality event message formats.

Tipo de evento	Evento	Evento regular	Evento de ponto de extensão	Exemplo (operações que geram mensagens de evento)
Validação de qualidade de dados	Feedback do resultado da validação	Suportado	Não suportado	Feedback sobre os resultados da validação. Por exemplo, no Data Quality, ative uma regra que exija que a contagem de linhas de uma tabela seja maior que 0. Um usuário envia feedback sobre um resultado de validação e o sistema envia o feedback (ID da regra, conteúdo e outras informações) para o assinante.
Validação de qualidade de dados	Validação concluída	Suportado	Não suportado	Após a conclusão da validação da regra, o sistema envia o resultado (status de aprovação/falha, amostras e outras informações). Por exemplo, no Data Quality, ative uma regra que exija que a contagem de linhas de uma tabela seja maior que 0. Quando a validação é concluída, o sistema envia o resultado para o assinante.
Eventos de pré-regra de qualidade de dados	Evento de pré-criação em lote de regras de qualidade de dados	Não suportado	Suportado	Por exemplo, no Data Quality, acesse a página Rule Configuration > Configure by Table e abra a página de detalhes de uma tabela específica. As seguintes operações na aba Rule Management acionam os pré-eventos correspondentes. Crie várias regras de monitoramento de qualidade de dados. Modifique várias regras de monitoramento de qualidade de dados. Excluir várias regras de monitoramento de qualidade de dados. Modifique uma regra específica de monitoramento de qualidade de dados.
	Evento de pré-atualização em lote de regras de qualidade de dados	Não suportado	Suportado
	Evento de pré-exclusão em lote de regras de qualidade de dados	Não suportado	Suportado
	Evento de pré-atualização de regra de qualidade de dados	Não suportado	Suportado
Eventos de pré-monitoramento de qualidade de dados	Evento de pré-criação de monitoramento de qualidade de dados	Não suportado	Suportado	Como exemplo, no Data Quality, acesse a página Rule Configuration > Configure by Table e abra a página de detalhes de uma tabela específica. As seguintes operações na aba Quality Monitoring acionam os pré-eventos correspondentes. Crie uma configuração de monitoramento de qualidade de dados. Modifique uma configuração de monitoramento de qualidade de dados. Clonar uma configuração de monitoramento de qualidade de dados. Excluir configurações de monitoramento de qualidade de dados em lote.
	Evento de pré-atualização de monitoramento de qualidade de dados	Não suportado	Suportado
	Evento de pré-clonagem de monitoramento de qualidade de dados	Não suportado	Suportado
	Evento de pré-exclusão em lote de monitoramento de qualidade de dados	Não suportado	Suportado
Eventos de pré-assinatura de alerta de monitoramento de qualidade de dados	Evento de pré-criação de assinatura de alerta de monitoramento de qualidade de dados	Não suportado	Suportado	Para ilustrar, no Data Quality, acesse a página Rule Configuration > Configure by Table e abra a página de detalhes de uma tabela específica. Na aba Quality Monitoring, assine alertas para uma configuração específica de monitoramento de qualidade.
	Evento de pré-atualização de assinatura de alerta de monitoramento de qualidade de dados	Não suportado	Suportado	Por exemplo, acesse a página Rule Configuration > Configure by Table no Data Quality e abra a página de detalhes de uma tabela específica. Na aba Quality Monitoring, modifique as informações de assinatura de alerta de uma configuração específica de monitoramento de qualidade.
	Evento de pré-exclusão de assinatura de alerta de monitoramento de qualidade de dados	Não suportado	Suportado	Como outro exemplo, no Data Quality, acesse a página Rule Configuration > Configure by Table e abra a página de detalhes de uma tabela específica. Na aba Quality Monitoring, exclua as informações de assinatura de alerta de uma configuração específica de monitoramento de qualidade.