DataWorks:Nó de verificação

Visão geral

Um nó de verificação pode monitorar tabelas particionadas do maxcompute, arquivos FTP, arquivos do OSS, arquivos HDFS, arquivos OSS_HDFS e tarefas de sincronização em tempo real. Um cenário típico é o seguinte:

Uma tarefa no sistema de agendamento do DataWorks precisa acessar um banco de dados externo. Como o job de gravação desse banco de dados é execute fora do DataWorks, o DataWorks não consegue determinar quando os dados foram totalmente gravados e estão prontos para leitura. Se uma tarefa do DataWorks ler os dados antes que o job de gravação termine, ela poderá ler um conjunto de dados incompleto ou falhar. Para garantir que as tarefas downstream sejam execute corretamente, use um nó de verificação para monitorar a tabela, o arquivo ou a tarefa de sincronização e confirme se os dados estão prontos para consumo.

Limites

Este recurso está disponível apenas no DataWorks Professional Edition ou superior.

Pré-requisitos

• O usuário RAM que você deseja usar foi adicionado ao seu workspace.

  Se quiser usar um usuário RAM para desenvolver tarefas, adicione o usuário RAM ao seu workspace como membro e atribua a função Develop ou Workspace Administrator a ele. A função Workspace Administrator tem mais permissões do que o necessário. Tenha cuidado ao atribuir a função Workspace Administrator. Para obter mais informações sobre como adicionar um membro e atribuir funções a ele, consulte Add members to a workspace.

• Um grupo de recursos serverless está associado ao seu workspace. Para obter mais informações, consulte os tópicos no diretório Use serverless resource groups.

• Antes de desenvolver um nó de verificação, crie o nó. Para obter mais informações, consulte Create nodes for scheduled workflows.

• Ao usar um nó de verificação para validar uma fonte de dados, crie a fonte de dados correspondente antes de usar o nó de verificação. A tabela a seguir descreve os preparativos necessários.

  Tipo de objeto	Preparativos	Referências
  Tabela particionada do maxcompute	crie uma fonte de dados do maxcompute e associe-a ao DataStudio. Para acessar dados em um projeto do maxcompute, primeiro registre o projeto como uma fonte de dados do maxcompute no DataWorks. crie uma tabela particionada do maxcompute.	Associate a MaxCompute compute resource Create and use MaxCompute tables
  Arquivo FTP	crie uma fonte de dados FTP. Para acessar dados de um service FTP, primeiro registre o service como uma fonte de dados FTP no DataWorks.	FTP data source
  Arquivo do OSS	crie uma fonte de dados do OSS com o modo de acesso defina como accesskey. Para acessar dados em um bucket do OSS, primeiro registre o bucket como uma fonte de dados do OSS no DataWorks. Nota Atualmente, os nós de verificação suportam apenas fontes de dados do OSS que usam o modo de autenticação accesskey. Fontes de dados do OSS configuradas com autorização de função RAM não podem ser usadas em nós de verificação.	Create a bucket OSS
  Arquivo HDFS	crie uma fonte de dados HDFS. Para acessar dados em um sistema de arquivos HDFS, primeiro registre o sistema de arquivos como uma fonte de dados HDFS no DataWorks.	HDFS
  Arquivo OSS_HDFS	crie uma fonte de dados OSS_HDFS. Para acessar dados de um service OSS_HDFS, primeiro registre o service como uma fonte de dados OSS_HDFS no DataWorks.	OSS-HDFS
  Tabela DLF	crie uma fonte de dados do Data Lake Formation. Apenas tabelas particionadas Paimon são suportadas.	Data Lake Formation(DLF) data source

• Ao usar um nó de verificação para verificar uma tarefa de sincronização em tempo real, apenas tarefas de sincronização em tempo real do Kafka para o maxcompute são suportadas. crie a tarefa de sincronização em tempo real correspondente antes de usar o nó de verificação. Para obter mais informações, consulte Configure a real-time synchronization task (legacy).

Notas de uso

• Se um atraso upstream fizer com que um nó de verificação inicie após o prazo de verificação configurado, o nó de verificação ainda será execute, mas realizará a verificação apenas uma vez.

• O tempo máximo de execução de um nó de verificação é de 24 horas.

Etapa 1: Desenvolver o nó de verificação

1. Abra o nó de verificação criado e configure-o conforme solicitado. Um nó de verificação pode verificar uma fonte de dados ou uma tarefa de sincronização em tempo real.

   Fonte de dados

   Quando o objeto de verificação for uma fonte de dados, configure os parâmetros descritos na tabela a seguir:

   Parâmetro	Descrição
   Objeto de verificação	Fonte de dados
   Tipo de fonte de dados	Os seguintes tipos de fonte de dados são suportados: maxcompute OSS FTP HDFS OSS_HDFS DLF
   Nome da fonte de dados	selecione uma fonte de dados que corresponda ao tipo de fonte de dados selecionado. Se a fonte de dados necessária não estiver listada, clique em New Data Source à direita.
   Nome da tabela/Caminho	Se o tipo de fonte de dados for maxcompute ou DLF, especifique um nome de tabela para a verificação. Nota Apenas tabelas particionadas são suportadas. Se o tipo de fonte de dados for OSS, FTP, HDFS ou OSS_HDFS, especifique o caminho do arquivo de destino.
   Condição de sucesso	Se o objeto de verificação for uma tabela, verifique a existência de uma partição ou um período contínuo sem atualizações na propriedade LastModifiedTime. Se o objeto de verificação for um arquivo, verifique apenas se o arquivo existe.
   Política de parada	Horário de parada: O nó realiza verificações no intervalo configurado até o horário especificado. Parar após N verificações: O nó realiza verificações no intervalo configurado até atingir o número especificado de verificações. Nota A tarefa é execute com base na política de parada. Se a condição de sucesso não for atendida quando a condição de parada for alcançada, o nó de verificação sai automaticamente e entra em estado de falha.

   Tarefa de sincronização em tempo real

   Quando o objeto de verificação for uma tarefa de sincronização em tempo real, configure os parâmetros descritos na tabela a seguir:

   Parâmetro	Descrição
   Objeto de verificação	Tarefa de sincronização em tempo real
   Tarefa de sincronização em tempo real	selecione uma tarefa de sincronização em tempo real existente.
   Política de parada	Horário de parada: O nó realiza verificações no intervalo configurado até o horário especificado. Parar após N verificações: O nó realiza verificações no intervalo configurado até atingir o número especificado de verificações. Nota A tarefa é execute com base na política de parada. Se a condição de sucesso não for atendida quando a condição de parada for alcançada, o nó de verificação sai automaticamente e entra em estado de falha.

2. Após configurar a política de verificação, configure as propriedades de agendamento para o nó. Para obter mais informações, consulte Configure node scheduling.

Etapa 2: Implantar e operar o nó

1. Após configurar as propriedades de agendamento, envie e implante o nó de verificação no ambiente de produção. Para obter mais informações, consulte Node and workflow deployment.

2. Após a implantação, a tarefa é execute com base no agendamento configurado. visualize a tarefa agendada implantada em Operation and Maintenance Center > Node O&M > Auto Triggered Task O&M > Auto Triggered Task e realize operações de O&M. Para obter mais informações, consulte Get started with operation center.