DataWorks:Nó Check

Objetos e políticas de verificação suportados

Um nó Check pode verificar apenas fontes de dados e tarefas de sincronização em tempo real. As políticas de verificação são as seguintes:

• Fonte de dados

  • Tabela particionada do MaxCompute ou DLF (tabela particionada Paimon)

    Nota

    Os nós Check suportam tabelas particionadas do MaxCompute, mas não suportam tabelas não particionadas do MaxCompute.

    Os nós Check oferecem duas políticas de verificação para determinar se os dados em uma tabela particionada do MaxCompute estão prontos.

    • Política 1: Verificar se a partição de destino existe

      Se a partição de destino existir, o nó Check considera que a geração de dados foi concluída e que os dados estão disponíveis.

    • Política 2: Verificar se a partição de destino foi atualizada dentro de um período especificado

      Caso a partição de destino não tenha sido atualizada dentro do período definido, o nó Check entende que a geração de dados terminou e que os dados estão disponíveis.

  • Arquivo FTP, OSS, HDFS ou OSS-HDFS

    Quando o arquivo de destino existe, o nó Check o considera disponível.

• Tarefa de sincronização em tempo real

  A verificação baseia-se no horário de início agendado do nó Check. Se a tarefa de sincronização em tempo real tiver terminado de gravar os dados até esse momento, a verificação será aprovada.

Além disso, especifique o intervalo de verificação (tempo entre verificações consecutivas) e uma condição de parada (número máximo de verificações ou prazo limite). Caso a tarefa atinja o número máximo de tentativas ou o prazo expire sem que a verificação seja aprovada, o nó Check falhará. Para mais detalhes sobre como configurar essas políticas, consulte Etapa 2: Configurar políticas de verificação.

Nota

• O nó Check verifica periodicamente um objeto de destino. Configure o horário de agendamento do nó Check com base no início esperado da verificação. Depois que as condições de agendamento forem atendidas, o nó Check permanecerá em execução até que a verificação seja aprovada ou falhe, conforme a política de parada. Para mais informações sobre configurações de agendamento, consulte Etapa 3: Configurar o agendamento da tarefa.

• Um nó Check ocupa recursos de agendamento até que a verificação seja concluída.

Limitações

• Restrições de grupo de recursos: Tarefas de nó Check só podem ser executadas em um grupo de recursos serverless. Para mais informações sobre como adquirir e utilizar um grupo de recursos serverless, consulte Usar um grupo de recursos serverless.

• Restrições de fonte de dados: Fontes de dados FTP com Protocolo definido como SFTP e autenticadas por Key não são suportadas. Para mais detalhes, consulte Criar uma fonte de dados FTP.

• Restrições de funcionalidade do nó

  • Um nó Check pode verificar apenas um objeto por vez. Se sua tarefa depender de múltiplos objetos (por exemplo, várias tabelas particionadas do MaxCompute), crie múltiplos nós Check para validar cada objeto separadamente.

  • O intervalo de verificação de um nó Check varia de 1 minuto a 30 minutos.

• Restrições de edição do DataWorks: Os nós Check são suportados apenas no DataWorks Professional Edition e edições superiores. Se você estiver usando uma edição inferior, consulte Descrição de atualização de versão para fazer o upgrade.

• Regiões suportadas: Os nós Check estão disponíveis nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japão (Tóquio), Singapura, Malásia (Kuala Lumpur), Indonésia (Jacarta), Alemanha (Frankfurt), Reino Unido (Londres), EUA (Vale do Silício) e EUA (Virgínia).

Pré-requisitos

• Quando um nó Check verifica uma fonte de dados, crie a fonte de dados correspondente antes de utilizar o nó. A tabela a seguir lista os preparativos necessários.

  Tipo de objeto de verificação	Preparativo	Referência
  Tabela particionada do MaxCompute	Um recurso de computação do MaxCompute deve ter sido criado e associado ao Data Studio. Ao criar e associar um recurso de computação do MaxCompute no DataWorks, uma fonte de dados do MaxCompute é criada automaticamente. Uma tabela particionada do MaxCompute deve ter sido criada.	Associar um recurso de computação do MaxCompute Preparativos antes do desenvolvimento de dados: Associar uma fonte de dados ou cluster ao DataStudio Criar e usar tabelas do MaxCompute
  Arquivo FTP	Uma fonte de dados FTP deve ter sido criada. No DataWorks, crie um serviço FTP como fonte de dados antes de acessar os dados desse serviço por meio da fonte.	Criar uma fonte de dados FTP
  Arquivo OSS	Uma fonte de dados OSS deve ter sido criada com o modo de acesso definido como Access Key. No DataWorks, crie um bucket OSS como fonte de dados antes de acessar os dados do bucket por meio dessa fonte. Nota Atualmente, apenas o modo Access Key é suportado para acessar fontes de dados OSS em um nó Check. Fontes de dados OSS configuradas com o modo de autorização de função RAM não podem ser usadas com nós Check.	Criar bucket Criar uma fonte de dados OSS
  Arquivo HDFS	Uma fonte de dados HDFS deve ter sido criada. No DataWorks, registre um arquivo HDFS como fonte de dados antes de acessá-lo por meio dessa fonte.	Criar uma fonte de dados HDFS
  Arquivo OSS-HDFS	Uma fonte de dados OSS-HDFS deve ter sido criada. No DataWorks, crie um serviço OSS-HDFS como fonte de dados antes de acessar os dados desse serviço por meio da fonte.	OSS-HDFS

• Quando um nó Check verifica uma tarefa de sincronização em tempo real, apenas tarefas de sincronização em tempo real do Kafka para o MaxCompute são suportadas. Antes de usar um nó Check, crie a tarefa de sincronização em tempo real correspondente. Para mais informações, consulte Criar uma tarefa de sincronização em tempo real.

Etapa 1: Criar um nó Check

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique no ícone e escolha Create Node > General > Check Node.

   Siga as instruções na tela para especificar o caminho, nome e outras informações do nó.

Etapa 2: Configurar políticas de verificação

Configure o nó Check para verificar uma fonte de dados ou uma tarefa de sincronização em tempo real conforme suas necessidades de negócio e defina as políticas correspondentes.

Fonte de dados

Configurar políticas de verificação para uma tabela particionada do MaxCompute

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione MaxCompute.
Data Source Name	A fonte de dados onde reside a tabela particionada do MaxCompute a ser verificada. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para mais informações sobre como criar uma fonte de dados do MaxCompute, consulte Criar uma fonte de dados do MaxCompute.
Table Name	A tabela particionada do MaxCompute a ser verificada. Nota Apenas tabelas particionadas do MaxCompute dentro da fonte de dados selecionada podem ser escolhidas.
Partition	A partição da tabela do MaxCompute a ser verificada. Após configurar o parâmetro Table Name, visualize as informações da tabela para ver os nomes das partições. Também é possível usar parâmetros de agendamento para obter esses nomes. Para mais detalhes sobre o uso de parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define o método de verificação e a condição de aprovação para a tabela particionada. Utilize um dos dois métodos abaixo: Partition exists: Verifica se a partição de destino existe. Exists: A verificação é aprovada e a tabela particionada é considerada disponível. Does not exist: A verificação não é aprovada e a tabela particionada é considerada indisponível. Verify based on LastModifiedTime: Verifica se os dados da partição de destino foram atualizados dentro de um período especificado. No update: A verificação é aprovada e considera-se que os dados da partição foram totalmente gravados. A tabela particionada está disponível. Updated: A verificação não é aprovada e considera-se que os dados da partição não foram totalmente gravados. A tabela particionada está indisponível. Nota É possível verificar apenas se os dados da partição foram atualizados nos últimos 5, 10, 15, 20, 25 ou 30 minutos. Para mais informações sobre LastModifiedTime, consulte LastModifiedTime.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo FTP

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione FTP.
Data Source Name	A fonte de dados onde reside o arquivo FTP a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para mais informações sobre como criar uma fonte de dados FTP, consulte Criar uma fonte de dados FTP.
Object Path	O caminho do arquivo FTP a ser verificado. Exemplo: /var/ftp/test/. Se o caminho especificado existir, o arquivo nesse local também existe. Insira o caminho diretamente ou use parâmetros de agendamento para obtê-lo. Para mais detalhes sobre o uso de parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo FTP. Se o arquivo FTP existir, a verificação é aprovada e o arquivo é considerado disponível. Caso o arquivo FTP não exista, a verificação falha e o arquivo é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo OSS

Adicionalmente, configure os seguintes parâmetros: Defina Check Object como Data Source. Defina Check Pass Condition como File Exists. Em Check Stop Policy, selecione Check Stop Time ou Check Stop Count e defina o intervalo de verificação (por exemplo, a cada 5 minutos) e o prazo limite ou contagem. Nota: Se uma tarefa upstream atrasar e a tarefa Check começar a executar após o prazo configurado, ela ainda será executada, mas fará apenas uma verificação.

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione OSS.
Data Source Name	A fonte de dados onde reside o arquivo OSS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para mais informações sobre como criar uma fonte de dados OSS, consulte Criar uma fonte de dados OSS.
Object Path	O caminho do arquivo OSS a ser verificado. Faça login no console OSS, acesse a página de detalhes do bucket de destino e visualize o caminho na página File Management > Files > OSS Object. Nota O sistema utiliza as informações do bucket configuradas na fonte de dados OSS selecionada em Data Source Name por padrão. Ao inserir o caminho, não inclua o prefixo oss:// nem as informações do bucket. Recomendamos não iniciar o caminho com uma barra /. O formato segue a definição de caminho de arquivo OSS: Se o caminho terminar com "/", o nó Check verifica se existe uma pasta com o mesmo nome do caminho informado no OSS. Exemplo: user/, que verifica se a pasta user existe. Se o caminho não terminar com "/", o nó Check verifica se existe um arquivo com o mesmo nome do caminho informado no OSS. Exemplo: user, que verifica se o arquivo user existe. Limitações na verificação de pastas: Ao verificar a existência de uma pasta, observe os cenários abaixo. Upload direto de arquivo (como put /a/b/1.txt): As pastas /a ou /a/b não são criadas. Apenas o objeto /a/b/1.txt é criado. O console exibe uma pasta virtual /a/b/, que não existe fisicamente durante a verificação. Upload passo a passo (como put /a → put /a/b → put /a/b/1.txt): Os objetos de pasta /a e /a/b (com tamanho 0 KB) são criados junto com o arquivo. Nesse caso, as pastas existem durante a verificação.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo OSS. Se o arquivo OSS existir, a verificação é aprovada e o arquivo é considerado disponível. Caso o arquivo OSS não exista, a verificação falha e o arquivo é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo HDFS

Se uma tarefa upstream atrasar e a tarefa Check começar a executar após o prazo configurado, ela ainda será executada, mas fará apenas uma verificação. A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione HDFS.
Data Source Name	A fonte de dados onde reside o arquivo HDFS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para mais informações sobre como criar uma fonte de dados HDFS, consulte Criar uma fonte de dados HDFS.
Object Path	O caminho do arquivo HDFS a ser verificado. Exemplo: /user/dw_test/dw. Se o caminho especificado existir, o arquivo nesse local também existe. Insira o caminho diretamente ou use parâmetros de agendamento para obtê-lo. Para mais detalhes sobre o uso de parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo HDFS. Se o arquivo HDFS existir, a verificação é aprovada e o arquivo é considerado disponível. Caso o arquivo HDFS não exista, a verificação falha e o arquivo é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo OSS-HDFS

Defina Check Object como Data Source. Na seção Check Stop Policy, selecione Check Stop Time ou Check Stop Count. Por padrão, a verificação ocorre a cada 5 minutos. Se uma tarefa upstream atrasar e a tarefa Check começar a executar após o prazo configurado, ela ainda será executada, mas fará apenas uma verificação. A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione OSS_HDFS.
Data Source Name	A fonte de dados onde reside o arquivo OSS-HDFS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para mais informações sobre como criar uma fonte de dados OSS-HDFS, consulte Criar uma fonte de dados OSS-HDFS.
Object Path	O caminho do arquivo OSS-HDFS a ser verificado. Faça login no console OSS, acesse a página de detalhes do bucket de destino e visualize o caminho na página File Management > Files > HDFS Files. O formato segue a definição de caminho de arquivo OSS-HDFS: Se o caminho terminar com /, o nó Check verifica se existe uma pasta com o mesmo nome do caminho informado no OSS-HDFS. Exemplo: user/, que verifica se a pasta user existe. Se o caminho não terminar com /, o nó Check verifica se existe um arquivo com o mesmo nome do caminho informado no OSS-HDFS. Exemplo: user, que verifica se o arquivo user existe.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo OSS-HDFS. Se o arquivo OSS-HDFS existir, a verificação é aprovada e o arquivo é considerado disponível. Caso o arquivo OSS-HDFS não exista, a verificação falha e o arquivo é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Tarefa de sincronização em tempo real

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Check Object	Selecione Real-time Synchronization Task.
Real-time Synchronization Task	A tarefa de sincronização em tempo real a ser verificada. Nota Atualmente, apenas tarefas de sincronização em tempo real do Kafka para o MaxCompute são suportadas. Se uma tarefa de sincronização em tempo real já existir mas não puder ser selecionada, verifique se ela foi implantada no ambiente de produção.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, ela encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check começar a executar após o prazo limite configurado, ela ainda iniciará, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo entre elas. Se o número máximo for atingido sem aprovação, a tarefa encerrará automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa de nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo escolhido. Por exemplo, com um intervalo de 5 minutos, o máximo é 288 verificações; com 10 minutos, o máximo é 144. Os valores reais aparecem na página de configuração.

Etapa 3: Configurar o agendamento da tarefa

Para verificar periodicamente os dados da partição usando um nó Check, clique em Scheduling no lado direito da página de edição do nó e configure as definições de agendamento conforme suas necessidades de negócio. Para mais informações, consulte Configurar definições de agendamento.

Assim como um nó agendado comum, um nó Check requer configurações de agendamento, como dependências e horário de execução. Todo nó no DataWorks deve ter uma dependência upstream. Caso o nó Check não possua uma dependência upstream real, opte por depender de um nó virtual ou do nó raiz do workspace, dependendo da complexidade do seu ambiente. Para mais detalhes, consulte Configurar dependências.

Nota

Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

Etapa 4: Enviar e implantar a tarefa

Após configurar a tarefa do nó, envie-a e implante-a. Uma vez enviada e implantada, a tarefa será executada periodicamente conforme as definições de agendamento.

1. Clique no ícone na barra de ferramentas para salvar o nó.

2. Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

   Ao enviar a tarefa, insira a Change Description na caixa de diálogo Submission e escolha se deseja realizar revisão de código e teste de fumaça após o envio do nó.

   Nota

   • Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a controlar a qualidade do código da tarefa e evita erros causados pela implantação de código defeituoso sem revisão. Se a revisão de código estiver ativada, o código do nó enviado precisará ser aprovado por um revisor antes de poder ser implantado. Para mais informações, consulte Configurar revisão de código.

   • Para garantir que a tarefa agendada execute conforme o esperado, recomendamos realizar testes de fumaça antes da implantação. Para mais informações, consulte Teste de fumaça.

Se você utilizar um workspace no modo padrão, após enviar a tarefa, clique em Deploy no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações, consulte Implantar tarefas.

Próxima etapa

Depois que o nó Check for enviado e implantado no Operation Center, ele executará verificações periodicamente com base na configuração do nó. Visualize os resultados das verificações e realize operações relacionadas no Operation Center. Para mais informações, consulte Visualizar e gerenciar instâncias de nó Check.