DataWorks:Nó Check

Objetos e políticas de verificação suportados

O nó Check verifica apenas fontes de dados e tarefas de sincronização em tempo real. As políticas de verificação são as seguintes:

• Fonte de dados

  • Tabela particionada do MaxCompute ou DLF (tabela particionada Paimon)

    Nota

    Os nós Check suportam tabelas particionadas do MaxCompute, mas não suportam tabelas não particionadas do MaxCompute.

    Os nós Check oferecem duas políticas de verificação para determinar se os dados em uma tabela particionada do MaxCompute estão prontos.

    • Política 1: Verificar se a partição de destino existe

      Se a partição de destino existir, o nó Check considera que a geração de dados foi concluída e que os dados estão disponíveis.

    • Política 2: Verificar se a partição de destino foi atualizada dentro de um período especificado

      Caso a partição de destino não tenha sido atualizada dentro do período especificado, o nó Check considera que a geração de dados foi concluída e que os dados estão disponíveis.

  • Arquivo FTP, OSS, HDFS ou OSS-HDFS

    Se o arquivo de destino existir, o nó Check o considera disponível.

• Tarefa de sincronização em tempo real

  A verificação baseia-se no horário de início agendado do nó Check. Se a tarefa de sincronização em tempo real tiver terminado de gravar os dados até esse momento, a verificação será aprovada.

Além disso, especifique o intervalo de verificação (tempo entre verificações consecutivas) e uma condição de parada (número máximo de verificações ou prazo limite). Se a tarefa atingir o número máximo de verificações ou o prazo limite for alcançado sem aprovação, o nó Check falhará. Para obter mais informações sobre como configurar essas políticas, consulte Etapa 2: Configurar políticas de verificação.

Nota

• O nó Check verifica periodicamente um objeto de destino. Configure o horário de agendamento do nó Check com base no horário de início esperado da verificação. Após o atendimento das condições de agendamento, o nó Check permanece em execução até que a verificação seja aprovada ou falhe, conforme a política de parada. Para obter mais informações sobre as configurações de agendamento, consulte Etapa 3: Configurar o agendamento da tarefa.

• O nó Check ocupa recursos de agendamento até a conclusão da verificação.

Limitações

• Restrições de grupo de recursos: As tarefas do nó Check executam apenas em grupos de recursos serverless. Para obter mais informações sobre como adquirir e usar um grupo de recursos serverless, consulte Usar um grupo de recursos serverless.

• Restrições de fonte de dados: Fontes de dados FTP com Protocol definido como SFTP e autenticadas por Key não são suportadas. Para obter mais informações, consulte Criar uma fonte de dados FTP.

• Restrições de recursos do nó

  • Um nó Check verifica apenas um objeto. Se sua tarefa depender de vários objetos (por exemplo, várias tabelas particionadas do MaxCompute), crie múltiplos nós Check para verificar cada objeto separadamente.

  • O intervalo de verificação de um nó Check varia de 1 minuto a 30 minutos.

• Restrições de edição do DataWorks: Os nós Check são suportados apenas no DataWorks Professional Edition e em edições superiores. Se você estiver usando uma edição inferior, consulte Descrição de upgrade de versão para fazer o upgrade.

• Regiões suportadas: Os nós Check estão disponíveis nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley) e US (Virginia).

Pré-requisitos

• Para verificar uma fonte de dados com um nó Check, crie a fonte de dados correspondente antes de usar o nó. A tabela a seguir lista as preparações necessárias.

  Tipo de objeto de verificação	Preparação	Referência
  Tabela particionada do MaxCompute	Um recurso de computação do MaxCompute foi criado e associado ao Data Studio. Ao criar e associar um recurso de computação do MaxCompute no DataWorks, uma fonte de dados do MaxCompute é criada automaticamente. Uma tabela particionada do MaxCompute foi criada.	Associar um recurso de computação do MaxCompute Preparações antes do desenvolvimento de dados: Associar uma fonte de dados ou cluster ao DataStudio Criar e usar tabelas do MaxCompute
  Arquivo FTP	Uma fonte de dados FTP foi criada. Registre seu service FTP como uma fonte de dados no DataWorks antes de acessar seus dados.	Criar uma fonte de dados FTP
  Arquivo OSS	Uma fonte de dados OSS foi criada com o modo de acesso definido como Access Key. Registre seu bucket OSS como uma fonte de dados no DataWorks antes de acessar seus dados. Nota Atualmente, apenas o modo Access Key é suportado para acessar fontes de dados OSS em um nó Check. Fontes de dados OSS configuradas com o modo de autorização de função RAM não podem ser usadas com nós Check.	Criar buckets Criar uma fonte de dados OSS
  Arquivo HDFS	Uma fonte de dados HDFS foi criada. Registre seu cluster HDFS como uma fonte de dados no DataWorks antes de acessar seus arquivos.	Criar uma fonte de dados HDFS
  Arquivo OSS-HDFS	Uma fonte de dados OSS-HDFS foi criada. Registre seu service OSS-HDFS como uma fonte de dados no DataWorks antes de acessar seus dados.	OSS-HDFS

• Para verificar uma tarefa de sincronização em tempo real com um nó Check, observe que apenas tarefas de sincronização em tempo real do Kafka para o MaxCompute são suportadas. Antes de usar o nó Check, crie a tarefa de sincronização em tempo real correspondente. Para obter mais informações, consulte Criar uma tarefa de sincronização em tempo real.

Etapa 1: Criar um nó Check

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Clique no ícone e escolha Create Node > General > Check Node.

   Siga as instruções na tela para especificar o caminho, o nome e outras informações do nó.

Etapa 2: Configurar políticas de verificação

Configure o nó Check para verificar uma fonte de dados ou uma tarefa de sincronização em tempo real conforme seus requisitos de negócios.

Fonte de dados

Configurar políticas de verificação para uma tabela particionada do MaxCompute

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione MaxCompute.
Data Source Name	Fonte de dados onde reside a tabela particionada do MaxCompute a ser verificada. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para obter mais informações sobre como criar uma fonte de dados do MaxCompute, consulte Criar uma fonte de dados do MaxCompute.
Table Name	Tabela particionada do MaxCompute a ser verificada. Nota Apenas tabelas particionadas do MaxCompute dentro da fonte de dados selecionada podem ser escolhidas.
Partition	Partição da tabela do MaxCompute a ser verificada. Após configurar o parâmetro Table Name, visualize as informações da tabela para ver os nomes das partições. Também é possível usar parâmetros de agendamento para obter os nomes das partições. Para obter mais informações sobre como usar parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define o método de verificação e a condição de aprovação para a tabela particionada. Utilize um dos dois métodos a seguir: Partition exists: Verifica se a partição de destino existe. Exists: A verificação é aprovada e a tabela particionada é considerada disponível. Does not exist: A verificação não é aprovada e a tabela particionada é considerada indisponível. Verify based on LastModifiedTime: Verifica se os dados da partição de destino foram atualizados dentro de um período especificado. No update: A verificação é aprovada e os dados da partição são considerados totalmente gravados. A tabela particionada está disponível. Updated: A verificação não é aprovada e os dados da partição são considerados não totalmente gravados. A tabela particionada está indisponível. Nota É possível verificar apenas se os dados da partição foram atualizados dentro de 5, 10, 15, 20, 25 ou 30 minutos. Para obter mais informações sobre LastModifiedTime, consulte LastModifiedTime.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo FTP

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione FTP.
Data Source Name	Fonte de dados onde reside o arquivo FTP a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para obter mais informações sobre como criar uma fonte de dados FTP, consulte Criar uma fonte de dados FTP.
Object Path	Caminho do arquivo FTP a ser verificado. Exemplo: /var/ftp/test/. Se o caminho especificado existir, o arquivo nesse caminho também existe. Insira o caminho diretamente ou use parâmetros de agendamento para obtê-lo. Para obter mais informações sobre como usar parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo FTP. Se o arquivo FTP existir, a verificação é aprovada e o arquivo FTP é considerado disponível. Se o arquivo FTP não existir, a verificação não é aprovada e o arquivo FTP é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo OSS

Além disso, configure os seguintes parâmetros: Defina Check Object como Data Source. Defina Check Pass Condition como File Exists. Para Check Stop Policy, selecione Check Stop Time ou Check Stop Count e defina o intervalo de verificação (por exemplo, a cada 5 minutos) e o prazo limite ou a contagem. Nota: Se uma tarefa upstream atrasar e a tarefa Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação.

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione OSS.
Data Source Name	Fonte de dados onde reside o arquivo OSS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para obter mais informações sobre como criar uma fonte de dados OSS, consulte Criar uma fonte de dados OSS.
Object Path	Caminho do arquivo OSS a ser verificado. Faça login no console do OSS, acesse a página de detalhes do bucket de destino e visualize o caminho na página File Management > Files > OSS Object. Nota O sistema usa as informações do bucket configuradas na fonte de dados OSS selecionada em Data Source Name por padrão. Ao inserir o caminho, não inclua o prefixo oss:// nem as informações do bucket. Recomendamos não iniciar o caminho com uma barra invertida /. O formato segue a definição de formato de caminho de arquivo do OSS: Se o caminho do arquivo terminar com "/", o nó Check verifica se uma pasta com o mesmo nome do caminho de entrada existe no OSS. Exemplo: user/, que verifica se a pasta user existe. Se o caminho do arquivo não terminar com "/", o nó Check verifica se um arquivo com o mesmo nome do caminho de entrada existe no OSS. Exemplo: user, que verifica se o arquivo user existe. Limitações da verificação de pasta: Se você quiser verificar se uma pasta existe, observe os seguintes cenários. Upload direto de arquivo (como put /a/b/1.txt): As pastas /a ou /a/b não são criadas. Apenas o objeto /a/b/1.txt é criado. O console exibe uma pasta virtual /a/b/, que na verdade não existe quando verificada. Upload de caminho passo a passo (como put /a → put /a/b → put /a/b/1.txt): Os objetos de pasta /a e /a/b (com tamanho de 0 KB) são criados junto com o objeto de arquivo. Nesse caso, as pastas existem quando verificadas.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo OSS. Se o arquivo OSS existir, a verificação é aprovada e o arquivo OSS é considerado disponível. Se o arquivo OSS não existir, a verificação não é aprovada e o arquivo OSS é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo HDFS

Se uma tarefa upstream atrasar e a tarefa Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione HDFS.
Data Source Name	Fonte de dados onde reside o arquivo HDFS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para obter mais informações sobre como criar uma fonte de dados HDFS, consulte Criar uma fonte de dados HDFS.
Object Path	Caminho do arquivo HDFS a ser verificado. Exemplo: /user/dw_test/dw. Se o caminho especificado existir, o arquivo nesse caminho também existe. Insira o caminho diretamente ou use parâmetros de agendamento para obtê-lo. Para obter mais informações sobre como usar parâmetros de agendamento, consulte Configurar parâmetros de agendamento.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo HDFS. Se o arquivo HDFS existir, a verificação é aprovada e o arquivo HDFS é considerado disponível. Se o arquivo HDFS não existir, a verificação não é aprovada e o arquivo HDFS é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Configurar políticas de verificação para um arquivo OSS-HDFS

Defina Check Object como Data Source. Na seção Check Stop Policy, selecione Check Stop Time ou Check Stop Count. Por padrão, a verificação é executada a cada 5 minutos. Se uma tarefa upstream atrasar e a tarefa Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Data Source Type	Selecione OSS_HDFS.
Data Source Name	Fonte de dados onde reside o arquivo OSS-HDFS a ser verificado. Se nenhuma fonte de dados estiver disponível, clique em New data source para criar uma. Para obter mais informações sobre como criar uma fonte de dados OSS-HDFS, consulte Criar uma fonte de dados OSS-HDFS.
Object Path	Caminho do arquivo OSS-HDFS a ser verificado. Faça login no console do OSS, acesse a página de detalhes do bucket de destino e visualize o caminho na página File Management > Files > HDFS Files. O formato segue a definição de formato de caminho de arquivo do OSS-HDFS: Se o caminho do arquivo terminar com /, o nó Check verifica se uma pasta com o mesmo nome do caminho de entrada existe no OSS-HDFS. Exemplo: user/, que verifica se a pasta user existe. Se o caminho do arquivo não terminar com /, o nó Check verifica se um arquivo com o mesmo nome do caminho de entrada existe no OSS-HDFS. Exemplo: user, que verifica se o arquivo user existe.
Condition for Check Passing	Define a condição de aprovação para a verificação do arquivo OSS-HDFS. Se o arquivo OSS-HDFS existir, a verificação é aprovada e o arquivo OSS-HDFS é considerado disponível. Se o arquivo OSS-HDFS não existir, a verificação não é aprovada e o arquivo OSS-HDFS é considerado indisponível.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Tarefa de sincronização em tempo real

A tabela a seguir descreve os parâmetros.

Parâmetro	Descrição
Check Object	Selecione Real-time Synchronization Task.
Real-time Synchronization Task	Tarefa de sincronização em tempo real a ser verificada. Nota Atualmente, apenas tarefas de sincronização em tempo real do Kafka para o MaxCompute são suportadas. Se uma tarefa de sincronização em tempo real já existir, mas não puder ser selecionada, verifique se a tarefa foi implantada no ambiente de produção.
Policy for Stopping Check	Configura a política de parada para a tarefa do nó Check. Defina um horário de parada ou uma contagem de parada e configure a frequência de verificação: Set stop time: Especifique a duração e o intervalo de verificação (tempo entre verificações consecutivas). Se a duração expirar e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. Se uma tarefa upstream atrasar e a tarefa do nó Check iniciar após o prazo limite configurado, ela ainda será executada, mas realizará apenas uma verificação. Set stop count: Especifique o número máximo de verificações e o intervalo de verificação (tempo entre verificações consecutivas). Se o número máximo de verificações for atingido e a tarefa Check não tiver sido aprovada, a tarefa sairá automaticamente com status de falha. Nota O intervalo de verificação varia de 1~30 minutos. A duração máxima de uma tarefa do nó Check é de 24 horas (1.440 minutos). O número máximo de verificações depende do intervalo de verificação. Por exemplo, se o intervalo for de 5 minutos, o máximo será 288. Se for de 10 minutos, o máximo será 144. Os valores reais aparecem na página de configuração.

Etapa 3: Configurar o agendamento da tarefa

Para verificar dados periodicamente usando um nó Check, clique em Scheduling no lado direito da página de edição do nó e configure as definições de agendamento. Para obter mais informações, consulte Configurar definições de agendamento.

Assim como um nó agendado regular, um nó Check requer configurações de agendamento, como dependências e horário de agendamento. Todo nó deve ter uma dependência upstream. Se o nó Check não tiver uma dependência upstream real, dependa de um nó virtual ou do nó raiz do workspace. Para obter mais informações, consulte Configurar dependências.

Nota

Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

Etapa 4: Enviar e implantar a tarefa

Após configurar o nó, envie-o e implante-o. Uma vez implantado, o nó executa periodicamente com base nas configurações de agendamento.

1. Clique no ícone na barra de ferramentas para salvar o nó.

2. Clique no ícone na barra de ferramentas para enviar a tarefa do nó.

   Ao enviar a tarefa, insira a Change Description na caixa de diálogo Submission e escolha se deseja realizar revisão de código e teste de fumaça após o envio do nó.

   Nota

   • Configure o Rerun attribute e os Parent Nodes do nó antes de enviá-lo.

   • A revisão de código ajuda a controlar a qualidade do código da tarefa e evita erros causados pela implantação de código defeituoso sem revisão. Se a revisão de código estiver ativada, o código do nó enviado deve ser aprovado por um revisor antes de poder ser implantado. Para obter mais informações, consulte Configurar revisão de código.

   • Para garantir que a tarefa agendada do nó execute conforme esperado, recomendamos realizar testes de fumaça antes da implantação. Para obter mais informações, consulte Teste de fumaça.

Se você usar um workspace no modo padrão, após o envio da tarefa, clique em Deploy no canto superior direito da página de edição do nó para implantar a tarefa no ambiente de produção. Para obter mais informações, consulte Implantar tarefas.

Próxima etapa

Depois que o nó Check for implantado no Operation Center, ele executará verificações periodicamente com base na configuração do nó. Visualize os resultados das verificações e gerencie instâncias no Operation Center. Para obter mais informações, consulte Visualizar e gerenciar instâncias do nó Check.