Um nó de inspeção de objetos do OSS verifica periodicamente a existência de um objeto específico. Se o objeto for encontrado, o nó aciona suas tarefas downstream. Caso contrário, ele continua verificando em um intervalo configurado até que uma condição de parada seja atendida. Esse tipo de nó é geralmente usado como mecanismo de sinalização entre o sistema de agendamento do DataWorks e sistemas de agendamento externos. Este tópico descreve como utilizar um nó de inspeção de objetos do OSS e seus principais pontos de atenção.
Visão geral
Um caso de uso comum para o nó de inspeção de objetos do OSS é gerenciar dependências de dados externos. Por exemplo, uma tarefa do DataWorks pode precisar acessar um banco de dados externo, mas a tarefa que grava dados nesse banco é gerenciada por um sistema de agendamento externo. Nesse cenário, o DataWorks não consegue determinar quando a operação de gravação termina. Se a tarefa do DataWorks ler os dados antes da conclusão da gravação, ela poderá ler informações incompletas ou falhar na leitura. Para resolver isso, configure o sistema externo para criar um arquivo marcador, como um arquivo .done, em um sistema de arquivos especificado após a conclusão da tarefa de gravação. Em seguida, configure um nó de inspeção de objetos do OSS no DataWorks para verificar periodicamente esse arquivo .done. Assim que o nó detectar o arquivo, ele confirmará que os dados estão prontos e acionará as tarefas downstream que precisam acessar o banco de dados.
Configure o sistema de agendamento externo para gerar o arquivo marcador em um sistema de arquivos de sua escolha.
Este tópico usa um arquivo
.donecomo exemplo. Personalize o nome e o formato do seu arquivo marcador conforme as necessidades do seu negócio.
Um sistema de agendamento externo detecta que os dados em um banco de dados externo estão prontos para acesso (por exemplo, um job de gravação foi concluído). Ele então cria um arquivo marcador, como
XXXX2024-09-29.done, em um sistema de arquivos especificado. Este tópico utiliza um arquivo com sufixo.donecomo exemplo, mas você pode definir um formato de arquivo personalizado para atender aos requisitos do seu negócio.A source de dados do OSS lê o arquivo marcador do sistema de arquivos.
-
O nó de inspeção de objetos do OSS verifica periodicamente a source de dados do OSS em busca do arquivo marcador, com base na política de detecção configurada.
Se o nó encontrar o arquivo marcador, isso indica que os dados estão prontos para acesso. O nó de inspeção de objetos do OSS envia então um sinal de sucesso para seus nós downstream.
Caso o arquivo marcador não seja encontrado, significa que os dados no banco de dados externo ainda não estão prontos. O nó de inspeção de objetos do OSS não envia sinal para os nós downstream e continua verificando conforme a política configurada até atingir o limite de tentativas.
-
O nó downstream usa o resultado do nó de inspeção de objetos do OSS para decidir se inicia sua tarefa.
Quando o nó de inspeção de objetos do OSS reporta sucesso, o nó downstream inicia sua tarefa para acessar os dados do banco de dados externo.
Se o nó de inspeção de objetos do OSS falhar ao detectar o arquivo e atingir o tempo limite, o nó downstream não inicia sua tarefa.
O nó downstream acessa os dados no banco de dados externo.
Bancos de dados externos podem incluir, entre outros, Oracle, MySQL, SQL Server e outros services de banco de dados ou armazenamento.
Pré-requisitos
-
Adicione o usuário RAM que você deseja usar ao seu workspace.
Para usar um usuário RAM no desenvolvimento de tarefas, adicione-o como membro do workspace e atribua a função Develop ou Workspace Administrator. A função Workspace Administrator possui mais permissões do que o necessário; portanto, tenha cautela ao atribuí-la. Para mais informações sobre como adicionar membros e atribuir funções, consulte Add members to a workspace.
Associe um grupo de recursos serverless ao seu workspace. Para mais detalhes, consulte os tópicos no diretório Use serverless resource groups.
Crie um nó de inspeção de objetos do OSS. Para mais informações, consulte Create a scheduling workflow node.
Observações de uso
Durante a execução da tarefa, o nó utiliza STS mode authorization para verificar o objeto do OSS. Certifique-se de que as permissões necessárias do bucket do OSS estejam configuradas.
Nos ambientes de desenvolvimento e produção, o nó usa uma identidade de acesso com as permissões descritas em Responsibilities of a workspace administrator. Verifique se as permissões do bucket do OSS estão configuradas corretamente.
Etapa 1: Configure o nó
Após criar um nó de inspeção de objetos do OSS, abra-o e siga as instruções na tela para configurar suas propriedades.
-
Configure o objeto e a política de detecção.
OSS Object: Insira o caminho do objeto do OSS a ser verificado. Há suporte para parâmetros de agendamento como ${bizdate} e ${cyctime}.
Timeout: Tempo máximo de espera pelo objeto. Se o objeto não for encontrado dentro desse período, o nó interrompe a verificação e a tarefa falha.
Após configurar o nó, defina suas propriedades de agendamento. Para mais informações, consulte Configure scheduling properties for a node.
Etapa 2: Implantar e operar o nó
Depois de configurar as propriedades de agendamento, implante o nó no ambiente de produção. Para mais detalhes, consulte Deploy nodes and workflows.
Após a implantação, o nó executa periodicamente com base nas propriedades de agendamento. Visualize e gerencie as tarefas implantadas na aba . Para mais informações, consulte Introduction to Operation Center.