Um nó de inspeção de objetos do OSS verifica periodicamente um objeto no OSS via FTP em um intervalo configurado e aciona os nós downstream somente após detectar o objeto. Use este nó para coordenar tarefas do DataWorks com sistemas de agendamento externos quando uma tarefa downstream precisar aguardar a conclusão de um job de gravação externo antes de prosseguir.
Como funciona
Após concluir a gravação em um banco de dados, o sistema de agendamento externo gera um arquivo marcador (por exemplo,
XXXX2024-09-29.done) no sistema de arquivos especificado.Uma source de dados do OSS lê o arquivo marcador desse sistema de arquivos.
-
O nó de inspeção de objetos do OSS consulta a source de dados do OSS no intervalo configurado para verificar a existência do arquivo marcador.
Arquivo detectado: o nó confirma a conclusão do job de gravação e transmite o resultado ao nó downstream.
Arquivo não detectado: a verificação falha e o nó não transmite o resultado ao nó downstream. As tentativas continuam no intervalo configurado até que a condição de parada da detecção seja atendida.
-
Com base no resultado da detecção, o nó downstream decide se acessa o banco de dados externo.
Arquivo detectado: o nó downstream prossegue com o acesso ao banco de dados.
Arquivo não detectado: o nó downstream não acessa o banco de dados.
O nó downstream acessa o banco de dados externo (Oracle, MySQL, SQL Server, entre outros).
O sistema de arquivos usado para armazenar arquivos marcadores e o formato desses arquivos (por exemplo, o sufixo .done ) são configuráveis.
Pré-requisitos
Antes de começar, certifique-se de ter:
Um usuário RAM adicionado ao seu workspace com a função Develop ou Workspace Administrator atribuída. A função Workspace Administrator concede permissões mais amplas do que o normalmente necessário — atribua-a com cautela. Para mais detalhes, consulte Adicionar membros a um workspace.
Um grupo de recursos serverless associado ao seu workspace. Para mais detalhes, consulte Usar grupos de recursos serverless.
Um nó de inspeção de objetos do OSS criado no Data Studio. Para mais detalhes, consulte Criar um nó de tarefa.
Permissões
O nó utiliza o Resource Access Management (RAM) e o Security Token Service (STS) para autorizar o MaxCompute a acessar o OSS no ambiente de desenvolvimento ou produção. O nó é executado com as permissões de um administrador de workspace.
Antes de executar o nó, confirme os seguintes itens:
O MaxCompute possui as permissões necessárias no bucket do OSS. Para mais detalhes, consulte Autorização no modo STS.
O administrador do workspace possui as permissões necessárias no bucket do OSS. Para mais detalhes, consulte Responsabilidades de um administrador de workspace.
Etapa 1: Configure o nó
Na guia de configuração do nó de inspeção de objetos do OSS, configure os seguintes parâmetros:
|
Parâmetro |
Descrição |
|
OSS Object |
Caminho do objeto do OSS a ser monitorado. Aceita parâmetros de agendamento como |
|
Timeout |
Tempo máximo de espera do nó pelo aparecimento do objeto. Ao atingir esse limite, o nó interrompe as novas tentativas. |
Após configurar os parâmetros de detecção, defina as propriedades de agendamento do nó. Para mais detalhes, consulte Configurações de agendamento.
Etapa 2: Implantar e monitorar o nó
Implante o nó no ambiente de produção. Para mais detalhes, consulte Implantar nós.
No Operation Center, acesse a página Auto Triggered Nodes para visualizar o nó implantado e realizar operações e manutenção (O&M). O sistema executa o nó automaticamente com base nas propriedades de agendamento configuradas. Para mais detalhes, consulte Introdução ao Operation Center.