DataWorks:Nó Shell

Desenvolvimento do nó

1. Faça login no console do DataWorks. Após alternar para a região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione o workspace desejado na lista suspensa e clique em Go to DataStudio.

2. Passe o mouse sobre o ícone e clique em Create Node > General > Shell. Na caixa de diálogo Create Node, insira o nome e o caminho do nó.

3. Insira o código shell padrão no editor de scripts (não há suporte à sintaxe interativa):

   echo "Hello DataWorks!"

4. Após concluir o código, clique em , selecione o grupo de recursos e a imagem de destino e execute a tarefa do nó Shell.

5. Depois que o script passar pela depuração, clique em Scheduling Settings no lado direito para configurar políticas de agendamento de nível de produção, como horário de execução e propriedades de recursos. Isso permite que o nó seja executado periodicamente conforme planejado. Para mais informações sobre como configurar as propriedades de agendamento do nó, consulte Configurar definições de agendamento.

Implantar e gerenciar nós

1. Após configurar as propriedades de agendamento, envie o nó para o ambiente de desenvolvimento e, em seguida, implante-o no ambiente de produção para agendamento periódico.

2. Com o nó implantado, a tarefa será executada periodicamente com base no cronograma definido. Clique no ícone no canto superior esquerdo e selecione All Products > Data Development and O&M > Operation Center na página de navegação exibida para acessar o Operation Center. Em seguida, no menu à esquerda, acesse Task O&M > Auto Triggered Task O&M > Periodic tasks para visualizar as tarefas agendadas implantadas. Para mais informações, consulte Gerenciar tarefas agendadas.

Referenciar recursos

1. O DataWorks permite carregar recursos por meio do gerenciamento de recursos para uso em nós Shell. Para mais informações, consulte Gerenciar recursos.

   Nota

   Envie um recurso antes de referenciá-lo em um nó. Se o recurso for exigido por uma tarefa de produção, implante-o também nesse ambiente. Para mais detalhes, consulte Implantar nós.

2. Localize o recurso carregado na árvore de diretórios à esquerda do Data Studio.

3. Clique com o botão direito no recurso e selecione Insert Resource Path. O recurso será então referenciado no nó atual, permitindo escrever código na página de edição do nó para executá-lo.

   Nota

   Após uma referência bem-sucedida, o sistema insere automaticamente um comentário de declaração no formato ##@resource_reference{resource_name} no topo do script.

   Esse comentário é um identificador obrigatório para que o DataWorks reconheça as dependências de recursos e monte automaticamente o recurso correspondente no ambiente de execução durante o runtime. Não o modifique ou exclua manualmente.

Usar parâmetros de agendamento

Os parâmetros de agendamento são injetados nos nós Shell como parâmetros posicionais, sem suporte a nomes de variáveis personalizados. O DataWorks transmite os valores configurados nas Scheduling Settings do nó para o script shell, na ordem definida, como parâmetros posicionais: $1, $2, $3, etc. Ao utilizar mais de 9 parâmetros, adote a sintaxe com chaves, como ${10} e ${11}, para garantir a análise correta. Separe múltiplos valores de parâmetros por espaços e mantenha a ordem estritamente correspondente às referências posicionais no script.

Neste exemplo:

• O parâmetro integrado $1 recebe a data de negócio: $bizdate.

• O parâmetro personalizado $2 recebe a data de negócio: ${yyyymmdd}.

• O parâmetro personalizado $3 recebe a data de negócio: $[yyyymmdd].

• Se um valor de parâmetro contiver espaços, coloque-o entre aspas. Todo o conteúdo dentro das aspas será tratado como um único parâmetro.

• Para mais informações sobre como configurar e usar parâmetros de agendamento, consulte Configurar parâmetros de agendamento.

Usar ossutil para acessar o OSS

O nó Shell do DataWorks suporta nativamente a ferramenta de linha de comando do Alibaba Cloud OSS, ossutil, que possibilita o gerenciamento de buckets, upload e download de arquivos, operações em lote, entre outras tarefas. Configure as credenciais de acesso para utilizar o ossutil no acesso ao OSS por meio de um arquivo de configuração ou parâmetros de linha de comando.

• Para acessar o OSS com o ossutil via parâmetros de linha de comando, consulte Acessar o OSS usando parâmetros de linha de comando.

• Para acessar o OSS com o ossutil via arquivo de configuração, consulte Acessar o OSS usando um arquivo de configuração.

Apêndice: Códigos de saída de script

Utilize os códigos de saída do script para determinar se a execução foi bem-sucedida.

• Código de saída 0: Indica sucesso.

• Código de saída -1: Sinaliza que o processo foi encerrado.

• Código de saída 2: A plataforma precisa reexecutar a tarefa automaticamente uma vez.

• Outros códigos de saída: Indicam falha.

Abaixo está um exemplo de log de execução quando o nó Shell é concluído com êxito (código de saída 0).

INFO Exit code of the Shell command 0 INFO --- Invocation of Shell command completed --- INFO Shell run successfully!

Devido ao mecanismo subjacente do shell, o código de saída de todo o script em um nó Shell corresponde ao código de saída do último comando executado.