Use a Shell node to run Python scripts - DataWorks: Central de Documentação do Alibaba Cloud

Os nós Shell do DataWorks permitem executar scripts Python mediante upload como recursos e referência em um nó Shell. O suporte abrange Python 2 e Python 3. Você pode executar scripts Python em um nó Shell comum (baseado no MaxCompute) ou em um nó EMR Shell (baseado no E-MapReduce).

Limitações

Pacotes de terceiros devem ser compatíveis com Python 2 e Python 3.
Para outros limites de nós Shell comuns, consulte a seção Limites de Criar um nó Shell.
Para outros limites de nós EMR Shell, consulte a seção Limites de Criar um nó EMR Shell.

Funcionamento

O DataWorks carrega seu script Python como recurso e o referencia em um nó Shell. O nó executa o script usando o caminho do interpretador especificado:

Versão do Python	Comando do interpretador
Python 3	`/home/tops/bin/python3 <script>.py`
Python 2	`python <script>.py`

Pré-requisitos

Um workspace do DataWorks com acesso ao DataStudio.
Um nó Shell ou EMR Shell criado. Consulte Criar um nó Shell ou Criar um nó EMR Shell.
Se o script depender de pacotes de terceiros, instale-os no grupo de recursos antes da execução:
- Grupo de recursos serverless (recomendado): use o recurso de gerenciamento de imagens para instalar os pacotes.
- Grupo de recursos exclusivo para agendamento: use o Assistente de O&M para instalar os pacotes.

Executar um script Python em um nó Shell comum

Siga este procedimento se o nó Shell for executado em um grupo de recursos do MaxCompute.

Etapa 1: Criar um recurso Python do MaxCompute

Faça logon no console do DataWorks. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha Data Development and O&M > Data Development, selecione um workspace e clique em Go to Data Development.
Na página do DataStudio, clique com o botão direito em um workflow e escolha Create Resource > MaxCompute > Python. Na caixa de diálogo, defina Name como mc.py e clique em Create.

mc.py é um nome de exemplo. Use qualquer nome adequado ao seu projeto.
Na aba de configuração do recurso, escreva seu script Python. Exemplo: Python 3:
Python 3
```
print('This is a test text')
```
Python 2
```
print "This is a test text"
```
Clique no ícone para salvar e, em seguida, clique no ícone para submeter o recurso.

Etapa 2: Referenciar o recurso em um nó Shell

Na página do DataStudio, clique com o botão direito em um workflow e escolha Create Node > General > Shell. Configure o parâmetro Name e clique em Confirm.
Na aba de configuração do nó Shell, localize mc.py em Resource, dentro da pasta MaxCompute. Clique com o botão direito no nome do recurso e selecione Insert Resource Path. Após inserir a referência com sucesso, a aba de configuração exibirá o caminho do recurso:

Etapa 3: Configurar e executar o nó

Adicione a diretiva de referência ao recurso e o comando do interpretador na aba de configuração e execute o nó.

Usar Python 3 para executar o recurso referenciado no nó Shell comum

##@resource_reference{"mc.py"}
/home/tops/bin/python3 mc.py

Usar Python 2 para executar o recurso referenciado no nó Shell comum

##@resource_reference{"mc.py"}
python mc.py

Para executar o nó, clique no ícone . Na caixa de diálogo de aviso, clique em Continue to Run. Na caixa de diálogo Runtime Parameters, selecione um grupo de recursos, especifique uma imagem personalizada e clique em OK.

A saída confirma a execução bem-sucedida do script:

Executar um script Python em um nó EMR Shell

Siga este procedimento se o nó Shell for executado em um grupo de recursos do E-MapReduce (EMR).

Etapa 1: Criar um recurso de arquivo EMR

Faça logon no console do DataWorks. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha Data Development and O&M > Data Development, selecione um workspace e clique em Go to Data Development.
Na página do DataStudio, clique com o botão direito em um workflow e escolha Create Resource > EMR > EMR File. Na caixa de diálogo, defina File Source como Local, clique em Upload para carregar o script emr.py e clique em Create. Conteúdo de exemplo do script: Python 3:

emr.py é um nome de exemplo. Use qualquer nome adequado ao seu projeto.
Python 3
```
print('This is a test text')
```
Python 2
```
print "This is a test text"
```
Clique no ícone na barra de ferramentas superior para submeter o recurso.

Etapa 2: Referenciar o recurso em um nó EMR Shell

Na página do DataStudio, clique com o botão direito em um workflow e escolha Create Node > EMR > EMR Shell. Configure o parâmetro Name e clique em Confirm.
Na aba de configuração do nó EMR Shell, localize emr.py em Resource, dentro da pasta EMR. Clique com o botão direito no nome do recurso e selecione Insert Resource Path. Após inserir a referência com sucesso, a aba de configuração exibirá o caminho do recurso:

Etapa 3: Configurar e executar o nó

Adicione a diretiva de referência ao recurso e o comando do interpretador na aba de configuração e execute o nó.

Usar Python 3 para executar o recurso referenciado no nó EMR Shell

##@resource_reference{"emr.py"}
/home/tops/bin/python3 emr.py

Usar Python 2 para executar o recurso referenciado no nó EMR Shell

##@resource_reference{"emr.py"}
python emr.py

Para executar o nó, clique no ícone . Na caixa de diálogo Parameters, selecione um grupo de recursos, especifique uma imagem personalizada e clique em Run.

A saída confirma a execução bem-sucedida do script: