DataWorks:Nó Python

Pré-requisitos

• Adicione o usuário RAM ao seu workspace.

  Para desenvolver tarefas com um usuário RAM, adicione-o como membro do workspace e atribua a função Develop ou Workspace Administrator. A função Workspace Administrator concede mais permissões do que o necessário; tenha cautela ao atribuí-la. Para obter mais informações sobre como adicionar membros e atribuir funções, consulte Add members to a workspace.

• Associe um grupo de recursos serverless ao seu workspace. Para mais detalhes, consulte os tópicos no diretório Use serverless resource groups.

• Crie um nó Python antes de iniciar o desenvolvimento. Consulte Create a node for a scheduling workflow para instruções detalhadas.

Observações

• Ao executar uma tarefa com um grupo de recursos serverless, cada tarefa pode consumir no máximo 64 CU. No entanto, não ultrapasse 16 CU para evitar escassez de recursos que possa comprometer a inicialização das tarefas.

• O nó Python oferece apenas um ambiente de execução básico. Caso seu código dependa de pacotes de terceiros, crie uma imagem personalizada, instale as dependências na imagem e execute o nó Python utilizando essa imagem.

Etapa 1: Desenvolver o nó Python

1. Desenvolva o nó Python.

   • Edite o código Python.

     O exemplo abaixo implementa um algoritmo de ordenação por bolha (bubble sort).

     def bubble_sort(arr):
         n = len(arr)
         # Outer loop controls each traversal
         for i in range(n):
             # Inner loop compares and swaps adjacent elements
             for j in range(0, n-i-1):
                 # If the current element is greater than the next, swap them
                 if arr[j] > arr[j+1]:
                     arr[j], arr[j+1] = arr[j+1], arr[j]
         return arr
     
     # Test code
     if __name__ == "__main__":
         example_list = [64, 34, 25, 12, 22, 11, 90]
         sorted_list = bubble_sort(example_list)
         print("Sorted list:", sorted_list)

2. Após desenvolver o código, clique em Run Configuration no painel à direita. Configure os parâmetros da execução de teste, incluindo o grupo de recursos, e clique no botão Run para testar o código.

   Nota

   A depuração e o agendamento de nós Python são suportados exclusivamente por grupos de recursos serverless. Verifique se o workspace atual possui um grupo de recursos serverless associado. Para mais informações, consulte Use serverless resource groups.

3. Depois de desenvolver e testar o script do nó Python, configure as propriedades de agendamento para executar o nó periodicamente .

4. (Opcional) Configure os parâmetros de agendamento.

   O nó Python recebe os parâmetros de agendamento como argumentos de linha de comando. Adicione os valores dos parâmetros em ordem, separados por espaços, na seção de configuração correspondente. No código, utilize sys.argv[1], sys.argv[2] e assim por diante para acessar cada valor pelo índice.

   Nota

   • Diferentemente de um nó PyODPS, o nó Python não permite referenciar parâmetros diretamente pelo nome, como $var1. Leia os parâmetros explicitamente via sys.argv.

   • Os parâmetros de agendamento são passados como argumentos de linha de comando somente após o envio, a implantação e a execução do nó como uma instância agendada (como agendamento periódico ou backfill de dados). Leia-os via sys.argv. Durante a execução direta no Data Studio (modo de depuração), esses parâmetros não são injetados. Nesse cenário, sys.argv contém apenas o caminho do script, impossibilitando a recuperação dos valores.

   • Exemplo de definição de parâmetros

     $[yyyymmdd] abc

   • Exemplo de uso de parâmetros

     import sys
     
     # Print all received arguments
     print("All received arguments:", sys.argv)
     
     # Get the first and second arguments
     param1 = sys.argv[1]
     param2 = sys.argv[2]
     print("Parameter 1:", param1)
     print("Parameter 2:", param2)

   Para saber mais sobre a configuração de parâmetros de agendamento, consulte Configure scheduling parameters.

5. Concluída a configuração de agendamento, salve o nó antes de avançar para a próxima etapa.

Etapa 2: Implantar e gerencie o nó

1. Finalizada a configuração de agendamento, envie e implante o nó Python no ambiente de produção .

2. Após a implantação, a tarefa será executada periodicamente conforme as definições de agendamento estabelecidas. Acesse Operation and Maintenance Center > Node O&M > Auto Triggered Task O&M > Auto Triggered Task para visualizar as tarefas agendadas implantadas e gerenciá-las. Consulte Gerencie tarefas agendadas para informações adicionais.

Desenvolver tarefas em um ambiente de desenvolvimento pessoal

Também é possível desenvolver nós Python em um ambiente de desenvolvimento pessoal. Para mais detalhes, consulte Use a personal development environment.

Executar um nó usando uma função associada

Siga as instruções em associe uma função RAM para executar um nó para executar tarefas de nó com uma função RAM específica, garantindo controle granular de permissões e gestão de segurança.