DataWorks:Uso de pacotes de terceiros em um nó PyODPS

Conceitos-chave

1. Tipo de nó: PyODPS 2 vs. PyODPS 3

   • PyODPS 2: Baseado em um ambiente Python 2.7.

   • PyODPS 3: Baseado em um ambiente Python 3.7+.

   • Recomendação: Recomendamos fortemente o uso do PyODPS 3, pois o suporte oficial ao Python 2 foi encerrado. Este tópico usa o PyODPS 3 como exemplo principal.

2. Tipo de grupo de recursos: grupo de recursos serverless vs. grupo de recursos exclusivo para agendamento

   • Grupo de recursos serverless (Recomendado): Este grupo de recursos é elástico e livre de manutenção. Ele permite usar imagens personalizadas para gerenciar pacotes de terceiros.

   • Grupo de recursos exclusivo para agendamento (Não recomendado): Esta é uma solução legada. É necessário adquirir e manter servidores ECS, e os recursos não escalam elasticamente. O uso do O&M Assistant para instalar dependências tem diversas limitações e pode corromper o ambiente.

Identificar o tipo de grupo de recursos

No console do DataWorks, acesse a página Workspace Details do seu workspace. Na página Resource Group, verifique o tipo de grupo de recursos associado ao workspace.

• Se o tipo for General-purpose, você usa um grupo de recursos serverless.

• Se o tipo for Data Scheduling, você usa um grupo de recursos exclusivo para agendamento.

Etapa 1: Criar uma imagem personalizada contendo a biblioteca pendulum

Imagens personalizadas definem o ambiente de execução de um grupo de recursos serverless.

1. Faça login no console do DataWorks e clique em Image Management no painel de navegação à esquerda.

2. Acesse a aba Custom Image.

3. Clique em Create Image no canto superior esquerdo. Na página Create, configure os seguintes parâmetros principais:

   Parâmetro	Descrição
   Image Name	Insira um nome para a imagem personalizada, por exemplo, pyodps3_with_pendulum.
   Reference Type	Selecione DataWorks Official Image.
   Image Name/ID	Na lista suspensa, selecione a imagem oficial do DataWorks dataworks_pyodps_task_pod.
   Supported Task Types	Selecione o tipo de tarefa PyODPS 3.
   Installation Package	Selecione Python3 e escolha o pacote pendulum fornecido pelo sistema na lista suspensa. Para instalar um pacote open-source que não seja nativo, use o modo Script para instalação manual. Para mais informações sobre os métodos de configuração, consulte Parâmetros para criação de imagem personalizada. Importante Para instalar pacotes open-source da internet pública, a VPC associada ao grupo de recursos serverless deve ter acesso à rede pública.

4. Clique em OK para criar a imagem personalizada.

5. Na página Custom Images, teste e depois implante a imagem. A imagem precisa passar no teste antes da implantação.

6. Na coluna Operation da imagem desejada, clique em > Modify Owning Workspace para associar um workspace proprietário à imagem personalizada.

   Após a implantação bem-sucedida da imagem, o Deployment Status muda para Deployed, e um botão Disable aparece na coluna Actions. O menu suspenso Actions também inclui opções como Modify, Build, View Versions e Delete Image.

Etapa 2: Criar e configurar um nó PyODPS 3

1. Na barra de navegação à esquerda, clique em Data Development and O&M > Data Studio, selecione o workspace desejado na lista suspensa e clique em Go to DataStudio.

2. Em um business flow existente, crie um nó PyODPS 3 chamado pyodps3_pendulum_test.

3. No editor de código do nó pyodps_pendulum_test, insira o seguinte código Python 3:

   # The pendulum package is installed in the custom image, so you can import it directly.
   import pendulum
   print("Start testing the third-party package pendulum...")
   try:
       # Use pendulum to get the current time in the "Asia/Shanghai" time zone.
       shanghai_time = pendulum.now('Asia/Shanghai')
       # Print the formatted time and time zone information.
       print(f"Successfully imported the 'pendulum' package.")
       print(f"The current time in Shanghai is: {shanghai_time.to_datetime_string()}")
       print(f"The corresponding time zone is: {shanghai_time.timezone_name}")
       print("\nTest passed! The PyODPS node successfully called the third-party package.")
   except Exception as e:
       print(f"Test failed. An error occurred: {e}")

Etapa 3: Testar e verificar o resultado

1. Clique no ícone na barra de ferramentas para executar o código e, na caixa de diálogo Parameter, selecione a imagem pyodps3_with_pendulum criada.

   Importante

   Se não encontrar a imagem desejada, certifique-se de que ela esteja associada ao workspace atual. Para mais informações, consulte a Etapa 6 em "Etapa 1: Criar uma imagem personalizada".

2. Visualize o log de execução na parte inferior da página. A saída a seguir indica que o pacote pendulum foi chamado com sucesso.

   Start testing the third-party package pendulum...
   Successfully imported the 'pendulum' package.
   The current time in Shanghai is: 2025-09-27 15:45:00
   The corresponding time zone is: Asia/Shanghai
   Test passed! The PyODPS node successfully called the third-party package.

Etapa 4: Implantar o nó PyODPS 3

Após concluir o teste, acesse Scheduling > Resource Group no painel à direita. Selecione seu grupo de recursos serverless e defina a imagem como a imagem personalizada pyodps3_with_pendulum criada. Em seguida, implante o nó no Operation Center.