DataWorks:Utiliser des packages tiers dans un nœud PyODPS

Concepts clés

1. Type de nœud : PyODPS 2 ou PyODPS 3

   • PyODPS 2 : basé sur un environnement Python 2.7.

   • PyODPS 3 : basé sur un environnement Python 3.7+.

   • Recommandation : Nous vous recommandons vivement d'utiliser PyODPS 3, car le support officiel de Python 2 a pris fin. Cette rubrique utilise PyODPS 3 comme exemple principal.

2. Type de groupe de ressources : groupe de ressources serverless ou groupe de ressources exclusif pour la planification

   • Groupe de ressources serverless (recommandé) : ce groupe de ressources est élastique et ne nécessite aucune maintenance. Il vous permet d'utiliser des images personnalisées pour gérer les packages tiers.

   • Groupe de ressources exclusif pour la planification (non recommandé) : il s'agit d'une solution héritée. Vous devez acheter et maintenir des serveurs ECS, et ses ressources ne peuvent pas être mises à l'échelle de manière élastique. L'utilisation d'O&M Assistant pour installer les dépendances présente de nombreuses limites et risque de corrompre l'environnement.

Déterminer le type de groupe de ressources

Dans la console DataWorks, accédez à la page Détails de l'espace de travail pour votre espace de travail. Sur la page Groupe de ressources, vérifiez le type de groupe de ressources associé à l'espace de travail.

• Si le type est General-purpose, vous utilisez un groupe de ressources serverless.

• Si le type est Data Scheduling, vous utilisez un groupe de ressources exclusif pour la planification.

Étape 1 : Créer une image personnalisée contenant la bibliothèque pendulum

Les images personnalisées définissent l'environnement d'exécution d'un groupe de ressources serverless.

1. Connectez-vous à la console DataWorks et cliquez sur Image Management dans le volet de navigation de gauche.

2. Accédez à l'onglet Custom Image.

3. Cliquez sur Create Image dans le coin supérieur gauche. Sur la page de création, configurez les paramètres clés suivants :

   Paramètre	Description
   Image Name	Saisissez un nom pour l'image personnalisée, par exemple pyodps3_with_pendulum.
   Reference Type	Sélectionnez DataWorks Official Image.
   Image Name/ID	Dans la liste déroulante, sélectionnez l'image officielle DataWorks dataworks_pyodps_task_pod.
   Supported Task Types	Sélectionnez le type de tâche PyODPS 3.
   Installation Package	Sélectionnez Python3, puis choisissez le package pendulum fourni par le système dans la liste déroulante. Pour installer un package open source qui n'est pas intégré, vous pouvez utiliser le mode Script pour une installation manuelle. Pour plus d'informations sur les méthodes de configuration, consultez Paramètres de création d'une image personnalisée. Important Pour installer des packages open source depuis l'internet public, le VPC associé au groupe de ressources serverless doit avoir un accès au réseau public.

4. Cliquez sur OK pour créer l'image personnalisée.

5. Sur la page Custom Images, testez puis déployez l'image. Une image doit réussir le test avant de pouvoir être déployée.

6. Dans la colonne Operation de l'image cible, cliquez sur > Modify Owning Workspace pour associer un espace de travail propriétaire à l'image personnalisée.

   Une fois l'image déployée avec succès, son Deployment Status passe à Deployed, et un bouton Disable apparaît dans la colonne Actions. Le menu déroulant Actions comprend également des options telles que Modify, Build, View Versions et Delete Image.

Étape 2 : Créer et configurer un nœud PyODPS 3

1. Dans la barre de navigation de gauche, cliquez sur Data Development and O&M > Data Studio, sélectionnez l'espace de travail cible dans la liste déroulante, puis cliquez sur Go to DataStudio.

2. Dans un flux métier existant, créez un nœud PyODPS 3 nommé pyodps3_pendulum_test.

3. Dans l'éditeur de code du nœud pyodps_pendulum_test, saisissez le code Python 3 suivant :

   # The pendulum package is installed in the custom image, so you can import it directly.
   import pendulum
   print("Start testing the third-party package pendulum...")
   try:
       # Use pendulum to get the current time in the "Asia/Shanghai" time zone.
       shanghai_time = pendulum.now('Asia/Shanghai')
       # Print the formatted time and time zone information.
       print(f"Successfully imported the 'pendulum' package.")
       print(f"The current time in Shanghai is: {shanghai_time.to_datetime_string()}")
       print(f"The corresponding time zone is: {shanghai_time.timezone_name}")
       print("\nTest passed! The PyODPS node successfully called the third-party package.")
   except Exception as e:
       print(f"Test failed. An error occurred: {e}")

Étape 3 : Tester et vérifier le résultat

1. Cliquez sur l'icône dans la barre d'outils pour exécuter le code. Dans la boîte de dialogue Parameter, sélectionnez l'image pyodps3_with_pendulum que vous avez créée.

   Important

   Si vous ne trouvez pas l'image cible, assurez-vous qu'elle est associée à l'espace de travail actuel. Pour plus d'informations, consultez l'étape 6 de « Étape 1 : Créer une image personnalisée ».

2. Consultez le journal d'exécution en bas de la page. La sortie suivante indique que le package pendulum a été appelé avec succès.

   Start testing the third-party package pendulum...
   Successfully imported the 'pendulum' package.
   The current time in Shanghai is: 2025-09-27 15:45:00
   The corresponding time zone is: Asia/Shanghai
   Test passed! The PyODPS node successfully called the third-party package.

Étape 4 : Déployer le nœud PyODPS 3

Une fois le test terminé, accédez à Scheduling > Resource Group dans le volet de droite. Sélectionnez votre groupe de ressources serverless et définissez l'image sur l'image personnalisée pyodps3_with_pendulum que vous avez créée. Vous pouvez ensuite déployer le nœud vers Operation Center.