DataWorks:Image personnalisée

Limites

• Limites liées à l'édition :

  • Toutes les éditions prennent en charge la création et l'utilisation d'images personnalisées.

  • Seule l'édition Professionnelle ou supérieure prend en charge la construction d'images.

• Limites liées au groupe de ressources : La fonctionnalité d'image personnalisée prend en charge uniquement les groupes de ressources serverless.

  Pour les groupes de ressources hérités, utilisez Cloud Assistant pour installer les dépendances externes.

• Limites liées aux autorisations : Vous devez disposer de l'autorisation AliyunDataWorksFullAccess ou ModifyResourceGroup.

  Pour plus de détails sur l'autorisation, consultez Politique RAM pour les autorisations de service et de console .

Quotas et limites

• Quantité d'images : Le nombre d'images personnalisées que vous pouvez créer dépend de votre édition DataWorks.

  • Édition Basique et Édition Standard : 10

  • Édition Professionnelle : 50

  • Édition Entreprise : 100

• Concurrence de construction : Vous pouvez construire jusqu'à deux images simultanément dans chaque région.

• Exigences relatives aux images ACR :

  • Édition de l'instance : Seules les instances Enterprise Edition d'Alibaba Cloud Container Registry (ACR) sont prises en charge.

  • Architecture de l'instance : Seule l'architecture AMD64 est prise en charge.

  • Taille de l'image : Une seule image ne peut pas dépasser 5 Go.

  • Configuration du fuseau horaire : Installez le package de fuseau horaire tzdata pour éviter les échecs de conteneur dus à une incompatibilité de fuseau horaire avec DataWorks.

• Construction d'images : Les constructions persistantes sont disponibles uniquement pour les images personnalisées créées à partir des images officielles DataWorks. Les images personnalisées qui référencent une image ACR ne prennent pas en charge les constructions persistantes et doivent être extraites et déployées à nouveau à chaque exécution de tâche.

• Types de nœuds pris en charge et méthodes de construction :

  Type de nœud	Construction à partir d'images officielles	Construction à partir d'images ACR
  PyODPS2	Pris en charge	Non pris en charge
  PyODPS3	Pris en charge	Non pris en charge
  EMR Spark	Pris en charge	Non pris en charge
  EMR Spark SQL	Pris en charge	Non pris en charge
  EMR SHELL	Pris en charge	Non pris en charge
  Shell	Pris en charge	Pris en charge
  Python	Pris en charge	Pris en charge
  Notebook	Non pris en charge	Pris en charge
  CDH	Pris en charge	Non pris en charge
  Assignment Node	Pris en charge	Non pris en charge

Procédure

Facturation

La construction d'images entraîne un coût de calcul calculé comme suit : Nombre de CU × Durée de construction. Le système alloue 0,5 CU par défaut. Pour plus d'informations sur la facturation, consultez Normes de facturation pour les groupes de ressources Serverless.

Utilisation en production

Suivez ces recommandations pour maintenir la stabilité et la rentabilité des images personnalisées en production.

• Images persistantes : Intégrez les configurations stables dans des images persistantes pour éviter de réinstaller les dépendances à chaque exécution. Cela réduit le temps de démarrage, diminue les coûts de calcul et améliore la stabilité.

• Cohérence de l'environnement : Maintenez la cohérence des configurations VPC et réseau entre les groupes de ressources serverless utilisés pour les tests, la construction et la planification de production, en particulier lors de l'accès à un référentiel ACR privé ou au réseau public.

• Épinglage de version : Lors de l'installation de dépendances avec la méthode Script, spécifiez des numéros de version exacts (par exemple, pip install pandas==1.5.3). Cela empêche les comportements inattendus dus aux mises à jour des bibliothèques amont.

• Plan de restauration : Si une tâche de production échoue après une mise à jour d'image, revenez à une version précédente à l'aide de l'historique de déploiement des tâches, ou définissez l'image sur une version antérieure et stable dans les paramètres de planification.

Cas d'utilisation

Cet exemple montre comment utiliser une image personnalisée avec un nœud PyODPS pour effectuer une segmentation de mots chinois. Le workflow pré-installe la boîte à outils jieba dans une image personnalisée, lit le texte d'une table MaxCompute, le segmente et écrit les résultats dans une table de destination pour la planification en aval.

1. Créez des données de test.

   1. Créez un espace de travail DataWorks et associez-le à une ressource de calcul MaxCompute. Pour plus de détails, consultez Créer un espace de travail et Gérer les ressources de calcul.

   2. Dans Data Studio, créez un nœud ODPS (dans l'ancien Data Studio) ou un nœud MaxCompute SQL (dans le nouveau Data Studio) pour créer et remplir une table de test.

      Remarque

      L'exemple suivant utilise un paramètre de planification. Dans Scheduling Settings à droite, définissez le nom du paramètre sur bday et la valeur sur $[yyyymmdd].

      Créer une table de test.

      -- Create a test table.
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT 'partition')
      LIFECYCLE 90;
      -- Insert test data into the table.
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, 'As evening snow is due, won''t you stay for a drink?'),
      (2, 'Moon sets, crows caw, frost fills the sky; river maples and fishing fires sleeplessly sigh.'),
      (3, 'Where mountains and rivers seemed to end, a village appears amidst the willows and flowers.'),
      (4, 'In spring slumber, unaware of dawn, bird songs fill the air all around.'),
      (5, 'Quiet night thoughts: bright moonlight before my bed, like frost upon the ground.'),
      (6, 'The bright moon rises over the sea; from the farthest shores, we share this moment.'),
      (7, 'The swallows of the noble Wang and Xie clans of old now fly into the homes of common folk.'),
      (8, 'A line of white egrets ascends the blue sky; the window frames the ancient snows of the Western Range.'),
      (9, 'Life is for joy, so live it to the fullest; let not your golden cup be empty under the moon.'),
      (10, 'Heaven gave me talent, so it must be put to use; a thousand pieces of gold, once spent, will come back again.');

   3. Enregistrez et déployez le nœud.

2. Créez une image personnalisée.

   Pour plus de détails, consultez Créer une image personnalisée. Configurez les paramètres clés comme suit :

   • Nom/ID de l'image : Sélectionnez dataworks_pyodps_task_pod, l'image officielle DataWorks pour les nœuds PyODPS.

   • Types de tâches pris en charge : Sélectionnez PyODPS2 et PyODPS 3.

   • Package d'installation : Sélectionnez Python3 et jieba.

3. Publiez l'image personnalisée et associez-la à votre espace de travail. Pour plus de détails, consultez Publier une image personnalisée et Modifier l'association d'espace de travail d'une image.

4. Utilisez l'image personnalisée dans une tâche planifiée.

   1. Dans Data Studio, créez un nœud PyODPS 3 et ajoutez le code suivant :

      Utiliser l'image personnalisée.

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      # Read data from the table.
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      # Segment the extracted text.
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      # Create the destination table.
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='Word segmentation result')], partitions=[Column(name='ds', type='string', comment='Partition field')])
          o.create_table("participle_tb", schema)
      # Write the segmentation results to the destination table.
      # Define the output partition and table.
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      # If the partition does not exist, create it.
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      # Write the segmentation results to the table.
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. Dans les paramètres de planification à droite, configurez les paramètres clés suivants :

      • Paramètre de planification : Définissez le nom du paramètre sur bday et la valeur sur $[yyyymmdd].

      • Resource Group for Scheduling : Sélectionnez le même groupe de ressources serverless que celui spécifié pour Publish Image lors de Test Resource Group.

      • Image : Sélectionnez l'image personnalisée publiée associée à l'espace de travail actuel.

   3. Déboguer le nœud.

      • Si vous utilisez l'ancien Data Studio, cliquez sur Run with Parameters () dans la barre d'outils du nœud. Configurez Resource Group Name, CUs for Node Running, Image et Custom Parameters, puis cliquez sur Run.

      • Si vous utilisez le nouveau Data Studio, dans le panneau Run Configuration à droite, configurez Computing Resources, Resource Group, Calculate CU, Image et Script Parameters. Ensuite, cliquez sur Run dans la barre d'outils du nœud.

   4. (Facultatif) Créez une requête ad hoc (dans l'ancien Data Studio) ou un fichier SQL dans votre répertoire personnel (dans le nouveau Data Studio), puis exécutez l'instruction SQL suivante pour vérifier les données de la table de sortie.

      -- Replace <partition_date> with the actual partition date.
      SELECT * FROM participle_tb WHERE ds=<partition_date>;

      Si la requête renvoie des données, le résultat inclut la colonne word_segment (résultats de segmentation, avec des mots séparés par des barres verticales |) et la colonne ds (date de partition).

   5. Déployez le nœud PyODPS dans l'environnement de production.

      Remarque

      Les modifications d'image effectuées dans Data Studio ne sont pas automatiquement synchronisées avec l'environnement de production. Déployez la tâche pour que les modifications prennent effet. Pour plus de détails, consultez Déployer des tâches (ancien Data Studio) ou Déployer des nœuds/workflows (nouveau Data Studio).

5. Construisez une image persistante à partir de l'image personnalisée. Pour plus de détails, consultez Construire une image persistante.

FAQ

Q : Une tâche Python signale l'erreur "urllib3 v2.0 only supports OpenSSL 1.1.1+".

R : Le package urllib3 v2.0 requiert OpenSSL 1.1.1 ou une version ultérieure. Pour résoudre ce problème, rétrogradez urllib3 vers une version compatible. Par exemple : /home/tops/bin/pip3 install urllib3==1.26.16.

Documentation connexe

• Images publiques DataWorks

• Utiliser des groupes de ressources serverless

• Développer des tâches sur un cluster Hadoop géré par l'utilisateur

• Développer avec MaxCompute PyODPS

Annexe : Commandes d'installation

Pour installer des packages dans une image personnalisée à l'aide de la méthode script, utilisez les commandes suivantes.

• Pour les nœuds PyODPS 2, exécutez les commandes suivantes.

  pip install <package-name> -i  https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <package-name>

  Remarque

  Si vous êtes invité à mettre à niveau PIP, exécutez la commande suivante : pip install --upgrade pip.

• Pour les nœuds PyODPS 3, exécutez les commandes suivantes.

  /home/tops/bin/pip3 install <package-name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <package-name>

  Remarque

  • Si vous êtes invité à mettre à niveau PIP, exécutez la commande suivante : /home/tops/bin/pip3 install --upgrade pip.

  • Si l'erreur /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory se produit, soumettez un ticket pour demander les autorisations requises.

  Le tableau suivant répertorie les sources miroir Python publiques.

  Organisation	URL du miroir
  Alibaba Cloud	https://mirrors.aliyun.com/pypi/simple/ Important Vous pouvez obtenir des packages Python depuis Alibaba Cloud sans activer l'accès à Internet.
  Université Tsinghua	https://pypi.tuna.tsinghua.edu.cn/simple
  Université des sciences et technologies de Chine (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/