MaxCompute:Référencer un package tiers dans un nœud PyODPS

Prérequis

Avant de commencer, assurez-vous d'avoir :

• MaxCompute activé

• DataWorks activé

Choisir une méthode

Sélectionnez la méthode adaptée à votre scénario :

Télécharger un package tiers

Avant de référencer un package tiers, téléchargez-le sur MaxCompute en tant que ressource d'archive. Utilisez l'une des méthodes suivantes :

• Téléchargement par code. Remplacez packages.tar.gz par le chemin et le nom de votre fichier de package.

  import os
  from odps import ODPS
  
  # Load credentials from environment variables.
  # Avoid hardcoding your AccessKey ID or AccessKey secret in code.
  o = ODPS(
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
      project='<your-default-project>',
      endpoint='<your-end-point>',
  )
  o.create_resource("test_packed.tar.gz", "archive", fileobj=open("packages.tar.gz", "rb"))

• Téléchargement via DataWorks. Consultez la section Étape 1 : Créer une ressource ou télécharger une ressource existante.

Référencer un package tiers dans une UDF Python

Pour utiliser un package tiers dans une fonction définie par l'utilisateur (UDF) Python, modifiez la classe UDF :

1. Ajoutez le chemin du package à sys.path dans la méthode __init__.

2. Placez l'instruction d'importation à l'intérieur du corps de la fonction (la fonction evaluate ou la méthode process).

Référencer un package tiers dans PyODPS DataFrame

Transmettez le paramètre libraries à la méthode execute ou persist. L'exemple suivant utilise la méthode map ; la procédure est identique pour les méthodes apply et map_reduce.

1. Empaquetez SciPy.

   pyodps-pack -o scipy-bundle.tar.gz scipy

2. Exécutez le code suivant pour appliquer le package à une opération DataFrame. Cet exemple calcule psi(col1) sur une table nommée test_float_col, qui possède une seule colonne de type FLOAT.

   import os
   from odps import ODPS, options
   
   def my_psi(v):
       from scipy.special import psi
   
       return float(psi(v))
   
   # Skip this setting if isolation is already enabled for your project.
   options.sql.settings = {"odps.isolation.session.enable": True}
   
   # Load credentials from environment variables.
   # Avoid hardcoding your AccessKey ID or AccessKey secret in code.
   o = ODPS(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='<your-default-project>',
       endpoint='<your-end-point>',
   )
   df = o.get_table("test_float_col").to_df()
   
   # Execute and return the result.
   df.col1.map(my_psi).execute(libraries=["scipy-bundle.tar.gz"])
   
   # Save the result to another table.
   df.col1.map(my_psi).persist("result_table", libraries=["scipy-bundle.tar.gz"])

   Les données d'entrée se présentent comme suit :

      col1
   0  3.75
   1  2.51

3. (Facultatif) Pour utiliser le même package pour toutes les opérations DataFrame de la session, définissez le paramètre global.

   from odps import options
   options.df.libraries = ["scipy-bundle.tar.gz"]

Référencer un package tiers dans DataWorks

Un nœud PyODPS DataWorks fournit des packages tiers intégrés. Pour utiliser un package qui n'est pas intégré, appelez la méthode load_resource_package. Pour plus de détails, consultez la section Utiliser un package tiers.

Télécharger et référencer manuellement un package tiers

Suivez ces instructions uniquement pour les projets existants qui utilisent déjà des dépendances WHL téléchargées manuellement, ou pour les environnements exécutant une version antérieure de MaxCompute qui ne prend pas en charge les packages binaires. Pour les nouveaux projets, utilisez plutôt pyodps-pack .

Cet exemple utilise python-dateutil dans la méthode map.

1. Téléchargez python-dateutil et ses dépendances dans un répertoire local. Exécutez cette commande sous Linux pour vous assurer que les packages sont compatibles avec le système d'exploitation Linux.

   pip download python-dateutil -d /to/path/

   Deux packages sont téléchargés : six-1.10.0-py2.py3-none-any.whl et python_dateutil-2.5.3-py2.py3-none-any.whl.

2. Téléchargez les packages sur MaxCompute.

   • Méthode 1 : Utiliser le code.

     # Make sure the file name extensions are valid.
     odps.create_resource('six.whl', 'file', file_obj=open('six-1.10.0-py2.py3-none-any.whl', 'rb'))
     odps.create_resource('python_dateutil.whl', 'file', file_obj=open('python_dateutil-2.5.3-py2.py3-none-any.whl', 'rb'))

   • Méthode 2 : Utiliser DataWorks. Consultez la section Étape 1 : Créer une ressource ou télécharger une ressource existante.

3. Référencez les packages dans votre code. Cet exemple analyse les chaînes de dates à partir d'une colonne DataFrame.

   • Définir les bibliothèques globalement :

     from odps import options
     
     def get_year(t):
         from dateutil.parser import parse
         return parse(t).strftime('%Y')
     
     options.df.libraries = ['six.whl', 'python_dateutil.whl']
     df.datestr.map(get_year).execute()

     Sortie :

        datestr
     0     2016
     1     2015

   • Transmettre les bibliothèques par appel :

     def get_year(t):
         from dateutil.parser import parse
         return parse(t).strftime('%Y')
     
     df.datestr.map(get_year).execute(libraries=['six.whl', 'python_dateutil.whl'])

     Sortie :

        datestr
     0     2016
     1     2015

# Binary packages must be uploaded as archive resources.
# Rename the .whl file to .zip before uploading.
odps.create_resource('scipy.zip', 'archive', file_obj=open('scipy-0.19.0-cp27-cp27m-manylinux1_x86_64.whl', 'rb'))

# Skip this setting if isolation is already enabled for your project.
options.sql.settings = { 'odps.isolation.session.enable': True }

def my_psi(value):
    # Place the import statement inside the function to avoid runtime errors
    # caused by structural differences in binary packages across operating systems.
    from scipy.special import psi
    return float(psi(value))

df.float_col.map(my_psi).execute(libraries=['scipy.zip'])

python setup.py bdist_wheel