MaxCompute:Fonction table définie par l'utilisateur (UDTF) en Python 3

Activer Python 3

Par défaut, les projets MaxCompute utilisent Python 2 pour les UDF. Pour utiliser Python 3, ajoutez la commande suivante au niveau de la session avant votre instruction SQL et soumettez l'ensemble :

set odps.sql.python.version=cp37;

Structure du code UDTF

Utilisez MaxCompute Studio pour écrire le code UDTF en Python 3. Une UDTF se compose de quatre éléments :

# Import the function signature module and the base class.
from odps.udf import annotate
from odps.udf import BaseUDTF

# Function signature: takes a STRING, returns a STRING.
@annotate('string -> string')

# Custom Python class derived from BaseUDTF.
class Explode(BaseUDTF):

    def process(self, arg):
        props = arg.split(',')
        for p in props:
            self.forward(p)

Limitations

Python 3 n'est pas compatible avec Python 2. Une instruction SQL unique ne peut pas mélanger des UDTF Python 2 et Python 3.

Migrer les UDTF Python 2

Python 2 a atteint sa fin de vie. Migrez vos UDTF Python 2 existantes en fonction de la situation de votre projet :

• Nouveau projet ou première UDF Python : Rédigez toutes les UDF Python en Python 3 dès le départ.

• Projet existant avec de nombreuses UDTF Python 2 : Migrez progressivement pour éviter toute perturbation. Choisissez l'une des approches suivantes :

  • Rédigez les nouvelles UDTF en Python 3 et activez Python 3 au niveau de la session pour les tâches utilisant ces nouvelles UDTF. Pour plus de détails, consultez la section Activer Python 3.

  • Réécrivez les UDTF Python 2 existantes pour qu'elles soient compatibles avec Python 2 et Python 3. Consultez le guide Porting Python 2 Code to Python 3 pour obtenir des indications.

Si une UDTF est partagée entre plusieurs projets MaxCompute, rendez-la compatible avec Python 2 et Python 3 afin d'éviter de perturber les projets qui utilisent encore Python 2.

Bibliothèques tierces

NumPy n'est pas inclus dans l'environnement d'exécution Python 3 de MaxCompute. Pour utiliser NumPy dans une UDTF, téléchargez manuellement un package wheel NumPy en tant que ressource. Le nom de fichier attendu depuis Python Package Index (PyPI) ou une image est :

numpy-<Version>-cp37-cp37m-manylinux1_x86_64.whl

Pour obtenir des instructions sur le téléchargement du package, consultez les sections Opérations sur les ressources ou Référencer des packages tiers dans les UDF Python.

Signatures de fonction et types de données

Une signature de fonction déclare les types de données des paramètres d'entrée et des valeurs de retour d'une UDTF. MaxCompute valide la signature lors de l'analyse sémantique et renvoie une erreur si les types réels ne correspondent pas.

@annotate('arg_type_list -> type_list')

Référencer des ressources

Référencez des fichiers et des tables dans une UDF Python à l'aide du module odps.distcache.

odps.distcache.get_cache_file(resource_name)

Renvoie le contenu d'une ressource de fichier.

• resource_name : le nom d'une ressource de fichier existante dans votre projet MaxCompute. Renvoie une erreur si le nom est invalide ou si le fichier n'existe pas.

• Renvoie un objet de type fichier. Appelez close() sur l'objet lorsque vous avez terminé pour libérer le descripteur de fichier.

• Déclarez la ressource de fichier lors de la création de l'UDTF. Si vous omettez cette déclaration, l'appel de l'UDTF renvoie une erreur.

odps.distcache.get_cache_table(resource_name)

Renvoie le contenu d'une ressource de table.

• resource_name : le nom d'une ressource de table existante dans votre projet MaxCompute. Renvoie une erreur si le nom est invalide ou si la table n'existe pas.

• Renvoie un générateur. L'itération dessus produit un enregistrement par ligne, où chaque enregistrement est un ARRAY.

L'exemple suivant lit les données d'un fichier JSON et d'une ressource de table, puis génère des lignes basées sur une recherche :

from odps.udf import annotate
from odps.udf import BaseUDTF
from odps.distcache import get_cache_file
from odps.distcache import get_cache_table

@annotate('string -> string, bigint')
class UDTFExample(BaseUDTF):

    def __init__(self):
        import json
        # Load the JSON file resource into a dict.
        cache_file = get_cache_file('test_json.txt')
        self.my_dict = json.load(cache_file)
        cache_file.close()

        # Append records from the table resource into the dict.
        records = list(get_cache_table('table_resource1'))
        for record in records:
            self.my_dict[record[0]] = record[1]

    def process(self, pageid):
        # For each input pageid, forward all associated adid values.
        for adid in self.my_dict[pageid]:
            self.forward(pageid, adid)

Appeler une UDTF Python 3

Après avoir développé une UDTF Python 3 en suivant le processus de développement, appelez-la depuis MaxCompute SQL.

• Au sein d'un projet : Appelez l'UDTF de la même manière qu'une fonction intégrée.

• Entre projets : Référencez une UDTF d'un autre projet en utilisant le nom du projet comme préfixe :

  SELECT B:udf_in_other_project(arg0, arg1) AS res FROM table_t;

  Pour la configuration du partage de ressources entre projets, consultez la section Partage de ressources basé sur des packages entre projets.

Pour développer et tester une UDTF Python 3 dans MaxCompute Studio, consultez la section Développer une UDF Python.