MaxCompute:Développement d'UDF (Python 3)

Structure du code UDF

# Import the function signature module.
from odps.udf import annotate
# Define the function signature.
@annotate("bigint,bigint->bigint")
# Define the custom Python class.
class MyPlus(object):
# Implement the evaluate method.
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Limites

• Accès à Internet via les UDF

  Par défaut, MaxCompute n'autorise pas l'accès à Internet via les UDF. Si vous souhaitez accéder à Internet via des UDF, remplissez le formulaire de demande de connexion réseau en fonction de vos besoins métier et soumettez la demande. L'équipe d'assistance technique MaxCompute vous contactera rapidement pour activer la connectivité réseau. Pour plus d'informations sur la manière de remplir le formulaire de demande de connexion réseau, consultez la rubrique Processus de connexion réseau.

• Accès à un VPC via les UDF

  Par défaut, MaxCompute n'autorise pas l'accès aux ressources des VPC via les UDF. Pour utiliser des UDF afin d'accéder aux ressources d'un VPC, vous devez établir une connexion réseau entre MaxCompute et le VPC. Pour plus d'informations sur les opérations associées, consultez la rubrique Accéder aux ressources VPC depuis une UDF.

• Lecture des données de table via des UDF, UDAF ou UDTF

  Vous ne pouvez pas utiliser des UDF, UDAF ou UDTF pour lire les données des types de tables suivants :

  • Table sur laquelle une évolution de schéma est effectuée

  • Table contenant des types de données complexes

  • Table contenant des types de données JSON

  • Table transactionnelle

Remarques sur l'utilisation

Python 3 n'est pas compatible avec Python 2 et les deux ne peuvent pas être utilisés dans la même instruction SQL. Tenez compte de la compatibilité avant d'effectuer la migration.

Développement de fonctions définies par l'utilisateur (UDF) : flux de travail général

Le développement d'une UDF comprend la préparation de l'environnement, la rédaction du code, le chargement et l'enregistrement de la fonction, puis son appel. Les sections suivantes décrivent ce flux de travail à l'aide de MaxCompute Studio, DataWorks et odpscmd.

Installation de la bibliothèque NumPy

L'environnement d'exécution Python 3 intégré n'inclut pas NumPy. Si votre fonction UDF nécessite NumPy, téléchargez manuellement le package WHEEL. Lorsque vous téléchargez le package depuis PyPI ou un site miroir, le nom du fichier suit le format numpy-<version>-cp37-cp37m-manylinux1_x86_64.whl. Pour plus d'informations sur le téléchargement d'un package, consultez les rubriques Resource operations ou Use a third-party package in a Python UDF.

Pour obtenir la liste des bibliothèques standard prises en charge par Python 3, consultez la documentation relative à la bibliothèque standard Python 3.

Signatures de fonction et types de données

@annotate(<signature>)

'arg_type_list -> type'

Le tableau suivant décrit les correspondances entre les types de données pris en charge dans MaxCompute SQL et les types de données Python 2. Vous devez écrire les UDF Python en vous basant sur ces correspondances afin de garantir la cohérence des types de données.

Référencement de ressources

Vous pouvez référencer des fichiers ou des tables dans le code UDF Python 2 en utilisant le module odps.distcache.

• odps.distcache.get_cache_file(resource_name, mode) : renvoie le contenu d'une ressource de fichier spécifiée selon le mode indiqué.

  • resource_name est une chaîne de caractères qui spécifie le nom d'une table existante dans votre projet MaxCompute. Si le nom de la table n'est pas valide ou si la table n'existe pas, une erreur est renvoyée.

  • Le paramètre mode est de type STRING. La valeur par défaut est 't'. Si vous définissez mode sur 't', le fichier est ouvert en mode texte. Si vous définissez mode sur 'b', le fichier est ouvert en mode binaire.

  • La valeur de retour est un objet de type fichier. Lorsque cet objet n'est plus utilisé, vous devez appeler la méthode close pour libérer le fichier ouvert.

  Le code suivant illustre comment référencer un fichier.

  from odps.udf import annotate
  from odps.distcache import get_cache_file
  @annotate('bigint->string')
  class DistCacheExample(object):
  def __init__(self):
      cache_file = get_cache_file('test_distcache.txt')
      kv = {}
      for line in cache_file:
          line = line.strip()
          if not line:
              continue
          k, v = line.split()
          kv[int(k)] = v
      cache_file.close()
      self.kv = kv
  def evaluate(self, arg):
      return self.kv.get(arg)

• odps.distcache.get_cache_table(resource_name) : renvoie le contenu d'une ressource de table spécifiée.

  • Le paramètre resource_name spécifie une ressource de table existante dans le projet MaxCompute actuel. Une exception est levée si le nom de la ressource n'est pas valide ou si la ressource n'existe pas. Types de données pris en charge : BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, FLOAT, CHAR, VARCHAR, BINARY, DATE, DECIMAL, ARRAY, MAP et STRUCT.

  • La valeur de retour est un générateur. Chaque itération produit un enregistrement de table sous forme de tableau.

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

Appel des UDF

set odps.sql.python.version=cp37;

Migration des UDF Python 2

Exemples d'UDF

• Écrire une UDF Hive en Java

• Utiliser des types de données complexes dans les UDF Java

• Remplacer des chaînes à l'aide d'expressions régulières

• Obtenir les valeurs de chaînes sans délimiteurs

• Obtenir les valeurs de chaînes avec délimiteurs

• Référencer une ressource de fichier

• Référencer une ressource de table

• Référencer des packages tiers dans les UDF Python