MaxCompute:Développement d'UDF (Python 3)

Structure du code UDF

# Import the function signature module.
from odps.udf import annotate
# Define the function signature.
@annotate("bigint,bigint->bigint")
# Define the custom Python class.
class MyPlus(object):
# Implement the evaluate method.
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Limites

• Accès à Internet via les UDF

  Par défaut, MaxCompute n'autorise pas l'accès à Internet via les UDF. Si vous souhaitez accéder à Internet via des UDF, remplissez le formulaire de demande de connexion réseau en fonction de vos besoins métier et soumettez la demande. L'équipe d'assistance technique MaxCompute vous contactera rapidement pour activer la connectivité réseau. Pour plus d'informations sur le remplissage du formulaire de demande de connexion réseau, consultez la rubrique Processus de connexion réseau.

• Accès à un VPC via les UDF

  Par défaut, MaxCompute n'autorise pas l'accès aux ressources des VPC via les UDF. Pour utiliser des UDF afin d'accéder aux ressources d'un VPC, vous devez établir une connexion réseau entre MaxCompute et le VPC. Pour plus d'informations sur les opérations associées, consultez la rubrique Accéder aux ressources VPC depuis une UDF.

• Lecture des données de table via des UDF, UDAF ou UDTF

  Vous ne pouvez pas utiliser d'UDF, d'UDAF ou d'UDTF pour lire les données des types de tables suivants :

  • Table sur laquelle une évolution de schéma est effectuée

  • Table contenant des types de données complexes

  • Table contenant des types de données JSON

  • Table transactionnelle

Remarques d'utilisation

Python 3 n'est pas compatible avec Python 2 et les deux versions ne peuvent pas être utilisées dans la même instruction SQL. Tenez compte de la compatibilité avant d'effectuer la migration.

Développement d'UDF : flux de travail général

Le développement d'UDF implique la préparation de l'environnement, l'écriture du code, le chargement et l'enregistrement de l'UDF, puis son appel. Les sections suivantes détaillent ce flux de travail à l'aide de MaxCompute Studio, DataWorks et odpscmd.

Installer la bibliothèque NumPy

L'environnement d'exécution Python 3 intégré n'inclut pas NumPy. Si votre UDF nécessite NumPy, chargez manuellement le package WHEEL. Lorsque vous téléchargez le package depuis PyPI ou un site miroir, le nom du fichier suit le format numpy-<version>-cp37-cp37m-manylinux1_x86_64.whl. Pour plus d'informations sur le chargement d'un package, consultez les rubriques Opérations sur les ressources ou Utiliser un package tiers dans une UDF Python.

Pour obtenir la liste des bibliothèques standard prises en charge par Python 3, consultez la page Bibliothèque standard Python 3.

Signatures de fonction et types de données

@annotate(<signature>)

'arg_type_list -> type'

Le tableau suivant décrit les correspondances entre les types de données pris en charge dans MaxCompute SQL et les types de données Python 2. Vous devez écrire les UDF Python en vous basant sur ces correspondances pour garantir la cohérence des types de données.

Référencement de ressources

Vous pouvez référencer des fichiers ou des tables dans le code UDF Python 2 à l'aide du module odps.distcache .

• odps.distcache.get_cache_file(resource_name, mode) : Renvoie le contenu d'une ressource de fichier spécifiée dans le mode indiqué.

  • resource_name est une chaîne qui spécifie le nom d'une table existante dans votre projet MaxCompute. Si le nom de la table n'est pas valide ou si la table n'existe pas, une erreur est renvoyée.

  • Le paramètre mode est une chaîne STRING. La valeur par défaut est 't'. Si vous définissez mode sur 't', le fichier est ouvert en mode texte. Si vous définissez mode sur 'b', le fichier est ouvert en mode binaire.

  • La valeur de retour est un objet de type fichier. Si cet objet n'est plus utilisé, vous devez appeler la méthode close pour libérer le fichier ouvert.

  Le code suivant montre comment référencer un fichier.

  from odps.udf import annotate
  from odps.distcache import get_cache_file
  @annotate('bigint->string')
  class DistCacheExample(object):
  def __init__(self):
      cache_file = get_cache_file('test_distcache.txt')
      kv = {}
      for line in cache_file:
          line = line.strip()
          if not line:
              continue
          k, v = line.split()
          kv[int(k)] = v
      cache_file.close()
      self.kv = kv
  def evaluate(self, arg):
      return self.kv.get(arg)

• odps.distcache.get_cache_table(resource_name) : Renvoie le contenu d'une ressource de table spécifiée.

  • Le paramètre resource_name spécifie une ressource de table existante dans le projet MaxCompute actuel. Une exception est levée si le nom de la ressource n'est pas valide ou si la ressource n'existe pas. Types de données pris en charge : BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, FLOAT, CHAR, VARCHAR, BINARY, DATE, DECIMAL, ARRAY, MAP et STRUCT.

  • La valeur de retour est un générateur. Chaque itération produit un enregistrement de table sous forme de tableau.

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

Appel d'UDF

set odps.sql.python.version=cp37;

Migrer les UDF Python 2

Exemples d'UDF

• Écrire une UDF Hive en Java

• Utiliser des types de données complexes dans les UDF Java

• Remplacer des chaînes à l'aide d'expressions régulières

• Obtenir les valeurs de chaînes sans délimiteurs

• Obtenir les valeurs de chaînes avec délimiteurs

• Référencer une ressource de fichier

• Référencer une ressource de table

• Référencer des packages tiers dans les UDF Python