MaxCompute:Présentation des UDTF

Quand utiliser les UDTF

Recourez à une UDTF lorsque les fonctions natives ne peuvent pas exprimer votre logique, par exemple si vous devez émettre un nombre variable de lignes de sortie pour chaque ligne d'entrée, ou si votre transformation dépend d'un état accumulé sur plusieurs lignes d'une partition.

Les fonctions natives sont optimisées pour le moteur distribué de MaxCompute et offrent de meilleures performances que les UDTF à grande échelle. Privilégiez les fonctions natives dès qu'elles couvrent votre cas d'utilisation.

Langages pris en charge

Pour obtenir les détails d'implémentation, consultez UDTF Java, UDTF Python 2 et UDTF Python 3.

Limites

• Accès à Internet : par défaut, les UDF n'ont pas accès à Internet. Pour activer l'accès à Internet, remplissez le formulaire de demande de connexion réseau. Après approbation, l'équipe d'assistance technique de MaxCompute vous contactera pour établir la connexion. Pour plus de détails, consultez Processus de connexion réseau.

• Aucune autre colonne dans la même instruction SELECT : une instruction SELECT qui appelle une UDTF ne peut pas référencer d'autres colonnes ou expressions. L'instruction suivante n'est pas valide :

  -- Invalid: mixes a UDTF with another column
  select value, user_udtf(key) as mycol ...

• Imbrication interdite : les UDTF ne peuvent pas être imbriquées dans d'autres UDTF. L'instruction suivante n'est pas valide :

  -- Invalid: user_udtf2 is nested inside user_udtf1
  select user_udtf1(user_udtf2(key)) as mycol...;

• Incompatibilité avec GROUP BY, DISTRIBUTE BY et SORT BY : une UDTF ne peut pas apparaître dans la même instruction SELECT que ces clauses. L'instruction suivante n'est pas valide :

  -- Invalid: UDTF used with GROUP BY
  select user_udtf(key) as mycol ... group by mycol;

Remarques sur l'utilisation

Mémoire : si un travail UDF traite de grands volumes de données avec un déséquilibre de charge (data skew), il risque de dépasser l'allocation mémoire JVM par défaut. Exécutez la commande suivante au niveau de la session pour augmenter la mémoire :

set odps.sql.udf.joiner.jvm.memory=xxxx;

Pour consulter la liste complète des rubriques FAQ sur les UDF, voir FAQ sur les UDF MaxCompute.

Conflits de noms : si une UDF porte le même nom qu'une fonction native, MaxCompute appelle la UDF. Pour appeler explicitement la fonction native, faites-la précéder de :: :

select ::concat('ab', 'c');

Processus de développement

Les étapes diffèrent légèrement entre Java et Python.

Appeler une UDTF

Au sein du même projet : appelez une UDTF de la même manière que vous appelez une fonction native.

Entre projets : pour appeler une UDTF du projet B depuis le projet A, utilisez la syntaxe suivante :

select B:udf_in_other_project(arg0, arg1) as res from table_t;

Pour plus d'informations sur le partage de ressources entre projets, consultez Partage de ressources basé sur les packages entre projets.

Étapes suivantes

• UDTF Java

• UDTF Python 2

• UDTF Python 3

• FAQ sur les UDF MaxCompute

• Processus de connexion réseau