MaxCompute:UDF avec code intégré

Contexte

Description

Les UDF avec code intégré vous permettent d'incorporer du code Java ou Python dans des scripts SQL. Lors de la compilation d'un script, Janino-compiler identifie et extrait le code intégré, le compile en Java, puis génère dynamiquement les ressources et crée des fonctions temporaires.

Vous pouvez placer les scripts SQL et les lignes de code tierces dans le même fichier source. Cette approche simplifie l'utilisation des UDT ou des UDF et facilite le développement et la maintenance au quotidien.

Limites

Référencer du code intégré dans un UDT

SELECT 
  s, 
  com.mypackage.Foo.extractNumber(s) 
FROM VALUES ('abc123def'),('apple') AS t(s);

#CODE ('lang'='JAVA')
package com.mypackage;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Foo {
  final static Pattern compile = Pattern.compile(".*?([0-9]+).*");
  public static String extractNumber(String input) {
    final Matcher m = compile.matcher(input);
    if (m.find()) {
      return m.group(1);
    }
    return null;
  }
}
#END CODE;

• #CODE indique le début du bloc de code intégré. #END CODE indique la fin du bloc de code intégré. Dans cet exemple, le bloc de code intégré est placé à la fin du script et s'applique à l'ensemble du script.

• 'lang'='JAVA' indique que le code intégré est écrit en Java. JAVA peut être remplacé par PYTHON si vous compilez du code en Python.

• Utilisez la syntaxe UDT dans le script SQL pour appeler Foo.extractNumber.

Définir et appeler une UDF Java avec code intégré

CREATE TEMPORARY FUNCTION foo AS 'com.mypackage.Reverse' USING
#CODE ('lang'='JAVA')
package com.mypackage;
import com.aliyun.odps.udf.UDF;
public class Reverse extends UDF {
  public String evaluate(String input) {
    if (input == null) return null;
    StringBuilder ret = new StringBuilder();
    for (int i = input.toCharArray().length - 1; i >= 0; i--) {
      ret.append(input.toCharArray()[i]);
    }
    return ret.toString();
  }
}
#END CODE;

SELECT foo('abdc');

• Le bloc de code intégré peut être placé après USING ou à la fin d'un script. Le bloc de code placé après USING s'applique uniquement à l'instruction CREATE TEMPORARY FUNCTION.

• La fonction créée par CREATE TEMPORARY FUNCTION est une fonction temporaire. Cette fonction temporaire prend effet uniquement pendant le processus d'exécution actuel et n'est pas stockée dans le système de métadonnées MaxCompute. Pour plus d'informations sur la création d'une fonction permanente et son stockage dans le système de métadonnées MaxCompute, consultez CREATE SQL FUNCTION.

Définir et appeler une UDTF Java avec code intégré

CREATE TEMPORARY FUNCTION foo AS 'com.mypackage.Reverse' USING 
#CODE ('lang'='JAVA', 'filename'='embedded.jar')
package com.mypackage;

import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDFException;
import com.aliyun.odps.udf.annotation.Resolve;

@Resolve({"string->string,string"})
public class Reverse extends UDTF {
  @Override
  public void process(Object[] objects) throws UDFException {
    String str = (String) objects[0];
    String[] split = str.split(",");
    forward(split[0], split[1]);
  }
}

#END CODE;

SELECT foo('ab,dc') AS (a,b);

La valeur de retour de @Resolve doit être de type string[]. Cependant, Janino-compiler ne peut pas identifier "string->string,string" comme string[]. Pour résoudre ce problème, les paramètres commentés par @Resolve doivent être entourés d'accolades {}. Lorsque vous créez une UDTF Java à l'aide d'une méthode courante, les accolades {} ne sont pas requises.

Définir et appeler une UDF Python avec code intégré

CREATE TEMPORARY FUNCTION foo AS 'embedded.UDFTest' USING
#CODE ('lang'='PYTHON', 'filename'='embedded')
from odps.udf import annotate
@annotate("bigint->bigint")
class UDFTest(object):
  def evaluate(self, a):
    return a * a
#END CODE;

SELECT foo(4);

• L'indentation du code Python doit respecter les spécifications du langage Python.

• Lorsque vous créez une UDF Python, le nom de classe qui suit la clause AS doit contenir le nom de fichier du code source Python. Vous pouvez utiliser 'filename'='embedded' pour spécifier un nom de fichier virtuel.

• Pour plus d'informations sur le développement et l'utilisation des différentes versions de Python, consultez les rubriques suivantes :

  • Python 2 : Développer une UDF en Python 2

  • Python 3 : Développer une UDF en Python 3