MaxCompute:Desarrollo de UDF en Java

Al escribir una UDF en Java, tenga en cuenta lo siguiente:

• Evite incluir clases con el mismo nombre pero distinta lógica en diferentes archivos JAR de UDF. Por ejemplo, si UDF1 y UDF2 corresponden a udf1.jar y udf2.jar respectivamente, y ambos archivos JAR contienen com.aliyun.odps.UserFunction.class con lógicas distintas, invocar ambas UDF en la misma sentencia SQL hará que MaxCompute cargue una de las clases de forma aleatoria. Esto puede generar resultados inesperados o un error de compilación.

• En una UDF de Java, los parámetros de entrada y los valores de retorno deben usar tipos de objeto (como String y Long), no tipos primitivos (como int y long).

• Los valores NULL en SQL se asignan a NULL en Java. Los tipos primitivos de Java no pueden representar valores NULL, por lo que no se admiten.

Después de desarrollar una UDF en Java tal como se describe en UDF development workflow, puede invocarla en SQL de MaxCompute. Dispone de los siguientes métodos:

• Usar una UDF dentro de un proyecto de MaxCompute: este método es similar al uso de built-in functions. Una función definida por el usuario se utiliza igual que una función integrada.

• Usar una UDF entre proyectos: utilice una UDF del Proyecto B desde el Proyecto A. La siguiente sentencia muestra un ejemplo: select B:udf_in_other_project(arg0, arg1) as res from table_t;. Para obtener más información sobre el uso compartido entre proyectos, consulte Cross-project resource access based on packages.

• Write a Hive UDF in Java

• Use complex data types in Java UDFs

• Replace strings by using regular expressions

• Obtain the values of strings that have no delimiters

• Obtain the values of strings that have delimiters

• Reference a file resource

• Reference a table resource

• Reference third-party packages in Python UDFs

Una UDF en Java consta de las siguientes partes:

• Paquete de Java: opcional.

  Agrupe sus clases de Java en un paquete para facilitar su reutilización y organización.

• Herencia de la clase UDF: obligatorio.

  La clase base obligatoria es com.aliyun.odps.udf.UDF. Si necesita otras clases UDF o tipos de datos complejos, agregue las clases requeridas desde MaxCompute SDK. Por ejemplo, la clase del tipo de datos STRUCT es com.aliyun.odps.data.Struct.

• Anotación @Resolve: opcional.

  Su formato es @Resolve(<signature>), donde signature define los tipos de datos de los parámetros de entrada y del valor de retorno. Cuando usa el tipo de datos STRUCT en una UDF, la reflexión no puede recuperar los nombres ni los tipos de los campos desde com.aliyun.odps.data.Struct. En este caso, debe usar la anotación @Resolve para obtenerlos. Si emplea STRUCT en una UDF, agregue la anotación @Resolve a la clase de la UDF. Esta anotación solo afecta a las sobrecargas cuyos parámetros o valores de retorno contienen com.aliyun.odps.data.Struct. Ejemplo: @Resolve("struct<a:string>,string->string"). Para ver un ejemplo detallado, consulte UDF Example: Complex Data Types.

• Clase de Java personalizada: obligatorio.

  Esta unidad organiza el código de la UDF y define las variables y los métodos que implementan su lógica de negocio.

• Método evaluate: obligatorio.

  Su clase de Java personalizada debe incluir un método evaluate público y no estático. Los tipos de datos de sus parámetros de entrada y de su valor de retorno definen la firma SQL de la UDF.

  Es posible implementar varios métodos evaluate. Al invocar la UDF, MaxCompute selecciona el método evaluate coincidente según los tipos de argumento.

  Al escribir una UDF en Java, puede usar tipos de Java o tipos Writable de Java. Para consultar las asignaciones detalladas entre los tipos de datos de MaxCompute y los de Java, consulte Appendix: Data types.

• Inicialización y limpieza de la UDF: opcional. Implemente estas tareas con void setup(ExecutionContext ctx) y void close(). El método void setup(ExecutionContext ctx) se ejecuta una vez antes del método evaluate y sirve para inicializar los recursos u objetos miembro necesarios para el cálculo. El método void close() se ejecuta una vez después de que terminan todas las llamadas a evaluate y se usa para tareas de limpieza, como cerrar archivos.

A continuación se muestran ejemplos de dos tipos de UDF.

• Uso de tipos de Java

  // Organize the Java class in the org.alidata.odps.udf.examples package.
  package org.alidata.odps.udf.examples;  
  // Inherit the UDF class.
  import com.aliyun.odps.udf.UDF;         
  // Define a custom Java class.
  public final class Lower extends UDF { 
  // The evaluate method defines the UDF's logic. It takes a String and returns a String.
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase(); 
    } 
  }

• Uso de tipos Writable de Java

  // Organize the Java class in the com.aliyun.odps.udf.example package.
  package com.aliyun.odps.udf.example;
  // Add the required classes for the Java Writable type.
  import com.aliyun.odps.io.Text;
  // Inherit the UDF class.
  import com.aliyun.odps.udf.UDF;
  // Define a custom Java class.
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // Define the evaluate method. `Text` specifies the data type of the input parameters, and the `return` value is also a Text object.
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

Asignaciones de tipos de datos

Para garantizar que los tipos de datos usados en una UDF de Java coincidan con los de MaxCompute, aplique las siguientes asignaciones.

El tipo byte[] de Java no aparece en la lista de tipos de Java compatibles. Si usa byte[] como parámetro de entrada o como valor de retorno de un método evaluate, se reporta el error ODPS-0130071. Para procesar datos binarios en una UDF, use los tipos de Java correspondientes al tipo BINARY de MaxCompute: com.aliyun.odps.data.Binary para el tipo estándar de Java, o com.aliyun.odps.io.BytesWritable para el tipo Writable. También puede convertir los datos binarios en una cadena codificada en Base64 y usar el tipo String como valor de retorno.

Compatibilidad con UDF de Hive

Si su proyecto de MaxCompute usa la edición de tipos de datos 2.0, la plataforma admite UDF al estilo de Hive. Puede utilizar directamente las UDF de Hive desarrolladas para una versión compatible.

La versión compatible de Hive es la 2.1.0, que corresponde a Hadoop 2.7.2. Si compiló su UDF con otra versión de Hive o de Hadoop, vuelva a compilar el archivo JAR de la UDF con Hive 2.1.0 o Hadoop 2.7.2.

Para ver un ejemplo detallado sobre el uso de una UDF de Hive en MaxCompute, consulte UDF Example: Hive Compatibility.