MaxCompute:Descripción general de UDT

Cuándo usar UDT frente a UDF

Tanto los UDT como las funciones definidas por el usuario (UDF) extienden MaxCompute SQL con lógica personalizada. Elija la opción adecuada según su flujo de trabajo:

Casos de uso

• Invocar métodos de la biblioteca estándar de Java sin definir una función. Cuando una tarea necesita un método de clase integrado de Java que MaxCompute SQL no expone de forma nativa, un UDT permite invocarlo directamente en una expresión.

• Hacer referencia a bibliotecas de terceros en línea. En lugar de envolver una función de biblioteca de terceros dentro de una UDF, haga referencia a la clase directamente en una instrucción SQL.

• Insertar código fuente compilado en SQL. Para lenguajes como Java que requieren compilación, los UDT permiten referenciar objetos y clases en expresiones SQL sin un paso de registro separado. Consulte SELECT TRANSFORM para conocer alternativas basadas en scripts.

Requisitos previos

Antes de utilizar UDT, asegúrese de que:

• JDK 1.8 esté disponible en su entorno. Es posible que las versiones posteriores a JDK 1.8 no sean compatibles.

• Los nuevos tipos de datos estén habilitados si utiliza tipos como INT: set odps.sql.type.system.odps2=true;

Funcionamiento

A diferencia de los UDT en otros motores SQL (que normalmente definen alias de tipos similares al tipo STRUCT), los UDT de MaxCompute funcionan como una instrucción CREATE TYPE: contienen tanto campos como métodos, y se referencian directamente en SQL sin escribir DDL.

El siguiente ejemplo ilustra la diferencia. Para acceder a Integer.MAX_VALUE del paquete java.lang de Java:

Uso de un UDT (referencia directa):

-- Enable new data types (required for types such as INTEGER).
set odps.sql.type.system.odps2=true;
SELECT java.lang.Integer.MAX_VALUE;

Dado que java.lang se importa automáticamente (como en Java), esto equivale a:

set odps.sql.type.system.odps2=true;
SELECT Integer.MAX_VALUE;

Resultado:

+-----------+
| max_value |
+-----------+
| 2147483647 |
+-----------+

Uso de una UDF (para comparación):

1. Escriba la clase UDF:

   package com.aliyun.odps.test;
   public class IntegerMaxValue extends com.aliyun.odps.udf.UDF {
     public Integer evaluate() {
        return Integer.MAX_VALUE;
     }
   }

2. Compile, cargue y registre:

   add jar odps-test.jar;
   create function integer_max_value as 'com.aliyun.odps.test.IntegerMaxValue' using 'odps-test.jar';

3. Invoque la función:

   select integer_max_value();

Los UDT reducen este proceso a una sola instrucción SQL.

-- Sample data.
@table1 := select * from values ('100000000000000000000') as t(x);
@table2 := select * from values (100L) as t(y);

-- Create an object with the new method.
@a := select new java.math.BigInteger(x) x from @table1;
-- Call a static method.
@b := select java.math.BigInteger.valueOf(y) y from @table2;
-- Call an instance method across the join.
select /*+mapjoin(b)*/ x.add(y).toString() from @a a join @b b;

-- Output:
100000000000000000100

Referenciar paquetes JAR y configurar importaciones de Java

Todas las clases del SDK para Java están disponibles para los UDT de forma predeterminada. Para referenciar paquetes JAR adicionales o establecer rutas de importación predeterminadas, utilice los siguientes indicadores de sesión.

Referenciar un paquete JAR:

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar;
-- The JAR must be uploaded to the project beforehand.
select new com.aliyun.odps.test.IntegerMaxValue().evaluate();

Puede especificar varios recursos separados por comas: set odps.sql.session.resources=foo.sh,bar.txt;

odps.sql.session.resources controla tanto los UDT como SELECT TRANSFORM. Un JAR configurado aquí está disponible para ambas funcionalidades.

Establecer una ruta de importación de Java predeterminada:

set odps.sql.type.system.odps2=true;
set odps.sql.session.resources=odps-test.jar;
set odps.sql.session.java.imports=com.aliyun.odps.test.*;
-- With the import set, you can omit the full package prefix.
select new IntegerMaxValue().evaluate();

odps.sql.session.java.imports acepta una ruta de clase (por ejemplo, java.math.BigInteger) o un comodín (*). Las importaciones estáticas no son compatibles.

Operaciones compatibles

Los UDT admiten las siguientes operaciones en expresiones SQL:

• Crear objetos mediante new — ejemplo: new java.math.BigInteger('123')

• Crear arreglos mediante new con listas de inicialización — ejemplo: new Integer[] { 1, 2, 3 }

• Invocar métodos de instancia y estáticos

• Acceder a campos públicos de instancia y estáticos

Solo se puede acceder a métodos y campos públicos. Todos los identificadores (nombres de paquetes, nombres de clases, nombres de métodos, nombres de campos) distinguen entre mayúsculas y minúsculas. No se admiten clases anónimas ni expresiones lambda. Las funciones que no devuelven valores no pueden invocarse en expresiones.

Tipos de datos

set odps.sql.udt.display.tostring=true;

-- Returns java.util.List<java.math.BigInteger>
java.util.Arrays.asList(new java.math.BigInteger('1'))

-- ArrayList<Object>
new java.util.ArrayList(java.util.Arrays.asList('1', '2'))

-- ArrayList<String>
new java.util.ArrayList<String>(java.util.Arrays.asList('1', '2'))

Limitaciones

Los UDT no pueden usarse como claves de redistribución en cláusulas JOIN, GROUP BY, DISTRIBUTE BY, SORT BY, ORDER BY o CLUSTER BY. Los UDT son válidos en expresiones dentro de estas etapas, pero no pueden ser la salida. Por ejemplo:

• group by new java.math.BigInteger('123') — no compatible

• group by new java.math.BigInteger('123').hashCode() — compatible, porque hashCode() devuelve int.class, que se asigna al tipo integrado INT

Las UDF, las funciones de agregación definidas por el usuario (UDAF) y los UDT no pueden leer datos de los siguientes tipos de tablas:

• Tablas en las que se ha realizado evolución de esquema

• Tablas que contienen tipos de datos complejos

• Tablas que contienen tipos de datos JSON

• Tablas transaccionales

Acceso a recursos

En MaxCompute SQL, invoque el método estático com.aliyun.odps.udf.impl.UDTExecutionContext.get() para obtener el objeto ExecutionContext. Utilice este objeto para acceder al contexto de ejecución actual, incluidos archivos y tablas registrados como recursos.

Consideraciones de rendimiento

El rendimiento de los UDT es similar al de las UDF. El motor de computación optimizado ofrece mejoras adicionales en escenarios específicos:

• Sin sobrecarga de serialización para operaciones locales. Cuando un objeto UDT se utiliza dentro del mismo proceso (sin necesidad de redistribución de datos, como en etapas JOIN o AGGREGATE), se omite la serialización y deserialización.

• Entorno de ejecución basado en Codegen. Los UDT se ejecutan mediante Codegen en lugar de reflexión, por lo que no hay sobrecarga por reflexión. Varias llamadas UDT se agrupan en una sola llamada de función; por ejemplo, values[x].add(values[y]).divide(java.math.BigInteger.valueOf(2)) se invoca una sola vez, evitando la sobrecarga de interfaz por cada llamada.

Seguridad

Los UDT están sujetos al mismo modelo de Java sandbox que las UDF. Para realizar operaciones restringidas por el sandbox, cancele el aislamiento del sandbox para dichas operaciones o solicite su inclusión en la lista blanca del sandbox.

Funcionalidades por mejorar

Las siguientes funcionalidades están planificadas para versiones futuras:

• Invocar funciones que no devuelven valores y funciones que utilizan directamente datos transferidos (donde se ignora el valor de retorno, como el método add de la interfaz List).

• Utilizar clases anónimas y expresiones lambda.

• Usar UDT como claves de redistribución.

• Admitir más lenguajes de programación, como Python.

Pasos siguientes

• Java UDFs — tabla de mapeo de tipos de datos y referencia de implementación de UDF

• New built-in data types — tipos que requieren set odps.sql.type.system.odps2=true;

• SELECT TRANSFORM — insertar scripts en instrucciones SQL

• COLLECT_SET y other aggregate functions — uso conjunto con UDT para implementar comportamiento de funciones de agregación y funciones con valor de tabla

• Java sandbox — modelo de sandbox y solicitud de lista blanca