Hologres:Remote UDFs

Descripción general

Las funciones remotas amplían las capacidades de procesamiento y análisis de datos de Hologres mediante la integración de funciones externas de servicios como Alibaba Cloud Function Compute (FC). Esta integración le permite llamar dinámicamente a funciones de FC al consultar datos de Hologres, con el fin de procesar lógica de negocio compleja o ejecutar operaciones avanzadas con los datos.

Las funciones remotas admiten los siguientes casos de uso:

• Procesamiento de datos en tiempo real: llame a funciones externas durante las consultas de datos para limpiar datos, convertir formatos o realizar cálculos complejos.

• Integración con servicios de terceros: utilice Function Compute para interactuar con otros servicios de Alibaba Cloud o con API de terceros a partir de sus datos de Hologres.

• Análisis avanzado: ejecute algoritmos de análisis avanzado en Function Compute, como inference de modelos y aprendizaje automático, y escriba los resultados directamente en Hologres.

Requisitos previos

• Cuenta con una instancia de Hologres de la versión V3.1 o posterior. Para obtener más información, consulte Purchase a Hologres instance.

• Activó Function Compute y utiliza una instancia de la versión V3.0. Para activar el servicio, inicie sesión en la consola de Function Compute.

• El rol vinculado al servicio AliyunServiceRoleForHologresRemoteUDF cuenta con autorización.

  1. Inicie sesión en la consola de Hologres. En el panel de navegación izquierdo, haga clic en Create a Service-linked Role.

  2. En el cuadro de diálogo Create Service-Linked Role, busque AliyunServiceRoleForHologresRemoteUDF y haga clic en Create Service-linked Role debajo del nombre para completar la autorización. Si el rol ya tiene autorización, no se muestra ningún botón y no se requiere ninguna acción.

Límites

• Solo se admiten UDF escalares y funciones con valores de tabla definidas por el usuario (UDTF). Las funciones agregadas definidas por el usuario (UDAF) no son compatibles.

• Solo se admiten los siguientes tipos de datos y sus tipos de arreglo correspondientes: BOOLEAN, INTEGER, BIGINT, REAL, DOUBLE PRECISION y TEXT.

• Las funciones remotas no admiten parámetros de entrada constantes.

• Esta función genera costos en Function Compute (FC). Para obtener más información, consulte Billing.

• Esta función no genera costos adicionales en Hologres.

• Las UDF remotas solo se pueden ejecutar en el motor de consultas de Hologres (HQE). No es posible utilizarlas en la misma instrucción SQL junto con funciones integradas que se ejecutan exclusivamente en el motor de consultas compatible con PostgreSQL (PQE), como encryption and decryption (PGCRYPTO) extension functions. Usarlas en conjunto provoca un conflicto de ejecución entre motores y devuelve el siguiente error.

  ERROR: ORCA failed to produce a plan : No plan has been computed for required properties

  Para usar una UDF remota y una función integrada exclusiva de PQE al mismo tiempo, divida las operaciones en instrucciones SQL independientes y ejecútelas por separado.

Gestionar UDF remotas

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

Formato de intercambio de datos

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

Ejemplo

Este ejemplo utiliza la función unnest.

1. Active Function Compute.

   Inicie sesión en la consola de Function Compute. También puede solicitar un paquete de recursos gratuito siguiendo las indicaciones en pantalla. Para obtener más información, consulte Free Tier.

   La primera vez que inicia sesión en la consola de Function Compute, aparece un cuadro de diálogo de autorización de servicio para crear el rol vinculado al servicio AliyunServiceRoleForFC. Complete la autorización según las indicaciones antes de continuar.

2. Cree una función de evento de FC.

   1. En la barra de pestañas superior, seleccione Cloud Functions. Luego, en el panel de navegación izquierdo, haga clic en Functions. Cambie a la región donde reside su instancia de Hologres.

   2. En la página Functions, haga clic en Create Function. En el cuadro de diálogo Choose Your Best-Fit Function Type, mantenga seleccionada la opción Event Function y haga clic en Create Event Function. Se abrirá la página Create Event Function.

   3. Configure los siguientes parámetros. Conserve la configuración predeterminada para el resto de los parámetros. Para obtener más información, consulte Create an event-triggered function.

      Parámetro	Descripción
      Nombre de la función	Un nombre personalizado. Por ejemplo, unnest.
      Runtime	Seleccione Built-in Runtimes / Python / Python 3.10.
      Método de carga de código	Seleccione Upload ZIP.
      Paquete de código	Cargue el paquete de código. Guarde el siguiente código como unnest.py y comprímalo en un archivo llamado unnest.zip. import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if not isinstance(data[i], list) or len(data[i]) != 1: raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res}) Nota Comprima el propio archivo unnest.py para que quede en la raíz del paquete ZIP. Si el archivo se encuentra dentro de una carpeta, Function Compute no podrá cargar el módulo.
      Handler	Este campo tiene el valor predeterminado index.handler. Debe cambiarlo a unnest.unnest. El formato es <code file name>.<function name> y debe coincidir con el código que cargue. Si deja el valor predeterminado, la llamada a la función remota fallará con el error ImportModuleError: No module named 'index'.

3. Cree una función remota de Hologres.

   Nota

   Realice los siguientes pasos en HoloWeb. Para obtener más información, consulte Connect to HoloWeb.

   CREATE EXTENSION IF NOT EXISTS function_compute;
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
   RETURNS SETOF INTEGER
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest'
   STRICT;

4. Prepare los datos de prueba.

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. Llame a la función remota.

   SELECT numbers, rf_unnest(numbers) FROM test_array;
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)

   Nota

   Llame a la función con el nombre que declaró al crear la función remota (rf_unnest en este ejemplo), no con el nombre de la función de Function Compute (unnest). Si llama directamente a unnest, se resolverá como la función de arreglos integrada de PostgreSQL con el mismo nombre. Devolverá filas, pero estas no provendrán de Function Compute. Por esta razón se recomienda anteponer el prefijo rf_ a las funciones remotas.