Hologres:Remote UDFs

Visão geral

As funções remotas ampliam as capacidades de processamento e análise de dados do Hologres ao integrar funções externas de serviços como o Alibaba Cloud Function Compute (FC). Essa integração permite chamar dinamicamente funções do FC durante consultas aos dados do Hologres para processar lógicas de negócios complexas ou executar operações avançadas.

Funções remotas atendem aos seguintes casos de uso:

• Processamento de dados em tempo real: invoque funções externas durante consultas para limpar dados, converter formatos ou realizar cálculos complexos.

• Integração com serviços de terceiros: utilize o Function Compute para interagir com outros serviços da Alibaba Cloud ou APIs externas usando seus dados do Hologres.

• Análises avançadas: execute algoritmos sofisticados no Function Compute, como inferência de modelos e machine learning, e grave os resultados diretamente no Hologres.

Pré-requisitos

• Tenha uma instância do Hologres na versão V3.1 ou superior. Para mais informações, consulte Comprar uma instância do Hologres.

• Ative o Function Compute e utilize uma instância V3.0. Para ativar o serviço, faça login no console do Function Compute.

• Autorize a função vinculada ao serviço AliyunServiceRoleForHologresRemoteUDF.

  1. Faça login no console do Hologres. No painel de navegação à esquerda, clique em Create a Service-linked Role.

  2. Selecione AliyunServiceRoleForHologresRemoteUDF e clique em Authorize Now.

Limitações

• O Hologres oferece suporte apenas a UDFs escalares e funções com valor de tabela definidas pelo usuário (UDTFs). Funções agregadas definidas pelo usuário (UDAFs) não são suportadas.

• Apenas os seguintes tipos de dados e seus respectivos tipos de array são aceitos: BOOLEAN, INTEGER, BIGINT, REAL, DOUBLE PRECISION e TEXT.

• Funções remotas não aceitam parâmetros de entrada constantes.

• Este recurso gera custos no Function Compute (FC). Para mais informações, consulte Faturamento.

• Não há custos adicionais no Hologres para o uso deste recurso.

• Remote UDFs só podem ser executadas no mecanismo de consulta do Hologres (HQE). Elas não podem ser usadas na mesma instrução SQL com funções internas exclusivas do mecanismo de consulta compatível com PostgreSQL (PQE), como as funções da extensão de criptografia e descriptografia (PGCRYPTO). O uso combinado causa conflito de execução entre mecanismos e retorna o seguinte erro.

  ERROR: ORCA failed to produce a plan : No plan has been computed for required properties

  Para usar uma Remote UDF e uma função interna exclusiva do PQE simultaneamente, divida as operações em instruções SQL separadas e execute-as individualmente.

Gerencie Remote UDFs

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

Formato de troca de dados

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

Exemplo

Este exemplo utiliza a função unnest.

1. Ative o Function Compute.

   Faça login no console do Function Compute. Você também pode solicitar um pacote de recursos gratuito seguindo as instruções na tela. Para mais informações, consulte Free Tier.

2. Crie uma Função de Evento do FC.

   1. No painel de navegação à esquerda, clique em Functions. Mude para a região onde sua instância do Hologres está localizada.

   2. Na página Functions, clique em Create Function. A página Create Function será aberta.

   3. Selecione Event Function e configure os parâmetros a seguir. Mantenha as configurações padrão para os demais parâmetros. Para mais informações, consulte Criar uma função acionada por evento.

      Parâmetro	Descrição
      Nome da função	Um nome personalizado. Por exemplo, unnest.
      Runtime	Selecione Built-in Runtimes / Python / Python 3.10.
      Método de upload de código	Selecione Upload ZIP.
      Pacote de código	Faça o upload do pacote de código. Salve o código abaixo como unnest.py e compacte-o em um arquivo chamado unnest.zip. import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      Handler	Insira unnest.unnest.

3. Crie uma função remota no Hologres.

   Nota

   Execute as etapas a seguir no HoloWeb. Para mais informações, consulte Conectar ao HoloWeb.

   CREATE EXTENSION IF NOT EXISTS function_compute;
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. Prepare os dados de teste.

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. Chame a função remota.

   SELECT numbers, rf_unnest(numbers) FROM test_array;
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)