Hologres:Remote UDFs

Présentation

Les fonctions distantes étendent les capacités de traitement et d'analyse des données de Hologres en intégrant des fonctions externes issues de services tels qu'Alibaba Cloud Function Compute (FC). Cette intégration vous permet d'appeler dynamiquement des fonctions FC lors de l'interrogation des données Hologres afin de traiter une logique métier complexe ou de réaliser des opérations de données avancées.

Les fonctions distantes couvrent les cas d'utilisation suivants :

• Traitement des données en temps réel : appelez des fonctions externes lors des requêtes pour nettoyer les données, convertir des formats ou effectuer des calculs complexes.

• Intégration de services tiers : utilisez Function Compute pour interagir avec d'autres services Alibaba Cloud ou des API tierces en exploitant vos données Hologres.

• Analyse avancée : utilisez Function Compute pour exécuter des algorithmes d'analyse avancés, tels que l'inférence de modèles et l'apprentissage automatique, puis écrivez les résultats directement dans Hologres.

Prérequis

• Vous disposez d'une instance Hologres en version V3.1 ou ultérieure. Pour plus d'informations, consultez la rubrique Achat d'une instance Hologres.

• Vous avez activé Function Compute et utilisez une instance V3.0. Pour activer le service, connectez-vous à la console Function Compute.

• Le rôle lié au service AliyunServiceRoleForHologresRemoteUDF est autorisé.

  1. Connectez-vous à la console Hologres. Dans le volet de navigation de gauche, cliquez sur Create a Service-linked Role.

  2. Dans la boîte de dialogue Create Service-Linked Role, recherchez AliyunServiceRoleForHologresRemoteUDF et cliquez sur Create Service-linked Role ci-dessous pour finaliser l'autorisation. Si le rôle est déjà autorisé, aucun bouton n'apparaît et aucune action n'est nécessaire.

Limites

• Seules les UDFs scalaires et les fonctions tabulaires définies par l'utilisateur (UDTFs) sont prises en charge. Les fonctions d'agrégat définies par l'utilisateur (UDAFs) ne sont pas prises en charge.

• Seuls les types de données suivants et leurs types de tableaux correspondants sont pris en charge : BOOLEAN, INTEGER, BIGINT, REAL, DOUBLE PRECISION et TEXT.

• Les fonctions distantes ne prennent pas en charge les paramètres d'entrée constants.

• Cette fonctionnalité engendre des coûts dans Function Compute (FC). Pour plus d'informations, consultez la rubrique Facturation.

• Cette fonctionnalité n'engendre aucun coût supplémentaire dans Hologres.

• Les Remote UDFs s'exécutent uniquement dans le moteur de requête Hologres (HQE). Elles ne peuvent pas coexister dans la même instruction SQL avec des fonctions intégrées exécutées exclusivement dans le moteur de requête compatible PostgreSQL (PQE), telles que les fonctions d'extension de chiffrement et de déchiffrement (PGCRYPTO). Leur utilisation conjointe provoque un conflit d'exécution du moteur et renvoie l'erreur suivante.

  ERROR: ORCA failed to produce a plan : No plan has been computed for required properties

  Pour utiliser simultanément une Remote UDF et une fonction intégrée exclusive au PQE, séparez les opérations en plusieurs instructions SQL et exécutez-les individuellement.

Gestion des remote UDFs

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

Format d'échange de données

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

Exemple

Cet exemple utilise la fonction unnest.

1. Activez Function Compute.

   Connectez-vous à la console Function Compute. Vous pouvez également réclamer un forfait de ressources gratuit en suivant les instructions à l'écran. Pour plus d'informations, consultez la rubrique Offre gratuite.

   La première fois que vous vous connectez à la console Function Compute, une boîte de dialogue d'autorisation de service apparaît pour créer le rôle lié au service AliyunServiceRoleForFC. Effectuez l'autorisation comme indiqué avant de continuer.

2. Créez une fonction d'événement FC.

   1. Dans la barre d'onglets supérieure, sélectionnez Cloud Functions. Ensuite, dans le volet de navigation de gauche, cliquez sur Functions. Basculez vers la région où réside votre instance Hologres.

   2. Sur la page Functions, cliquez sur Create Function. Dans la boîte de dialogue Choose Your Best-Fit Function Type, conservez Event Function sélectionné et cliquez sur Create Event Function. La page Create Event Function s'ouvre.

   3. Configurez les paramètres suivants. Conservez les paramètres par défaut pour les autres paramètres. Pour plus d'informations, consultez la rubrique Création d'une fonction déclenchée par un événement.

      Paramètre	Description
      Nom de la fonction	Un nom personnalisé. Par exemple, unnest.
      Runtime	Sélectionnez Built-in Runtimes / Python / Python 3.10.
      Méthode de téléchargement du code	Sélectionnez Upload ZIP.
      Package de code	Téléchargez le package de code. Enregistrez le code suivant sous le nom unnest.py et compressez-le dans un fichier nommé unnest.zip. import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if not isinstance(data[i], list) or len(data[i]) != 1: raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res}) Remarque Compressez le fichier unnest.py lui-même afin que unnest.py se trouve à la racine du package ZIP. Si le fichier est imbriqué dans un dossier, Function Compute ne peut pas charger le module.
      Handler	Ce champ a par défaut la valeur index.handler. Vous devez la modifier en unnest.unnest. Le format est <nom du fichier de code>.<nom de la fonction> et doit correspondre au code que vous téléchargez. Si vous laissez la valeur par défaut, l'appel de la fonction distante échoue avec l'erreur ImportModuleError: No module named 'index'.

3. Créez une fonction distante Hologres.

   Remarque

   Effectuez les étapes suivantes dans HoloWeb. Pour plus d'informations, consultez la rubrique Connexion à HoloWeb.

   CREATE EXTENSION IF NOT EXISTS function_compute;
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
   RETURNS SETOF INTEGER
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest'
   STRICT;

4. Préparez les données de test.

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. Appelez la fonction distante.

   SELECT numbers, rf_unnest(numbers) FROM test_array;
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)

   Remarque

   Appelez la fonction par le nom que vous avez déclaré lors de la création de la fonction distante (rf_unnest dans cet exemple), et non par le nom de la fonction Function Compute (unnest). L'appel direct de unnest résout la fonction intégrée PostgreSQL de tableau portant le même nom. Elle renvoie des lignes, mais ces lignes ne proviennent pas de Function Compute. C'est pourquoi nous vous recommandons de préfixer les fonctions distantes par rf_.