Hologres：自訂函數UDF（Remote UDF）

功能概述

Remote Function允許開發人員通過將外部函數整合到Hologres中，擴充資料處理和分析的能力。在Hologres V3.1版本中，Remote Function支援調用阿里雲的Function Compute服務FC。該功能的引入，使使用者能夠在查詢Hologres資料的同時，動態調用阿里雲Function Compute處理複雜的商務邏輯或進行進階資料操作。

通過Remote Function，使用者可以實現以下三種應用情境：

• 即時資料處理：在查詢資料時，即時調用外部函數進行資料清洗、格式轉換或複雜計算。

• 整合第三方服務：通過Function Compute，將Hologres資料與其他阿里雲服務或第三方API進行互動。

• 進階分析：利用Function Compute實現進階分析演算法，如模型推斷、機器學習等，並將結果直接寫回Hologres。

前提條件

• 已開通Hologres執行個體，且該執行個體版本需為V3.1及以上。詳情請參見購買Hologres。

• 已開通Function Compute服務，且Function ComputeFC執行個體為V3.0版本。具體操作請登入Function Compute控制台。

• 已授權服務關聯角色AliyunServiceRoleForHologresRemoteUDF。

  1. 登入Hologres管理主控台，單擊左側導覽列授權服務關聯角色。

  2. 勾選AliyunServiceRoleForHologresRemoteUDF，單擊一鍵授權完成。如圖所示：

     

注意事項

• 僅支援標量UDF和UDTF，暫不支援UDAF。

• 僅支援如下資料類型和對應的數群組類型：BOOLEAN、INTEGER、BIGINT、REAL、DOUBLE PRECISION和TEXT。

• Remote Function不支援常量入參。

• 該功能在Function ComputeFC中會產生一定費用。詳情請參見產品計費。

• 該功能在Hologres中不會產生額外費用。

自訂函數管理

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

資料互動格式

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

自訂函數使用樣本

本樣本以unnest函數為例。

1. 開通Function Compute。

   登入Function Compute控制台。您還可以根據介面提示領取一定額度的免費資源套件。詳情請參見試用額度。

2. 建立FC事件函數。

   1. 單擊左側導覽列函數，切換地區，保持與Hologres執行個體在同一地區。

   2. 在函數頁面，單擊建立函數，進入建立函數頁面。

   3. 選擇事件函數，配置如下參數，其他參數保持不變。詳情請參見建立事件函數。

      參數	說明
      函數名稱	自訂設定。例如unnest。
      運行環境	選擇內建運行時/Python/Python 3.10。
      代碼上傳方式	選擇通過ZIP包上傳代碼。
      程式碼封裝	上傳已編寫並打包好的程式碼封裝。 將如下代碼儲存至unnest.py，並壓縮成unnest.zip。 import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      請求處理常式	填寫unnest.unnest。

3. 建立Hologres Remote Function。

   說明

   您需要在HoloWeb平台完成以下步驟，具體操作請參見串連HoloWeb。

   CREATE EXTENSION IF NOT EXISTS function_compute;
   
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. 準備測試資料。

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. 調用Remote Function。

   SELECT numbers, rf_unnest(numbers) FROM test_array;
   
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)