Hologres:リモート UDF

概要

リモート関数機能を使用すると、開発者は外部関数を Hologres に統合することで、データ処理および分析機能を拡張できます。 Hologres V3.1 では、リモート関数は Alibaba Cloud 関数計算の呼び出しをサポートしています。この機能により、Alibaba Cloud 関数計算を動的に呼び出して、複雑なビジネスロジックを処理したり、Hologres データをクエリしながら高度なデータ操作を実行したりできます。

リモート関数を使用すると、次の 3 つのシナリオを実装できます。

• リアルタイムデータ処理：データをクエリするときに、外部関数を動的に呼び出して、データクレンジング、フォーマット変換、または複雑な計算を実行します。

• サードパーティサービス統合：関数計算を使用して、Hologres データと他の Alibaba Cloud サービスまたはサードパーティ API との相互作用を有効にします。

• 高度な分析：関数計算を使用して、モデル推論や機械学習などの高度な分析アルゴリズムを実装し、結果を Hologres に直接書き戻します。

前提条件

• V3.1 以降の Hologres インスタンスが購入されていること。詳細については、「Hologres インスタンスを購入する」をご参照ください。

• 関数計算 V3.0 がアクティブになっていること。関数計算コンソール にログインして操作を実行できます。

• サービスリンクロール AliyunServiceRoleForHologresRemoteUDF が作成されていること。

  1. Hologres コンソール にログインし、左側のナビゲーションウィンドウで [サービスリンクロールの作成] をクリックします。

  2. AliyunServiceRoleForHologresRemoteUDF を選択し、[今すぐ承認] をクリックして承認を完了します。

     

注意事項

• スカラー UDF とユーザー定義テーブル値関数（UDTF）のみがサポートされています。ユーザー定義集計関数（UDAF）はサポートされていません。

• 以下のデータ型とそれに対応する配列型のみがサポートされています：BOOLEAN、INTEGER、BIGINT、REAL、DOUBLE PRECISION、および TEXT。

• リモート関数は定数入力パラメーターをサポートしていません。

• この機能は関数計算で料金が発生します。詳細については、「請求」をご参照ください。

• この機能は Hologres で追加料金は発生しません。

UDF の管理

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'スカラー UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

データ相互作用形式

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

UDF の例

この例では、unnest 関数を使用します。

1. 関数計算をアクティブにします。

   関数計算コンソール にログインします。UI のプロンプトに従って、一定量の無料リソースプランを申請することもできます。詳細については、「無料トライアルクォータ」をご参照ください。

2. 関数計算イベント関数を作成します。

   1. 左側のナビゲーションウィンドウで、[関数] をクリックします。上部のナビゲーションバーで、Hologres インスタンスが存在するリージョンを選択します。

   2. [関数] ページで、[関数の作成] をクリックして [関数の作成] ページに移動します。

   3. [イベント関数] を選択し、次のパラメーターを構成します。その他のパラメーターは変更しないでください。詳細については、「イベント関数の作成」をご参照ください。

      パラメーター	説明
      関数名	カスタム関数名。たとえば、unnest と入力します。
      ランタイム	[組み込みランタイム]/[Python]/[Python 3.10] を選択します。
      コードアップロード方法	[ZIP をアップロード] を選択します。
      コードパッケージ	記述およびパッケージ化されたコードパッケージをアップロードします。 次のコードを unnest.py に保存し、unnest.zip に圧縮します。 import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('イベントに "data" キーがありません。') # 日本語訳 if not isinstance(data, list): raise ValueError('data はリストではありません。') # 日本語訳 res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('data 内のアイテムはリストではありません。') # 日本語訳 for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      ハンドラー	unnest.unnest と入力します。

3. Hologres リモート関数を作成します。

   説明

   HoloWeb プラットフォームで次の手順を完了する必要があります。詳細については、「HoloWeb に接続してクエリを実行する」をご参照ください。

   CREATE EXTENSION IF NOT EXISTS function_compute;
   
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. テストデータを準備します。

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. リモート関数を呼び出します。

   SELECT numbers, rf_unnest(numbers) FROM test_array;
   
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)