Hologres:ユーザー定義関数 (リモート UDF)

機能の概要

リモート関数は、外部関数を Hologres に統合することで、データ処理および分析機能を拡張する仕組みです。Hologres v3.1 では、Alibaba Cloud Function Compute (FC) サービスへの呼び出しをサポートしています。この機能により、Hologres データをクエリする際に、動的に FC を呼び出して複雑なビジネスロジックを処理したり、高度なデータ操作を実行したりできます。

リモート関数は、以下の 3 つのシナリオに対応しています：

• リアルタイムデータ処理：データクエリ中にリアルタイムで外部関数を呼び出し、データクリーニング、フォーマット変換、複雑な計算などを実行します。

• サードパーティサービスとの連携：Hologres データを用いて、Function Compute 経由で他の Alibaba Cloud サービスやサードパーティ API と連携します。

• 高度な分析：Function Compute を用いて、モデル推論や機械学習などの高度な分析アルゴリズムを実装し、その結果を直接 Hologres に書き込みます。

前提条件

• Hologres インスタンスのバージョンが v3.1 以降である必要があります。詳細については、「Hologres インスタンスの購入」をご参照ください。

• Function Compute を有効化済みであり、FC インスタンスのバージョンが v3.0 である必要があります。これを行うには、Function Compute コンソール にログインします。

• AliyunServiceRoleForHologresRemoteUDF サービスリンクロールを付与済みである必要があります。

  1. Hologres コンソール にログインします。左側のナビゲーションウィンドウで、サービスにリンクされたロールに権限を付与する をクリックします。

  2. AliyunServiceRoleForHologresRemoteUDF を選択し、ワンクリック権限付与 をクリックします。以下に例を示します。

     

注意事項

• スカラー型のユーザー定義関数 (UDF) およびユーザー定義のテーブル値関数 (UDTF) のみがサポートされています。ユーザー定義の集計関数 (UDAF) はサポートされていません。

• 以下のデータ型とそれに対応する配列型のみがサポートされています：BOOLEAN、INTEGER、BIGINT、REAL、DOUBLE PRECISION、および TEXT。

• リモート関数は、定数を入力パラメーターとして受け付けません。

• 本機能の利用には、Function Compute (FC) での課金が発生します。詳細については、「課金」をご参照ください。

• 本機能の利用に伴い、Hologres で追加の料金は発生しません。

ユーザー定義関数の管理

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'スカラー UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

データ相互作用形式

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

ユーザー定義関数の使用例

この例では、unnest 関数を使用します。

1. 関数計算をアクティブにします。

   Function Compute コンソール にログインします。画面上の指示に従って、特定のクォータを備えた無料リソースプランを取得することもできます。詳細については、「トライアルクォータ」をご参照ください。

2. FC のイベントトリガー関数を作成します。

   1. 左側のナビゲーションウィンドウで、[関数] をクリックします。ご利用の Hologres インスタンスが存在するリージョンに切り替えます。

   2. [関数] ページで、[関数の作成] をクリックします。その後、[関数の作成] ページにリダイレクトされます。

   3. [イベント関数] を選択し、以下のパラメーターを設定します。その他のパラメーターはデフォルト値のままにしてください。詳細については、「イベントトリガー関数の作成」をご参照ください。

      パラメーター	説明
      関数名	任意の名前を入力します（例：unnest）。
      ランタイム	組み込みランタイム / Python / Python 3.10 を選択してください。
      コードアップロード方法	[ZIP パッケージ経由でコードをアップロード] を選択します。
      コードパッケージ	作成・パッケージ化したコードパッケージをアップロードします。 以下のコードを unnest.py というファイル名で保存し、unnest.zip に圧縮してください。 import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('イベントに "data" キーがありません。') # 日本語訳 if not isinstance(data, list): raise ValueError('data はリストではありません。') # 日本語訳 res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('data 内のアイテムはリストではありません。') # 日本語訳 for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      ハンドラー	unnest.unnest と入力します。

3. Hologres リモート関数を作成します。

   説明

   以下の手順は、HoloWeb プラットフォーム上で実行できます。詳細については、「HoloWeb への接続」をご参照ください。

   CREATE EXTENSION IF NOT EXISTS function_compute;
   
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. テストデータを準備します。

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. リモート関数を呼び出します。

   SELECT numbers, rf_unnest(numbers) FROM test_array;
   
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)