Hologres:リモート UDF

概要

リモート関数は、Alibaba Cloud Function Compute (FC) などのサービスから外部関数を統合することで、Hologres のデータ処理および分析機能を拡張します。この統合により、Hologres のデータをクエリする際に FC 関数を動的に呼び出し、複雑なビジネスロジックの処理や高度なデータ操作を実行できます。

リモート関数は、以下のユースケースをサポートしています。

• リアルタイムデータ処理：データクエリ中に外部関数を呼び出して、データクレンジング、フォーマット変換、または複雑な計算を実行します。

• サードパーティサービスとの統合：Function Compute を使用して、Hologres のデータを利用し、他の Alibaba Cloud サービスやサードパーティ API と連携します。

• 高度な分析：Function Compute を使用して、モデル推論や機械学習などの高度な分析アルゴリズムを実行し、結果を直接 Hologres に書き戻します。

前提条件

• V3.1 以降の Hologres インスタンスが必要です。詳細については、「Hologres インスタンスの購入」をご参照ください。

• Function Compute を有効化し、V3.0 インスタンスを使用しています。サービスを有効化するには、Function Compute コンソールにログインします。

• AliyunServiceRoleForHologresRemoteUDF サービスリンクロールは承認されています。

  1. Hologres コンソールにログインします。左側のナビゲーションウィンドウで、サービスにリンクされたロールに権限を付与する をクリックします。

  2. AliyunServiceRoleForHologresRemoteUDF を選択し、ワンクリック権限付与 をクリックします。

制限事項

• スカラー UDF とユーザー定義テーブル関数 (UDTF) のみがサポートされています。ユーザー定義集計関数 (UDAF) はサポートされていません。

• サポートされているデータ型は、BOOLEAN、INTEGER、BIGINT、REAL、DOUBLE PRECISION、TEXT およびそれらに対応する配列型のみです。

• リモート関数は定数の入力パラメーターをサポートしていません。

• この機能は Function Compute (FC) で費用が発生します。詳細については、「課金」をご参照ください。

• この機能は Hologres で追加費用は発生しません。

• リモート UDF は Hologres クエリエンジン (HQE) でのみ実行できます。暗号化および復号 (PGCRYPTO) 拡張関数など、PostgreSQL 互換クエリエンジン (PQE) でのみ実行されるビルトイン関数と同じ SQL ステートメントでは使用できません。これらを一緒に使用すると、エンジンの実行競合が発生し、以下のエラーが返されます。

  ERROR: ORCA failed to produce a plan : No plan has been computed for required properties

  リモート UDF と PQE 専用のビルトイン関数を同時に使用するには、操作を別々の SQL ステートメントに分割して個別に実行してください。

リモート UDF の管理

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

データ交換フォーマット

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

例

この例では、unnest 関数を使用します。

1. Function Compute を有効化します。

   Function Compute コンソールにログインします。画面のプロンプトに従って、無料のリソースパッケージを申請することもできます。詳細については、「無料利用枠」をご参照ください。

2. FC イベント関数を作成します。

   1. 左側のナビゲーションウィンドウで、[関数] をクリックします。ご利用の Hologres インスタンスが存在するリージョンに切り替えます。

   2. [関数] ページで、[関数の作成] をクリックします。[関数の作成] ページが開きます。

   3. [イベント関数] を選択し、次のパラメーターを設定します。その他のパラメーターはデフォルト設定のままにします。詳細については、「イベントトリガー関数の作成」をご参照ください。

      パラメーター	説明
      関数名	カスタム名。例：unnest。
      ランタイム	[ビルトインランタイム] / [Python] / [Python 3.10] を選択します。
      コードアップロード方法	[ZIP のアップロード] を選択します。
      コードパッケージ	コードパッケージをアップロードします。 次のコードを unnest.py として保存し、unnest.zip という名前のファイルに圧縮します。 import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      ハンドラー	unnest.unnest と入力します。

3. Hologres リモート関数を作成します。

   説明

   次の手順は HoloWeb で実行します。詳細については、「HoloWeb への接続」をご参照ください。

   CREATE EXTENSION IF NOT EXISTS function_compute;
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. テストデータを準備します。

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. リモート関数を呼び出します。

   SELECT numbers, rf_unnest(numbers) FROM test_array;
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)