Hologres：Remote UDFs

Ikhtisar

Fitur Fungsi Jarak Jauh memungkinkan pengembang memperluas kemampuan pemrosesan dan analisis data dengan mengintegrasikan fungsi eksternal ke dalam Hologres. Di Hologres V3.1, fitur ini mendukung pemanggilan Alibaba Cloud Function Compute. Fitur ini memungkinkan Anda secara dinamis memanggil Function Compute untuk memproses logika bisnis kompleks atau melakukan operasi data tingkat lanjut saat menanyakan data Hologres.

Dengan Fungsi Jarak Jauh, Anda dapat menerapkan tiga skenario berikut:

• Pemrosesan data real-time: Memanggil fungsi eksternal secara dinamis untuk melakukan pembersihan data, konversi format, atau perhitungan kompleks saat menanyakan data.

• Integrasi layanan pihak ketiga: Gunakan Function Compute untuk mengaktifkan interaksi antara data Hologres dan layanan Alibaba Cloud lainnya atau API pihak ketiga.

• Analitik tingkat lanjut: Gunakan Function Compute untuk mengimplementasikan algoritma analitik tingkat lanjut seperti inferensi model dan pembelajaran mesin, serta menulis hasil langsung kembali ke Hologres.

Prasyarat

• Sebuah instance Hologres versi 3.1 atau lebih baru telah dibeli. Untuk informasi lebih lanjut, lihat Beli instance Hologres.

• Function Compute V3.0 telah diaktifkan. Anda dapat masuk ke Konsol Function Compute untuk melakukan operasi.

• Peran terkait layanan AliyunServiceRoleForHologresRemoteUDF telah dibuat.

  1. Masuk ke Konsol Hologres, dan klik Create a Service-linked Role di panel navigasi sisi kiri.

  2. Pilih AliyunServiceRoleForHologresRemoteUDF, dan klik Authorize Now untuk menyelesaikan otorisasi.

     

Peringatan

• Hanya fungsi UDF skalar dan fungsi tabel bernilai pengguna (UDTF) yang didukung. Fungsi agregat yang ditentukan pengguna (UDAF) tidak didukung.

• Hanya tipe data berikut dan tipe array yang sesuai yang didukung: BOOLEAN, INTEGER, BIGINT, REAL, DOUBLE PRECISION, dan TEXT.

• Fungsi Jarak Jauh tidak mendukung parameter input konstan.

• Fitur ini membebankan biaya di Function Compute. Untuk informasi lebih lanjut, lihat Penagihan.

• Fitur ini tidak membebankan biaya tambahan di Hologres.

Kelola UDF

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

Format interaksi data

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

Contoh UDF

Contoh ini menggunakan fungsi unnest.

1. Aktifkan Function Compute.

   Masuk ke Konsol Function Compute. Anda juga dapat mengklaim sejumlah rencana sumber daya gratis sesuai petunjuk UI. Untuk informasi lebih lanjut, lihat Kuota percobaan gratis.

2. Buat fungsi acara Function Compute.

   1. Di panel navigasi sisi kiri, klik Functions. Di bilah navigasi atas, pilih wilayah tempat instance Hologres Anda berada.

   2. Di halaman Functions, klik Create Function untuk pergi ke halaman Create Function.

   3. Pilih Event Function dan konfigurasikan parameter berikut. Biarkan parameter lainnya tetap tidak berubah. Untuk informasi lebih lanjut, lihat Buat fungsi acara.

      Parameter	Deskripsi
      Nama Fungsi	Nama fungsi kustom. Sebagai contoh, masukkan unnest.
      Lingkungan Runtime	Pilih Built-in Runtimes/Python/Python 3.10.
      Metode Unggah Kode	Pilih Upload ZIP.
      Paket Kode	Unggah paket kode yang telah ditulis dan dikemas. Simpan kode berikut ke unnest.py dan kompres menjadi unnest.zip. import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      Handler	Masukkan unnest.unnest.

3. Buat fungsi jarak jauh Hologres.

   Catatan

   Anda perlu menyelesaikan langkah-langkah berikut di platform HoloWeb. Untuk informasi lebih lanjut, lihat Hubungkan ke HoloWeb dan lakukan query.

   CREATE EXTENSION IF NOT EXISTS function_compute;
   
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. Siapkan data uji.

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. Panggil fungsi jarak jauh.

   SELECT numbers, rf_unnest(numbers) FROM test_array;
   
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)