ApsaraDB RDS:AI (rds_ai)

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Instans ApsaraDB RDS for PostgreSQL yang memenuhi persyaratan versi berikut: Untuk peningkatan, lihat Upgrade a minor engine version.

  Major version	Minimum minor engine version
  PostgreSQL 16	20241230
  PostgreSQL 14, 15, 17	20250430
  PostgreSQL 18	20251130

• Akun istimewa untuk instans Anda. Untuk membuatnya, lihat Create an account.

• Langganan aktif Alibaba Cloud Model Studio dengan Kunci API. Untuk mendapatkannya, lihat Obtain an API key.

Konfigurasi jaringan

Secara default, instans RDS for PostgreSQL tidak dapat mengakses jaringan eksternal. Untuk mengaktifkan akses ke model eksternal, Anda harus mengonfigurasi gateway NAT untuk VPC instans tersebut. Untuk informasi lebih lanjut tentang gateway NAT, lihat Use the SNAT feature of an Internet NAT gateway to access the Internet.

Instal ekstensi

Opsi 1: Instal dari konsol

1. Buka halaman RDS Instances, pilih wilayah, lalu klik ID instans target.

2. Di panel navigasi kiri, klik Plug-ins.

3. Di halaman Plugin Marketplace, klik Install di samping rds_ai.

4. Pilih database dan akun target, lalu klik Install.

Untuk menguninstal, buka tab Installed Plugins pada halaman Manage Plugins.

Opsi 2: Instal dengan SQL

Jalankan perintah berikut sebagai akun istimewa:

CREATE EXTENSION IF NOT EXISTS rds_ai CASCADE;

Menginstal rds_ai juga akan menginstal ekstensi pgvector dan pgsql-http.

Untuk memverifikasi instalasi:

SELECT * FROM pg_extension;

Untuk menghapus ekstensi:

DROP EXTENSION rds_ai;

Model default

rds_ai dilengkapi model default berikut:

Untuk mengubah model prompt default, tambahkan rds_ai ke Running Value parameter shared_preload_libraries, lalu atur model tersebut. Untuk petunjuk pembaruan parameter, lihat Set instance parameters. Misalnya, atur Running Value menjadi 'pg_stat_statements,auto_explain,rds_ai', lalu jalankan:

SET rds_ai.default_prompt_model TO 'qwen-max';

Konfigurasi ekstensi

Sebelum memanggil model apa pun, atur Kunci API dan URL model.

Langkah 1: Atur Kunci API

-- Atur Kunci API untuk model tertentu
SELECT rds_ai.update_model('qwen-plus', 'token', 'sk-****');

-- Atur Kunci API yang sama untuk semua model
SELECT rds_ai.update_model(model_name, 'token', 'sk-****')
FROM rds_ai.model_list;

Langkah 2: Atur URL model

-- Model prompt (qwen-plus, qwen-max, qwen-turbo berbagi titik akhir yang sama)
SELECT rds_ai.update_model('qwen-plus', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation');
SELECT rds_ai.update_model('qwen-max', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation');
SELECT rds_ai.update_model('qwen-turbo', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation');

-- Model penyematan
SELECT rds_ai.update_model('text-embedding-v3', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding');

Langkah 3: (Opsional) Konfigurasi timeout permintaan

rds_ai menggunakan ekstensi pgsql-http untuk melakukan panggilan remote. Atur timeout untuk menghentikan permintaan yang berjalan lama.

Pengaturan ini hanya berlaku untuk sesi saat ini. Atur ulang untuk setiap koneksi baru.

-- Timeout permintaan (milidetik)
SET http.timeout_msec TO 200000;
SELECT http.http_set_curlopt('CURLOPT_TIMEOUT', '200000');

-- Timeout koneksi (milidetik)
SELECT http.http_set_curlopt('CURLOPT_CONNECTTIMEOUT_MS', '200000');

Tanya jawab LLM

Gunakan rds_ai.prompt untuk mengirim pertanyaan ke model generasi teks Qwen dan mendapatkan respons. Model default adalah qwen-plus.

Panggilan sederhana:

SELECT rds_ai.prompt('Give me a recipe using carrots, potatoes, and eggplants.');

Panggilan lengkap dengan parameter eksplisit:

SELECT rds_ai.prompt(
  model_name => 'qwen-plus',                                 -- nama model
  content    => 'Give me a recipe using carrots, potatoes, and eggplants.',  -- teks prompt
  args       => '{"top_p": 0.7}'::jsonb                      -- parameter model
);

Konversi teks ke vektor

Gunakan rds_ai.embed untuk mengonversi teks ke vektor menggunakan model text-embedding-v3. Outputnya adalah vektor padat berdimensi 1.024 secara default. Untuk meminta vektor jarang, berikan {"output_type": "sparse"}—outputnya berdimensi 250.002.

Vektor padat (default):

SELECT rds_ai.embed(
  'A strong wind blows from a high sky, and monkeys cry sadly.'
);

Vektor jarang:

SELECT rds_ai.embed(
  content => 'A strong wind blows from a high sky, and monkeys cry sadly.',
  args    => '{"output_type": "sparse"}'::jsonb
);

Simpan penyematan dalam tabel:

1. Buat tabel:

   CREATE TABLE test_embed (
     a text,
     b vector(1024),         -- kolom vektor padat
     c sparsevec(250002)     -- kolom vektor jarang
   );

2. Masukkan teks:

   INSERT INTO test_embed (a) VALUES ('hello world');

3. Tulis penyematan:

   -- Tulis vektor padat
   UPDATE test_embed
   SET b = rds_ai.embed(a, '{"output_type": "dense"}'::jsonb)::vector;
   
   -- Tulis vektor jarang
   UPDATE test_embed
   SET c = rds_ai.embed(a, '{"output_type": "sparse"}'::jsonb)::sparsevec;

Pengambilan vektor semantik

Gunakan rds_ai.retrieve untuk menemukan N catatan paling mirip dengan kueri. Ekstensi ini menyematkan kueri menggunakan text-embedding-v3 dan membandingkannya dengan vektor yang tersimpan menggunakan jenis jarak yang Anda tentukan.

Pilih jenis jarak

Jenis jarak default untuk rds_ai.retrieve adalah cosine.

Pilih jenis indeks vektor

Tanpa indeks, PostgreSQL melakukan pemindaian sekuensial eksak—akurat tetapi lambat untuk dataset besar. Tambahkan indeks vektor untuk pencarian tetangga terdekat aproksimasi (ANN) yang lebih cepat.

Contoh: Siapkan tabel dan jalankan pengambilan

1. Buat tabel dan tambahkan kolom penyematan:

   CREATE TABLE test_rag (
     id    SERIAL PRIMARY KEY,
     chunk TEXT
   );
   
   ALTER TABLE test_rag ADD COLUMN embedding VECTOR(1024);
   UPDATE test_rag SET embedding = rds_ai.embed(chunk)::vector;

2. Buat indeks vektor:

   Kedua jenis indeks memerlukan kelas operator vector_cosine_ops.

   -- Indeks HNSW (direkomendasikan untuk sebagian besar beban kerja)
   CREATE INDEX ON test_rag USING hnsw (embedding vector_cosine_ops);
   
   -- Indeks IVFFlat (untuk lingkungan dengan memori terbatas)
   CREATE INDEX ON test_rag USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

3. Jalankan pencarian kemiripan:

   -- Panggilan sederhana (menggunakan default: text-embedding-v3, 10 teratas, jarak cosine)
   SELECT * FROM rds_ai.retrieve(
     'Why is PostgreSQL considered the most advanced open-source database?',
     'public', 'test_rag', 'chunk', 'embedding'
   );

   Panggilan lengkap dengan parameter eksplisit:

   SELECT * FROM rds_ai.retrieve(
     embed_model   => 'text-embedding-v3',
     question      => 'Why is PostgreSQL considered the most advanced open-source database?',
     source_schema => 'public',         -- skema tabel sumber
     source_table  => 'test_rag',       -- tabel untuk dicari
     chunk_col     => 'chunk',          -- kolom teks
     vector_col    => 'embedding',      -- kolom vektor
     topn          => 10,               -- jumlah hasil yang dikembalikan
     embed_args    => '{}'::jsonb,      -- parameter tambahan untuk model penyematan
     distance_type => 'cosine'          -- algoritma jarak: L1, L2, cosine, atau negative
   );

Tanya jawab RAG

rds_ai.rag menggabungkan pengambilan vektor dan generasi LLM dalam satu panggilan. Ekstensi ini mengambil N potongan teks relevan teratas dari tabel Anda dan meneruskannya sebagai konteks ke model prompt.

Model default adalah text-embedding-v3 untuk penyematan dan qwen-plus untuk generasi teks.

Panggilan sederhana:

SELECT * FROM rds_ai.rag(
  'Why is PostgreSQL considered the most advanced open-source database?',
  'public', 'test_rag', 'chunk', 'embedding'
);

Panggilan lengkap dengan parameter eksplisit:

SELECT * FROM rds_ai.rag(
  embed_model   => 'text-embedding-v3',  -- model penyematan
  prompt_model  => 'qwen-plus',          -- model generasi teks
  question      => 'Why is PostgreSQL considered the most advanced open-source database?',
  source_schema => 'public',             -- skema tabel sumber
  source_table  => 'test_rag',           -- tabel untuk dicari
  chunk_col     => 'chunk',              -- kolom teks
  vector_col    => 'embedding',          -- kolom vektor
  topn          => 10,                   -- jumlah potongan teks yang diambil
  embed_args    => '{}'::jsonb,          -- parameter tambahan untuk model penyematan
  prompt_args   => '{}'::jsonb,          -- parameter tambahan untuk model prompt
  distance_type => 'L2'                  -- algoritma jarak: L1, L2, cosine, atau inner product
);

Model kustom

rds_ai menyimpan konfigurasi model dalam tabel rds_ai.model_list. Tambahkan model apa pun yang kompatibel dengan HTTP dengan memasukkan baris ke tabel ini.

SELECT rds_ai.add_model(
  'test-model',                                          -- nama model
  'POST',                                                -- metode HTTP
  ARRAY[('Authorization', 'Bearer %s')]::http.http_header[],  -- header permintaan
  'https://****.com',                                    -- URL model
  'application/json',                                    -- tipe konten
  '{"key":"%s"}',                                        -- templat badan permintaan
  'SELECT %L'                                            -- parser respons JSON
);

-- Mengembalikan respons HTTP lengkap
SELECT * FROM rds_ai.raw_invoke_model('qwen-plus', ARRAY['who are you']);

-- Mengembalikan hasil yang diurai dari json_path
SELECT * FROM rds_ai.invoke_model('qwen-plus', ARRAY['who are you']);

SELECT rds_ai.del_model('test-model');

Referensi API

rds_ai.prompt(
  model_name TEXT,
  content    TEXT,
  args       jsonb DEFAULT '{}'
) RETURNS text

rds_ai.embed(
  model_name TEXT,
  content    TEXT,
  args       jsonb DEFAULT '{}'
) RETURNS text

rds_ai.retrieve(
  model_name    TEXT,
  question      TEXT,
  source_schema TEXT,
  source_table  TEXT,
  chunk_col     TEXT,
  vector_col    TEXT,
  topn          INT DEFAULT 10,
  embed_args    jsonb DEFAULT '{}',
  distance_type TEXT DEFAULT 'cosine'
) RETURNS TABLE(chunk TEXT, distance float)

rds_ai.rag(
  embed_model   TEXT,
  prompt_model  TEXT,
  question      TEXT,
  source_schema TEXT,
  source_table  TEXT,
  chunk_col     TEXT,
  vector_col    TEXT,
  topn          INT DEFAULT 10,
  embed_args    jsonb DEFAULT '{}',
  prompt_args   jsonb DEFAULT '{}',
  distance_type TEXT DEFAULT 'L2'
) RETURNS text

rds_ai.show_models() RETURNS setof rds_ai.model_list

rds_ai.add_model(
  model_name       TEXT,
  request_type     TEXT,
  request_header   http.http_header[],
  uri              TEXT,
  content_type     TEXT,
  content_template TEXT,
  json_path        TEXT
) RETURNS TEXT

rds_ai.update_model(
  model_name  TEXT,
  config_name TEXT,
  value       TEXT
) RETURNS void

rds_ai.del_model(model_name text) RETURNS void

rds-ai.invoke_model(
  model_name  TEXT,
  params_list TEXT[]
) RETURNS http.http_response

rds-ai.raw_invoke_model(
  model_name  TEXT,
  params_list TEXT[]
) RETURNS http.http_response

Langkah selanjutnya

• pgvector User Guide — pelajari lebih lanjut tentang penyimpanan dan pencarian vektor di PostgreSQL

• Deploy an LLM-based RAG chatbot using PAI-EAS and ApsaraDB RDS for PostgreSQL — panduan penerapan chatbot RAG end-to-end