ApsaraDB RDS:Gunakan pgvector

Cara kerja

Embedding adalah representasi numerik dari data—seperti teks, gambar, audio, atau video—yang dinyatakan sebagai vektor dalam ruang berdimensi tinggi. Objek yang secara semantik mirip dipetakan ke vektor yang berdekatan.

Sebagai contoh, jika Anda merepresentasikan apel sebagai [1, 1], pisang sebagai [1.2, 0.8], dan kucing sebagai [6, 0.4], pencarian vektor akan menempatkan pisang sebagai objek paling mirip dengan apel karena keduanya memiliki sifat yang sama sebagai buah.

pgvector mendukung:

• Pencarian tetangga terdekat tepat (exact nearest neighbor) dan pencarian tetangga terdekat aproksimasi (approximate nearest neighbor/ANN)

• Indeks Hierarchical Navigable Small World (HNSW) dan indeks paralel IVFFLAT untuk pencarian ANN yang cepat

• Vektor hingga 16.000 dimensi; indeks pada vektor hingga 2.000 dimensi

• Metriks jarak: Jarak Euclidean L2, kemiripan cosinus, dan inner product

• Operasi tambahan: jarak L1, perkalian elemen per elemen, dan agregasi jumlah

Prasyarat

Sebelum memulai, pastikan bahwa:

• Instans RDS Anda menjalankan PostgreSQL 14 atau versi lebih baru, dengan versi mesin minor 20230430 atau lebih baru. Untuk PostgreSQL 17, versi mesin minor harus 20241030 atau lebih baru.

• Terdapat Akun istimewa untuk instans RDS tersebut.

Untuk melakukan peningkatan versi mesin utama, lihat Peningkatan versi mesin utama instans ApsaraDB RDS for PostgreSQL. Untuk memperbarui versi mesin minor, lihat Perbarui versi mesin minor instans ApsaraDB RDS for PostgreSQL. Untuk membuat akun istimewa, lihat Buat akun.

Instal ekstensi

-- Buat
CREATE EXTENSION IF NOT EXISTS vector;

-- Perbarui
ALTER EXTENSION vector UPDATE [ TO new_version ];

-- Hapus
DROP EXTENSION vector;

Simpan dan kueri vektor

Bagian ini menjelaskan cara menyimpan embedding dan menjalankan pencarian kemiripan. Untuk referensi API lengkap, lihat dokumentasi pgvector.

CREATE TABLE items (
  id        bigserial PRIMARY KEY,
  item      text,
  embedding vector(2)
);

INSERT INTO items (item, embedding)
VALUES
  ('Apple',  '[1,1]'),
  ('Banana', '[1.2,0.8]'),
  ('Cat',    '[6,0.4]');

-- Temukan item yang paling mirip dengan Banana, diurutkan berdasarkan jarak cosinus
SELECT item,
       embedding <=> '[1.2, 0.8]' AS cosine_distance
FROM items
ORDER BY cosine_distance;

  item  |    cosine_distance
--------+------------------------
 Banana |                      0
 Apple  | 0.019419362524530137
 Cat    | 0.13289443670962842

Buat indeks

Tanpa indeks, pgvector melakukan pencarian tepat (exact search) pada seluruh tabel. Untuk set data besar, buat indeks vektor guna mempercepat pencarian ANN.

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

-- Level session
SET ivfflat.probes = 10;

-- Level transaksi
BEGIN;
SET LOCAL ivfflat.probes = 10;
SELECT ...;
COMMIT;

Data performa

Untuk data benchmark indeks HNSW dan IVF, lihat:

• Uji performa pgvector berdasarkan indeks HNSW

• Uji performa pgvector berdasarkan indeks IVF

Langkah selanjutnya

Bangun aplikasi AI produksi berbasis pgvector:

• Bangun chatbot berbasis LLM di ApsaraDB RDS for PostgreSQL

• Gunakan ApsaraDB RDS for PostgreSQL untuk membuat aplikasi RAG

• Bangun aplikasi AI dengan ApsaraDB RDS for PostgreSQL dan Dify

• Gunakan ekstensi rds_ai untuk mengimplementasikan RAG