ApsaraDB RDS:Use pgvector

Çalışma mantığı

Gömme (Embedding) verileri; metin, görüntü, ses veya video gibi verilerin yüksek boyutlu bir uzayda vektörler olarak ifade edilen sayısal temsilleridir. Anlamsal olarak benzer nesneler, birbirine yakın konumlanan vektörlere karşılık gelir.

Örneğin, bir elmayı [1, 1], bir muzu [1.2, 0.8] ve bir kediyi [6, 0.4] olarak temsil ederseniz, vektör araması muzun elmaya en benzer olduğunu gösterir; çünkü her ikisi de meyve olarak ortak özelliklere sahiptir.

pgvector aşağıdaki özellikleri destekler:

• Tam en yakın komşu ve yaklaşık en yakın komşu (ANN) aramaları

• Hızlı ANN araması için Hiyerarşik Navigable Small World (HNSW) dizinleri ve IVFFLAT paralel dizinleri

• 16.000 boyuta kadar vektör desteği; 2.000 boyuta kadar vektörler üzerinde dizin oluşturma imkanı

• Mesafe ölçütleri: L2 Öklid mesafesi, kosinüs benzerliği ve iç çarpım

• Ek işlemler: L1 mesafesi, eleman bazında çarpım ve toplam toplama işlemi

Ön koşullar

Başlamadan önce şunlardan emin olun:

• RDS örneğiniz PostgreSQL 14 veya üzeri bir sürüm çalıştırıyor olmalı ve küçük motor sürümü 20230430 veya üzeri olmalıdır. PostgreSQL 17 için küçük motor sürümünün 20241030 veya üzeri olması gerekir.

• RDS örneği için ayrıcalıklı bir hesap mevcut olmalıdır.

Büyük motor sürümünü yükseltmek için bkz. ApsaraDB RDS for PostgreSQL örneğinin büyük motor sürümünü yükseltme . Küçük motor sürümünü güncellemek için bkz. ApsaraDB RDS for PostgreSQL örneğinin küçük motor sürümünü güncelleme . Ayrıcalıklı bir hesap oluşturmak için bkz. Hesap oluşturma .

Uzantıyı yükleme

-- Create
CREATE EXTENSION IF NOT EXISTS vector;

-- Update
ALTER EXTENSION vector UPDATE [ TO new_version ];

-- Delete
DROP EXTENSION vector;

Vektörleri depolama ve sorgulama

Bu bölümde gömme verilerinin depolanması ve benzerlik aramalarının nasıl yapılacağı anlatılmaktadır. Tam API referansı için pgvector belgelerine bakın.

CREATE TABLE items (
  id        bigserial PRIMARY KEY,
  item      text,
  embedding vector(2)
);

INSERT INTO items (item, embedding)
VALUES
  ('Apple',  '[1,1]'),
  ('Banana', '[1.2,0.8]'),
  ('Cat',    '[6,0.4]');

-- Find items most similar to Banana, ranked by cosine distance
SELECT item,
       embedding <=> '[1.2, 0.8]' AS cosine_distance
FROM items
ORDER BY cosine_distance;

  item  |    cosine_distance
--------+------------------------
 Banana |                      0
 Apple  | 0.019419362524530137
 Cat    | 0.13289443670962842

Dizin oluşturma

Dizin olmadan pgvector, tüm tablo üzerinde tam arama yapar. Büyük veri kümeleri için ANN aramalarını hızlandırmak üzere bir vektör dizini oluşturun.

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

-- Session level
SET ivfflat.probes = 10;

-- Transaction level
BEGIN;
SET LOCAL ivfflat.probes = 10;
SELECT ...;
COMMIT;

Performans verileri

HNSW ve IVF dizinlerine ilişkin kıyaslama verileri için bkz.:

• HNSW dizinlerine dayalı pgvector performans testi

• IVF dizinlerine dayalı pgvector performans testi

Sonraki adımlar

pgvector üzerine üretim amaçlı yapay zeka uygulamaları geliştirin:

• ApsaraDB RDS for PostgreSQL üzerinde LLM tabanlı sohbet robotu oluşturma

• ApsaraDB RDS for PostgreSQL kullanarak RAG uygulaması oluşturma

• ApsaraDB RDS for PostgreSQL ve Dify ile yapay zeka uygulaması oluşturma

• RAG uygulamak için rds_ai uzantısını kullanma