ApsaraDB RDS:Use the pgvector extension to test performance based on IVF indexes

IVFFlat dizinlerinin çalışma mantığı

IVFFlat, dizin oluşturma sırasında vektörleri kümeler halinde böler. Sorgu sırasında veritabanı, tüm vektörler yerine yalnızca bir alt kümeyi arar.

İki parametrenin geri çağırma oranı ve aktarım hızı üzerindeki etkileri birbirine zıttır.

Test ortamı

Test sonuçlarında ağ kaynaklı değişkenliği önlemek için RDS örneği ve ECS örneği aynı sanal özel bulut (VPC) ve vSwitch içinde bulunmalıdır.

Ön koşullar

Başlamadan önce aşağıdaki gereksinimleri karşıladığınızdan emin olun:

• testuser adlı yetkili bir hesap ve testdb adlı bir veritabanı. Bkz. Veritabanı ve hesap oluşturma

• pgvector uzantısının testdb veritabanında yüklü olması. Sistemde uzantının adı vector olarak geçer. Bkz. Uzantıları yönetme

• RDS örneğine bağlantı kurulmuş olması. Bkz. ApsaraDB RDS for PostgreSQL örneğine bağlanma

Test verilerini hazırlama

1. testdb veritabanına bağlanın ve belirli bir uzunlukta rastgele vektörler üreten bir yardımcı işlev oluşturun:

   CREATE OR REPLACE FUNCTION random_array(dim integer)
       RETURNS DOUBLE PRECISION[]
   AS $$
       SELECT array_agg(random())
       FROM generate_series(1, dim);
   $$
   LANGUAGE SQL
   VOLATILE
   COST 1;

2. 1536 boyutlu vektörler için bir tablo oluşturun:

   CREATE TABLE vtest(id BIGINT, v VECTOR(1536));

3. 100.000 satırlık test verisi ekleyin:

   INSERT INTO vtest
   SELECT i, random_array(1536)::VECTOR(1536)
   FROM generate_series(1, 100000) AS i;

4. 100 liste kullanarak kosinüs mesafesi ile bir IVFFlat dizini oluşturun:

   CREATE INDEX ON vtest USING ivfflat(v vector_cosine_ops) WITH(lists = 100);

Kıyaslamayı çalıştırma

Ağ gecikme süresini bir değişken olarak ortadan kaldırmak için RDS örneğinin dahili uç noktasını kullanın.

1. Aşağıdaki sorguyu içeren test.sql adlı bir SQL dosyası oluşturun. Bu sorgu, rastgele bir 1536 boyutlu vektör üretir ve kosinüs mesafesini kullanarak vtest tablosundan en benzer kayıtları getirir:

   WITH tmp AS (
       SELECT random_array(1536)::VECTOR(1536) AS vec
   )
   SELECT id
   FROM vtest
   ORDER BY v <=> (SELECT vec FROM tmp)
   LIMIT FLOOR(RANDOM() * 50);

2. ECS örneğinden pgbench komutunu çalıştırın. PostgreSQL istemcisini yüklediğinizden emin olun. Referans için pgbench belgelerine bakın.

   pgbench -f ./test.sql -c6 -T60 -P5 -U testuser -h pgm-bp****.pg.rds.aliyuncs.com -p 5432 -d testdb

   Parametre	Açıklama
   -f ./test.sql	Test SQL dosyasının yolu. Gerçek yol ile değiştirin
   -c6	Eşzamanlı istemci bağlantısı sayısı (bu testte 6)
   -T60	Test süresi saniye cinsinden (bu testte 60 saniye)
   -P5	İlerleme raporu aralığı saniye cinsinden (her 5 saniyede bir)
   -U testuser	Veritabanı kullanıcı adı. Kendi kullanıcı adınızla değiştirin
   -h pgm-bp****.pg.rds.aliyuncs.com	RDS örneğinin dahili uç noktası
   -p 5432	RDS örneğinin dahili bağlantı noktası
   -d testdb	Hedef veritabanı

Üretim ortamı için lists ve probes değerlerini ayarlama

Aşağıdaki grafik, her iki parametre değiştiğinde geri çağırma oranı ve aktarım hızı arasındaki bileşik dengeyi göstermektedir.

Tablonuzdaki satır sayısına bağlı olarak başlangıç noktası olarak aşağıdaki formülleri kullanın:

1.000.000 satıra kadar:

lists  = row_count / 1,000
probes = lists / 10

1.000.000 satırdan fazla:

lists  = sqrt(row_count)
probes = sqrt(lists)

İlgili konular

• Uzantıları yönetme

• ApsaraDB RDS for PostgreSQL örneğine bağlanma