ApsaraDB RDS:Use the pgvector extension to test performance based on IVF indexes

Como funcionam os índices IVFFlat

O IVFFlat divide vetores em clusters durante a construção do índice. No momento da consulta, o banco de dados pesquisa apenas um subconjunto de clusters em vez de todos os vetores.

Esses dois parâmetros exercem efeitos opostos sobre o recall e o throughput.

Ambiente de teste

A instância RDS e a instância ECS devem estar na mesma Virtual Private Cloud (VPC) e vSwitch para evitar variações relacionadas à rede nos resultados dos testes.

Pré-requisitos

Antes de começar, verifique se você possui:

• Uma conta privilegiada chamada testuser e um banco de dados chamado testdb. Consulte Crie um banco de dados e uma conta

• A extensão pgvector instalada no testdb. O nome da extensão no sistema é vector. Consulte Gerencie extensões

• Uma conexão com a instância RDS. Consulte Connect to an ApsaraDB RDS for PostgreSQL instance

Defina os dados de teste

1. Conecte-se ao testdb e crie uma função auxiliar que gera vetores aleatórios com um determinado comprimento:

   CREATE OR REPLACE FUNCTION random_array(dim integer)
       RETURNS DOUBLE PRECISION[]
   AS $$
       SELECT array_agg(random())
       FROM generate_series(1, dim);
   $$
   LANGUAGE SQL
   VOLATILE
   COST 1;

2. Crie uma tabela para vetores de 1536 dimensões:

   CREATE TABLE vtest(id BIGINT, v VECTOR(1536));

3. Insira 100.000 linhas de dados de teste:

   INSERT INTO vtest
   SELECT i, random_array(1536)::VECTOR(1536)
   FROM generate_series(1, 100000) AS i;

4. Crie um índice IVFFlat usando distância de cosseno com 100 listas:

   CREATE INDEX ON vtest USING ivfflat(v vector_cosine_ops) WITH(lists = 100);

Execute o benchmark

Utilize o endpoint interno da instância RDS para eliminar a latência de rede como variável.

1. Crie um arquivo SQL chamado test.sql com a seguinte consulta. Ela gera um vetor aleatório de 1536 dimensões e recupera os registros mais semelhantes de vtest usando distância de cosseno:

   WITH tmp AS (
       SELECT random_array(1536)::VECTOR(1536) AS vec
   )
   SELECT id
   FROM vtest
   ORDER BY v <=> (SELECT vec FROM tmp)
   LIMIT FLOOR(RANDOM() * 50);

2. Execute o pgbench na instância ECS. Certifique-se de que o cliente PostgreSQL esteja instalado. Consulte a documentação do pgbench para referência.

   pgbench -f ./test.sql -c6 -T60 -P5 -U testuser -h pgm-bp****.pg.rds.aliyuncs.com -p 5432 -d testdb

   Parâmetro	Descrição
   -f ./test.sql	Caminho para o arquivo SQL de teste. Substitua pelo caminho real
   -c6	Quantidade de conexões simultâneas de clientes (6 neste teste)
   -T60	Duração do teste em segundos (60 segundos neste teste)
   -P5	Intervalo do relatório de progresso em segundos (a cada 5 segundos)
   -U testuser	Nome de usuário do banco de dados. Substitua pelo seu nome de usuário
   -h pgm-bp****.pg.rds.aliyuncs.com	Endpoint interno da instância RDS
   -p 5432	Porta interna da instância RDS
   -d testdb	Banco de dados alvo

Ajuste lists e probes para produção

O gráfico a seguir ilustra o equilíbrio combinado entre recall e throughput conforme ambos os parâmetros variam.

Utilize estas fórmulas como ponto de partida com base no número de linhas da sua tabela:

Até 1.000.000 de linhas:

lists  = row_count / 1,000
probes = lists / 10

Mais de 1.000.000 de linhas:

lists  = sqrt(row_count)
probes = sqrt(lists)

Tópicos relacionados

• Gerencie extensões

• Connect to an ApsaraDB RDS for PostgreSQL instance