PolarDB:PGVector (recuperação de vetores)

Pré-requisitos

Antes de começar, verifique se o seu cluster executa uma das seguintes versões do mecanismo:

• PostgreSQL 16, versão de revisão 2.0.16.3.1.1 ou posterior

• PostgreSQL 15, versão de revisão 2.0.15.12.4.0 ou posterior

• PostgreSQL 14, versão de revisão 2.0.14.7.9.0 ou posterior

• PostgreSQL 11, versão de revisão 2.0.11.9.35.0 ou posterior

Para verificar a versão de revisão do seu cluster, execute SHOW polardb_version; ou consulte o console do PolarDB. Caso a versão não atenda aos requisitos, atualize a versão de revisão.

Diferentes versões do mecanismo suportam diferentes versões da extensão. Para consultar a matriz completa de compatibilidade, veja Extensões .

Limitações

• A execução paralela entre nós suporta varreduras sequenciais com cláusula ORDER BY, mas não suporta varreduras de índice.

• O PGVector aceita vetores com até 16.000 dimensões.

Como funciona

O PGVector fornece dois algoritmos de indexação para busca ANN:

O HNSW constrói uma estrutura de grafo multicamada. As consultas percorrem o grafo da camada superior para a inferior, restringindo progressivamente a busca. O HNSW oferece maior recall e desempenho de consulta mais rápido, porém exige mais memória e leva mais tempo para ser construído.

O IVFFlat é uma versão simplificada do algoritmo Inverted File System with Asymmetric Distance Computation (IVFADC). Ele utiliza clustering k-means para particionar vetores em grupos (listas invertidas), cada um com um centroide. O processo ocorre em três etapas:

1. Atribua vetores a clusters usando k-means. Cada cluster possui um centroide.

2. Encontre os centroides mais próximos do vetor de consulta, conforme definido por probes.

3. Pesquise todos os vetores nesses clusters e retorne os k resultados mais próximos.

O IVFFlat constrói índices mais rapidamente e consome menos memória que o HNSW, mas entrega um recall menor. Seu uso de armazenamento é reduzido, sendo ideal para conjuntos de dados onde uma latência de consulta de até 100 milissegundos é aceitável.

Primeiros passos

As etapas a seguir apresentam um exemplo completo: ativar o PGVector, criar uma tabela e um índice vetorial e consultar vetores semelhantes.

1. Ative a extensão PGVector.

   Se o seu cluster executar o PostgreSQL 17 e retornar ERROR: must be superuser , entre em contato com o suporte para solução de problemas.

   CREATE EXTENSION vector;

2. Crie uma tabela com uma coluna vetorial. O número em vector(n) define a quantidade de dimensões.

   CREATE TABLE t (val vector(3));

3. Insira os dados vetoriais. Carregue seus dados antes de criar índices para garantir um clustering preciso.

   INSERT INTO t (val) VALUES ('[0,0,0]'), ('[1,2,3]'), ('[1,1,1]'), (NULL);

4. Crie um índice vetorial.

   CREATE INDEX ON t USING ivfflat (val vector_ip_ops) WITH (lists = 1);

5. Consulte os vetores mais próximos. A cláusula ORDER BY classifica os resultados pela distância em relação a [3,3,3].

   SELECT * FROM t ORDER BY val <#> '[3,3,3]';

   Saída esperada:

    val
   ---------
    [1,2,3]
    [1,1,1]
    [0,0,0]
   (3 rows)

   O operador vector_ip_ops calcula distâncias usando o produto interno. A configuração WITH (lists = 1) coloca todos os vetores em um único cluster, adequado para pequenos conjuntos de dados. Para conjuntos de dados em produção, defina lists com base no volume de dados (consulte Ajustar parâmetros do IVFFlat).

Escolher uma estratégia de busca

Operadores de distância

Todas as consultas de busca vetorial utilizam um operador de distância na cláusula ORDER BY:

O operador <#> retorna o produto interno negativo porque as varreduras de índice do PostgreSQL suportam apenas ordem ascendente. Para obter o valor real do produto interno, multiplique por -1:

SELECT (embedding <#> '[3,1,2]') * -1 AS inner_product FROM items;

Cada índice requer uma classe de operador correspondente à métrica de distância. Especifique a classe de operador ao criar o índice:

-- Euclidean distance
CREATE INDEX ON vecs USING hnsw(embedding vector_l2_ops);

-- Cosine distance
CREATE INDEX ON vecs USING hnsw(embedding vector_cosine_ops);

-- Inner product
CREATE INDEX ON vecs USING hnsw(embedding vector_ip_ops);

Ajustar parâmetros de índice

-- Create an HNSW index with custom parameters
CREATE TABLE vecs (id int PRIMARY KEY, embedding vector(1536));
CREATE INDEX ON vecs USING hnsw(embedding vector_l2_ops) WITH (m=16, ef_construction=64);

-- Increase ef_search at query time to improve recall
SET hnsw.ef_search = 100;
SELECT * FROM vecs ORDER BY embedding <-> '[...]' LIMIT 10;

-- Create an IVFFlat index for a 500,000-row table (lists = 500)
CREATE INDEX ON vecs USING ivfflat(embedding vector_l2_ops) WITH (lists = 500);

-- Set probes at query time
SET ivfflat.probes = 22; -- sqrt(500) = 22
SELECT * FROM vecs ORDER BY embedding <-> '[...]' LIMIT 10;

Próximos passos

• Extensões suportadas pelo PolarDB for PostgreSQL

• Gerenciamento de versões