ApsaraDB RDS:Use pgvector

Como funciona

Embeddings são representações numéricas de dados — texto, imagens, áudio ou vídeo — expressas como vetores em um espaço de alta dimensão. Objetos semanticamente semelhantes correspondem a vetores próximos.

Por exemplo, se você representar uma maçã como [1, 1], uma banana como [1.2, 0.8] e um gato como [6, 0.4], a busca vetorial classificará a banana como mais semelhante à maçã, pois ambas compartilham propriedades de frutas.

O pgvector oferece suporte a:

• Buscas exatas e aproximadas do vizinho mais próximo (ANN)

• Índices Hierarchical Navigable Small World (HNSW) e índices paralelos IVFFLAT para busca ANN rápida

• Vetores com até 16.000 dimensões; índices em vetores com até 2.000 dimensões

• Métricas de distância: distância euclidiana L2, similaridade de cosseno e produto interno

• Operações adicionais: distância L1, multiplicação elemento a elemento e agregação de soma

Pré-requisitos

Verifique se:

• A instância RDS executa o PostgreSQL 14 ou posterior, com versão secundária do mecanismo 20230430 ou superior. Para o PostgreSQL 17, a versão secundária do mecanismo deve ser 20241030 ou superior.

• Existe uma conta privilegiada para a instância RDS.

Para atualizar a versão principal do mecanismo, consulte Atualizar a versão principal do mecanismo de uma instância ApsaraDB RDS for PostgreSQL . Para atualizar a versão secundária do mecanismo, consulte Atualizar a versão secundária do mecanismo de uma instância ApsaraDB RDS for PostgreSQL . Para criar uma conta privilegiada, consulte Criar uma conta .

Instalar a extensão

-- Create
CREATE EXTENSION IF NOT EXISTS vector;

-- Update
ALTER EXTENSION vector UPDATE [ TO new_version ];

-- Delete
DROP EXTENSION vector;

Armazenar e consultar vetores

Armazene embeddings e execute buscas por similaridade com o pgvector. Para a referência completa da API, consulte a documentação do pgvector.

CREATE TABLE items (
  id        bigserial PRIMARY KEY,
  item      text,
  embedding vector(2)
);

INSERT INTO items (item, embedding)
VALUES
  ('Apple',  '[1,1]'),
  ('Banana', '[1.2,0.8]'),
  ('Cat',    '[6,0.4]');

-- Find items most similar to Banana, ranked by cosine distance
SELECT item,
       embedding <=> '[1.2, 0.8]' AS cosine_distance
FROM items
ORDER BY cosine_distance;

  item  |    cosine_distance
--------+------------------------
 Banana |                      0
 Apple  | 0.019419362524530137
 Cat    | 0.13289443670962842

Criar índices

Sem um índice, o pgvector varre toda a tabela em busca de correspondências exatas. Para grandes conjuntos de dados, crie um índice vetorial para acelerar as buscas aproximadas do vizinho mais próximo (ANN).

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

-- Session level
SET ivfflat.probes = 10;

-- Transaction level
BEGIN;
SET LOCAL ivfflat.probes = 10;
SELECT ...;
COMMIT;

Dados de desempenho

Para dados de benchmark sobre índices HNSW e IVF, consulte:

• Teste de desempenho do pgvector baseado em índices HNSW

• Teste de desempenho do pgvector baseado em índices IVF

Próximos passos

Crie aplicações de IA em produção usando o pgvector:

• Criar um chatbot orientado por LLM no ApsaraDB RDS for PostgreSQL

• Usar o ApsaraDB RDS for PostgreSQL para criar uma aplicação RAG

• Criar uma aplicação de IA com ApsaraDB RDS for PostgreSQL e Dify

• Usar a extensão rds_ai para implementar RAG