ApsaraDB RDS:Use pgvector

Fonctionnement

Les embeddings sont des représentations numériques de données (texte, images, audio ou vidéo) exprimées sous forme de vecteurs dans un espace à haute dimensionnalité. Les objets sémantiquement similaires correspondent à des vecteurs proches les uns des autres.

Par exemple, si vous représentez une pomme par [1, 1], une banane par [1.2, 0.8] et un chat par [6, 0.4], une recherche vectorielle classera la banane comme l'élément le plus similaire à la pomme, car ces deux fruits partagent des propriétés communes.

pgvector prend en charge :

• Les recherches exactes du plus proche voisin et les recherches approximatives du plus proche voisin (ANN).

• Les index HNSW (Hierarchical Navigable Small World) et les index parallèles IVFFLAT pour accélérer les recherches ANN.

• Les vecteurs comportant jusqu'à 16 000 dimensions ; les index sur les vecteurs comportant jusqu'à 2 000 dimensions.

• Les métriques de distance : distance euclidienne L2, similarité cosinus et produit scalaire.

• Des opérations supplémentaires : distance L1, multiplication élément par élément et agrégation par somme.

Prérequis

Avant de commencer, assurez-vous que :

• Votre instance RDS exécute PostgreSQL 14 ou une version ultérieure, avec une version mineure du moteur 20230430 ou supérieure. Pour PostgreSQL 17, la version mineure du moteur doit être 20241030 ou supérieure.

• Un compte privilégié existe pour l'instance RDS.

Pour mettre à niveau la version majeure du moteur, consultez la rubrique Mettre à niveau la version majeure du moteur d'une instance ApsaraDB RDS for PostgreSQL . Pour mettre à jour la version mineure du moteur, consultez la rubrique Mettre à jour la version mineure du moteur d'une instance ApsaraDB RDS for PostgreSQL . Pour créer un compte privilégié, consultez la rubrique Créer un compte .

Installer l'extension

-- Create
CREATE EXTENSION IF NOT EXISTS vector;

-- Update
ALTER EXTENSION vector UPDATE [ TO new_version ];

-- Delete
DROP EXTENSION vector;

Stocker et interroger des vecteurs

Cette section décrit la procédure de stockage des embeddings et l'exécution de recherches par similarité. Pour obtenir la référence complète de l'API, consultez la documentation pgvector.

CREATE TABLE items (
  id        bigserial PRIMARY KEY,
  item      text,
  embedding vector(2)
);

INSERT INTO items (item, embedding)
VALUES
  ('Apple',  '[1,1]'),
  ('Banana', '[1.2,0.8]'),
  ('Cat',    '[6,0.4]');

-- Find items most similar to Banana, ranked by cosine distance
SELECT item,
       embedding <=> '[1.2, 0.8]' AS cosine_distance
FROM items
ORDER BY cosine_distance;

  item  |    cosine_distance
--------+------------------------
 Banana |                      0
 Apple  | 0.019419362524530137
 Cat    | 0.13289443670962842

Créer des index

Sans index, pgvector effectue une recherche exacte sur l'intégralité de la table. Pour les grands ensembles de données, créez un index vectoriel afin d'accélérer les recherches ANN.

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

-- Session level
SET ivfflat.probes = 10;

-- Transaction level
BEGIN;
SET LOCAL ivfflat.probes = 10;
SELECT ...;
COMMIT;

Données de performance

Pour consulter les données de benchmark relatives aux index HNSW et IVF, reportez-vous aux rubriques suivantes :

• Test de performance pgvector basé sur les index HNSW

• Test de performance pgvector basé sur les index IVF

Étapes suivantes

Développez des applications d'IA de production en vous appuyant sur pgvector :

• Créer un chatbot piloté par LLM sur ApsaraDB RDS for PostgreSQL

• Utiliser ApsaraDB RDS for PostgreSQL pour créer une application RAG

• Développer une application d'IA avec ApsaraDB RDS for PostgreSQL et Dify

• Utiliser l'extension rds_ai pour implémenter RAG