ApsaraDB RDS:Génération de vecteurs (rds_embedding)

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Une instance RDS exécutant PostgreSQL 14 ou une version ultérieure

• Pour PostgreSQL 17 : version mineure du moteur 20241030 ou ultérieure. Pour mettre à niveau, consultez la rubrique Mise à niveau de la version mineure du moteur

• Une clé API Alibaba Cloud Model Studio. Pour en obtenir une, consultez la rubrique Obtenir votre clé API

• Une passerelle NAT configurée pour le réseau privé virtuel (VPC) dans lequel votre instance RDS s'exécute. Les instances RDS PostgreSQL ne peuvent pas atteindre Internet par défaut ; une passerelle NAT est donc nécessaire pour appeler des modèles d'embedding externes.

  Étapes de configuration de la passerelle NAT

  Étape 1 : Créer une passerelle NAT Internet

  1. Connectez-vous à la console NAT Gateway.

  2. Sur la page Internet NAT Gateway, cliquez sur Create Internet NAT Gateway.

  3. Si c'est la première fois que vous créez une passerelle NAT Internet, cliquez sur Create Service-Linked Role dans la section Create Service-Linked Role.

  4. Sur la page d'achat, configurez les paramètres suivants et cliquez sur Buy Now.

     Remarque

     Pour obtenir la liste complète des paramètres, consultez la rubrique Utiliser la fonctionnalité SNAT d'une passerelle NAT Internet pour accéder à Internet.

     Paramètre	Description
     Region	Sélectionnez la même région que votre instance RDS.
     VPC	Sélectionnez le même VPC que votre instance RDS. Vous trouverez le VPC sur la page Database Connection de la console ApsaraDB RDS.
     Associate vSwitch	Sélectionnez le même vSwitch que votre instance RDS. Vous trouverez le vSwitch sur la page Database Connection de la console ApsaraDB RDS.
     Access Mode	Sélectionnez Configure Later.

  5. Sur la page Confirm, vérifiez les détails, cochez la case des Conditions d'utilisation, puis cliquez sur Confirm. La passerelle apparaît sur la page Internet NAT Gateway.

     

  Étape 2 : Associer une adresse IP élastique (EIP) à la passerelle

  1. Sur la page Internet NAT Gateway, cliquez sur l'ID de la passerelle pour ouvrir l'onglet Basic Information.

  2. Dans l'onglet Associated Elastic IP Address, cliquez sur Bind Elastic IP Address.

  3. Dans la boîte de dialogue Associate EIP, sélectionnez Purchase and Associate EIP.

     

  4. Cliquez sur OK. L'EIP apparaît dans l'onglet Associated Elastic IP Address.

     

  Étape 3 : Créer une entrée SNAT

  1. Sur la page Internet NAT Gateway, cliquez sur l'ID de la passerelle pour ouvrir l'onglet Basic Information.

  2. Dans l'onglet SNAT Management, cliquez sur Create SNAT Entry.

  3. Sur la page Create SNAT Entry, configurez les paramètres suivants et cliquez sur OK. L'entrée SNAT apparaît dans la section SNAT Entry List.

     Paramètre	Description
     SNAT Entry	Sélectionnez Specify vSwitch afin que seules les instances associées au vSwitch sélectionné puissent accéder à Internet.
     Select vSwitch	Sélectionnez le vSwitch de votre instance RDS.
     Select EIP	Sélectionnez une ou plusieurs EIP pour accéder à Internet. Dans cet exemple, une seule EIP est sélectionnée dans la liste déroulante.

     

Activer l'extension

Exécutez les commandes suivantes avec un compte privilégié. Activez d'abord vector : elle fournit le type de données vectorielles et les opérations dont dépend rds_embedding.

CREATE EXTENSION vector;
CREATE EXTENSION rds_embedding;

Pour désactiver les extensions :

DROP EXTENSION rds_embedding;
DROP EXTENSION vector;

Générer et interroger des embeddings

L'exemple suivant utilise le modèle text-embedding-v3 d'Alibaba Cloud Model Studio pour générer des vecteurs de 1 024 dimensions et exécuter une requête de similarité cosinus. Pour plus d'informations sur le modèle, consultez la rubrique Présentation du modèle.

Étape 1 : Créer une table

Créez une table avec une colonne text pour votre contenu et une colonne vector(1024) pour les embeddings.

CREATE TABLE test(info text, vec vector(1024) NOT NULL);

Étape 2 : Enregistrer le modèle d'embedding

Enregistrez text-embedding-v3 en fournissant son URL d'endpoint, le modèle d'en-tête d'autorisation, le modèle de corps de requête et le chemin JSON permettant d'extraire l'embedding de la réponse.

SELECT rds_embedding.add_model(
    'text-embedding-v3',
    'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding',
    'Authorization: Bearer sk-****',
    '{"input":{"texts":["%s"]},"model":"text-embedding-v3","parameters":{"text_type":"query"}}',
    '->''output''->''embeddings''->0->>''embedding'''
);

Remplacez sk-**** par votre clé API.

Étape 3 : Insérer du texte et des embeddings

Insérez chaque ligne en appelant rds_embedding.get_embedding_by_model() en ligne. La fonction appelle l'API du modèle et renvoie le vecteur d'embedding pour le texte donné.

INSERT INTO test SELECT 'Windy high sky, apes cry sadly',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Windy high sky, apes cry sadly')::real[];

INSERT INTO test SELECT 'Clear islet, white sand, birds fly back',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Clear islet, white sand, birds fly back')::real[];

INSERT INTO test SELECT 'Boundless falling leaves rustle down',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Boundless falling leaves rustle down')::real[];

INSERT INTO test SELECT 'Endless Yangtze River rolls on',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Endless Yangtze River rolls on')::real[];

Remplacez sk-**** par votre clé API.

Étape 4 : Interroger par similarité vectorielle

Utilisez l'opérateur <=> (distance cosinus) pour classer les lignes par similarité sémantique avec une chaîne de requête. Une distance de 0 signifie que les vecteurs sont identiques ; des valeurs plus faibles indiquent une plus grande similarité.

SELECT
    info,
    vec <=> rds_embedding.get_embedding_by_model(
        'text-embedding-v3',
        'sk-****',
        'Endless Yangtze River rolls on'
    )::real[]::vector AS distance
FROM
    test
ORDER BY
    vec <=> rds_embedding.get_embedding_by_model(
        'text-embedding-v3',
        'sk-****',
        'Endless Yangtze River rolls on'
    )::real[]::vector;

Remplacez sk-**** par votre clé API.

Sortie attendue :

info                                     |      distance
-----------------------------------------+--------------------
 Endless Yangtze River rolls on          |                  0
 Boundless falling leaves rustle down    | 0.42740682200152647
 Clear islet, white sand, birds fly back | 0.5161883811726116
 Windy high sky, apes cry sadly          | 0.5247695147991147
(4 rows)

La requête renvoie « Endless Yangtze River rolls on » en premier (distance 0, correspondance exacte), suivi de « Boundless falling leaves rustle down » comme voisin sémantique le plus proche.

Références

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \
--header 'Authorization: Bearer <API-KEY>' \
--header 'Content-Type: application/json' \
--data '{
    "model": "text-embedding-v3",
    "input": {
        "texts": [
            "Windy high sky, apes cry sadly",
            "Clear islet, white sand, birds fly back",
            "Boundless falling leaves rustle down",
            "Endless Yangtze River rolls on"
        ]
    },
    "parameters": {
        "text_type": "query"
    }
}'

\dx+ rds_embedding

             Objects in extension "rds_embedding"
                      Object description
---------------------------------------------------------------
 function rds_embedding.add_model(text,text,text,text,text)
 function rds_embedding.del_model(text)
 function rds_embedding.get_embedding_by_model(text,text,text)
 function rds_embedding.get_response_by_model(text,text,text)
 function rds_embedding.show_models()
 function rds_embedding.update_model(text,text,text,text,text)
 schema rds_embedding
 table rds_embedding.models
(8 rows)

rds_embedding.add_model(mname text, murl text, mauth_header_template text, mbody_template text, membedding_path text)

rds_embedding.get_embedding_by_model(mname text, api-key text, texts text)

rds_embedding.del_model(mname text)