OpenSearch:Source de données OSS + API

Activation d'OSS

Activez OSS dans la même région que votre instance OpenSearch.

Création d'un bucket

1. Accédez à la Console de gestion OSS > Buckets > Create Bucket.

   Dans le volet de navigation de gauche de la Console de gestion OSS, cliquez sur Buckets, puis sur Create Bucket.

2. Une fois le bucket créé, ajoutez un tag OpenSearch : accédez à Bucket Settings > Bucket Tagging > Create Tag.

   Définissez la clé du tag (Key) et la valeur du tag (Value) sur opensearch.

Préparation des fichiers de données

Les fichiers doivent respecter les exigences suivantes avant le téléchargement :

{"field_double": ["100.0", "221.123", "500.3333333"], "field_int32": ["100", "200", "300"], "title": "Huawei Mate 9 Kirin 960 chip Leica dual camera", "color": "Red", "empty_int32": "", "price": "3599", "CMD": "add", "nid": "1", "gather_cn_str": "", "desc": ["str1", "str2", "str3"], "brand": "Huawei", "size": "5.9","__subdocs__":[{"sub_pk":"100","sub_field1":"200","sub_field2":["100","200","300"]},{"sub_pk":"200","sub_field1":"200","sub_field2":["100","200","300"]}]}
{"field_double": ["100.0", "221.123", "500.3333333", "100.0", "221.123", "500.3333333"], "field_int32": ["100", "200", "300", "100", "200", "300"], "title": "Huawei/Huawei P10 Plus full network phone", "color": "Blue", "empty_int32": "", "price": "4388", "CMD": "add", "nid": "2", "gather_cn_str": "colorBlue", "desc": ["str1", "str2", "str3", "str1", "str2", "str3"], "brand": "Huawei", "size": "5.5","__subdocs__":[{"sub_pk":"100","sub_field1":"200","sub_field2":["100","200","300"]},{"sub_pk":"200","sub_field1":"200","sub_field2":["100","200","300"]}]}

Téléchargement des fichiers vers le bucket

Placez vos fichiers de données dans un dossier à l'intérieur du bucket, et non dans le répertoire racine. La structure du bucket doit ressembler à ceci :

<your-bucket-name>/
  └── <your-data-folder>/
        ├── data_file_1.json
        ├── data_file_2.json
        └── ...

Pour télécharger les fichiers :

1. Dans la Console de gestion OSS, ouvrez votre bucket.

2. Dans le volet de navigation de gauche, accédez à Object Management > Objects.

3. Cliquez sur Upload Object, sélectionnez vos fichiers et confirmez.

   Une fois le téléchargement terminé, le statut du fichier dans le panneau Task List indique Upload Successful.

Configuration des informations de base de la table

1. Dans la Liste des instances, localisez votre instance Edition Vector Search et cliquez sur Manage dans la colonne Actions.

2. Dans le volet de navigation de gauche, accédez à Table Management > Add Table.

3. Remplissez les informations de base de la table et cliquez sur Next.

   Champ	Description
   Table Name	Nom personnalisé pour cette table
   Number of Data Shards	Entier positif, maximum 256. Un plus grand nombre de shards améliore la vitesse de construction complète et les performances des requêtes uniques.
   Number of Data Update Resources	Ressources utilisées pour les mises à jour incrémentielles des données. Chaque index inclut par défaut deux ressources de mise à jour gratuites de 4 cœurs et 8 Go. Les ressources supplémentaires sont facturées. Voir Facturation de l'Edition Vector Search.
   Scenario Template	Choisissez l'une des options suivantes : General Template, Vector: Image Search Template ou Vector: Text Semantic Search Template

   Après avoir sélectionné le modèle Vector: Image Search, choisissez une méthode de récupération : Dense Vector Retrieval ou Dense & Sparse Vector Hybrid Retrieval.

Configuration de la synchronisation des données

1. Pour Full Data Source, sélectionnez Object Storage Service (OSS) + API.

2. Remplissez les détails de connexion OSS et cliquez sur Data Source Verification.

   Champ	Description
   OSS Path	Chemin d'accès au dossier contenant vos fichiers de données. Doit commencer par /. Ne peut pas contenir ?, = ou &. Les fichiers doivent se trouver dans un dossier ; le répertoire racine n'est pas pris en charge.
   OSS Bucket	Nom du bucket OSS
   Data Format	Sélectionnez HA3 ou JSON pour correspondre à vos fichiers téléchargés

   Remarque

   Dans la Console de gestion OSS, sur la page Buckets, cliquez sur le nom du bucket cible (par exemple, zhyq-sz) pour accéder à la page des détails du bucket.

3. Une fois la vérification réussie, cliquez sur Next.

   Si la vérification échoue, vérifiez que le chemin OSS pointe vers un dossier (et non vers la racine), que le nom du bucket est correct, que le format des données correspond à vos fichiers et qu'OSS se trouve dans la même région que votre instance OpenSearch.

Configuration des champs

L'Edition Vector Search pré-remplit les champs à partir de votre modèle de scénario et importe les définitions de champs depuis la source de données.

1. Passez en revue les champs prédéfinis. Pour le modèle Image Search Template, les champs par défaut sont :

   Champ	Description
   id	Clé primaire
   source_image	Image source
   namespace	Namespace
   source_image_vector	Vecteur de l'image source

2. Configurez les types et propriétés des champs :

   • Clé primaire (obligatoire) : Définissez le Type sur un type entier ou STRING, puis sélectionnez l'option Primary Key.

   • Champ vectoriel (obligatoire) : Définissez le Type sur FLOAT et cochez la case Vector Field. Les champs vectoriels sont par défaut des valeurs multiples FLOAT avec une virgule comme délimiteur. Saisissez un délimiteur personnalisé si nécessaire.

   • Default values : Lorsqu'un champ est manquant ou vide dans les données, le système renseigne une valeur par défaut : 0 pour les types numériques, une chaîne vide pour les types STRING. Personnalisez les valeurs par défaut selon vos besoins.

3. Pour les champs nécessitant un prétraitement (comme source_image), cliquez sur Configure dans la colonne Data Preprocessing. Dans la configuration du prétraitement :

   • Data Source : Sélectionnez OSS Object Storage pour importer directement les images depuis OSS (indiquez le chemin OSS), ou Base64 Encoding pour fournir des données d'image encodées via l'API.

   • Pre-processing Template : Sélectionnez le modèle correspondant à votre type de données. Pour les images, les modèles disponibles sont :

     • Image Vectorization

     • OCR Image Text Recognition

     • OCR Image Text Recognition + Image Vectorization

   • Service List : Après avoir sélectionné un modèle, examinez les modèles utilisés. Choisissez parmi :

     • Built-in Models : Gratuit, avec une sélection plus restreinte de types de modèles.

   Valeurs de configuration pour cet exemple :

   • OSS Endpoint : oss-cn-shenzhen-internal.aliyuncs.com

   • OSS Bucket : zhyq-sz

   • Dans la liste des services, sélectionnez le modèle Built-in General Image Embedding Model - 512D CLIP, avec le champ de sortie défini sur source_image_vector.

   Cliquez sur OK pour confirmer.

4. Cliquez sur Next.

Configuration du schéma d'index

1. Définissez les champs inclus et les paramètres d'index, puis cliquez sur Next.

   Paramètre	Description
   Included Fields	La clé primaire et le champ vectoriel sont obligatoires. Le champ namespace est facultatif.
   Vector Dimension	Nombre de dimensions de vos embeddings vectoriels
   Real-time Indexing	Activer ou désactiver les mises à jour d'index en temps réel
   Distance Type	Métrique de distance pour la recherche de similarité vectorielle
   Vector Index Algorithm	Algorithme utilisé pour construire l'index vectoriel

   Exemple de configuration d'index vectoriel :

   • Nom de l'index : source_image_vector

   • Récupération hybride : Disabled

   • Clé primaire : id, Champ vectoriel : source_image_vector

   • Dimensions : 512

   • Type de distance : SquaredEuclidean

   • Index en temps réel : true

   • Algorithme : Qc

2. Cliquez sur More Advanced Configuration pour développer les champs de paramètres avancés :

   • Real-time Index Parameters

   • Index Build Parameters

   • Index Search Parameters

   • Linear Build Threshold

   • Minimum Recall Candidate Set Size

   • Recall Metric Reporting

   • Ignore Problematic Vector Data

   Pour la référence complète des paramètres, voir Configuration générale de l'index vectoriel.

Confirmation et vérification

1. Sur la page Confirm Creation, passez en revue vos paramètres et cliquez sur Confirm.

2. Revenez à la Liste des instances. Le statut de l'instance passe à Normal en environ 2 minutes.

3. Lorsque le statut est Normal, utilisez Actions > Query Test pour exécuter des requêtes de test et vérifier que l'index fonctionne correctement.