OpenSearch:Démarrage rapide avec une instance à nœud unique

Cette rubrique explique comment acheter une instance à nœud unique d'OpenSearch Vector Search Edition.

Achat d'une instance

1. Accédez à la console OpenSearch. Dans le coin supérieur gauche, sélectionnez OpenSearch Vector Search Edition. Sur la page de liste des instances, cliquez sur Create Instance.

2. Définissez Product Version sur Vector Search Edition. Sélectionnez une région. Configurez les paramètres Number of Data Nodes, Data Node Specifications et Total Storage Space per Data Node. Définissez le Virtual Private Cloud et le Virtual Switch. Saisissez un nom d'utilisateur et un mot de passe comme indiqué. Ces identifiants servent à vérifier les autorisations lors des requêtes et diffèrent du mot de passe de votre compte Alibaba Cloud. Cliquez sur Purchase Now.

   Remarque

   • Le nombre et les spécifications des nœuds de données à acheter dépendent de vos besoins métier. Une fois les spécifications déterminées, le coût réel est automatiquement calculé sur la page du produit.

   • Pour une solution à nœud unique, vous n'avez pas besoin d'acheter de nœuds QRS workers. Définissez le nombre de nœuds QRS workers sur 0. Le paramètre de famille de spécifications des nœuds QRS workers ne prendra pas effet.

   • Les configurations du réseau privé virtuel (VPC) et du commutateur virtuel doivent être identiques à celles de l'instance ECS qui accède à l'instance Vector Search Edition. Sinon, une erreur {'errors':{'code':'403','message':'Forbidden'}} se produit lorsque vous tentez d'accéder à l'instance.

   • La famille de nœuds de données basée sur SSD inclut un quota gratuit de 50 Go. Le stockage supplémentaire est facturé par incréments de 50 Go. Le type de disque cloud ne bénéficie d'aucun quota gratuit et est également facturé par incréments de 50 Go.

3. Sur la page Confirm Order, consultez les Conditions d'utilisation et cliquez sur Enable Now.

4. Une fois l'achat effectué avec succès, cliquez sur Management Console pour afficher l'instance Vector Search Edition achetée sur la page Instance List.

Configuration de l'instance

Pour une nouvelle instance, son statut est Pending Configuration sur la page des détails. Une instance vide, dotée du nombre et des spécifications de nœuds de données que vous avez achetés, est automatiquement déployée. Vous devez ensuite configurer les informations de base de la table, la synchronisation des données, la configuration des champs et le schéma d'index pour l'instance. Vous pouvez effectuer des recherches une fois l'index construit.

1. Informations de base de la table

Dans Table Management, cliquez sur Add Table. Saisissez un Table Name. Définissez le Number of Data Shards et le Number of Data Update Resources. Sélectionnez un Scenario Template et cliquez sur Next.

Description de la configuration :

• Table Name : Vous pouvez personnaliser le nom.

• Number of Data Shards : Pour une instance à nœud unique, la valeur est fixée à 1 et ne peut pas être modifiée. Cette instance prend en charge uniquement une solution à shard unique. Vous pouvez mettre à l'échelle l'instance vers un déploiement multi-nœuds. Pour plus d'informations, consultez la documentation sur la mise à l'échelle.

• Number of Data Update Resources : Spécifie le nombre de ressources utilisées pour les mises à jour des données. Chaque index inclut deux ressources de mise à jour gratuites de 4 cœurs et 8 Go. Les ressources dépassant le quota gratuit sont facturées. Pour plus d'informations, consultez la ou la Présentation de la facturation pour Vector Search Edition.

• Scenario Template : Vector Search Edition propose trois modèles intégrés : General, Vector - Image Search et Vector - Text Semantics.

2. Synchronisation des données

Sélectionnez une source pour les données complètes. Les sources de données prises en charge incluent MaxCompute+API, Object Storage Service (OSS)+API, Synchronisation des données vectorielles OpenLake-DLF vers Alibaba Cloud OpenSearch et API. Cette rubrique utilise MaxCompute+API comme exemple. Après avoir configuré les paramètres et validé la configuration, cliquez sur Next.

Après avoir sélectionné MaxCompute+API, renseignez les paramètres suivants :

• AccessKey et AccessKey Secret

• Project Name (Project) : Doit commencer par une lettre, contenir uniquement des lettres, des chiffres et des traits de soulignement, et comporter entre 3 et 28 caractères.

• Table Name (Table) : Entre 1 et 128 caractères.

• Table Partition (Partition) : Si la table source de données comporte plusieurs niveaux de partition, séparez les valeurs de partition par des virgules.

• Auto Index Rebuild : Sélectionnez Yes. Assurez-vous qu'une table done a été créée dans MaxCompute ; sinon, la reconstruction automatique de l'index ne prendra pas effet.

Après avoir renseigné les paramètres, cliquez sur Verify pour valider la source de données.

3. Configuration des champs

OpenSearch préconfigure les champs pertinents en fonction du modèle de scénario que vous sélectionnez. OpenSearch importe également automatiquement les champs de la source de données complète dans la liste des champs.

Description de la configuration des champs :

• Champs obligatoires : Un champ de clé primaire et un champ vectoriel. Le champ de clé primaire doit être de type int ou string, et vous devez cocher la case Primary Key. Le champ vectoriel doit être de type float, et vous devez cocher la case Vector Field.

• Par défaut, le champ vectoriel est de type float multivaleur, et ses valeurs sont séparées par une virgule (,), qui est le séparateur par défaut du système. Vous pouvez également spécifier un séparateur multivaleur personnalisé.

• Si un champ est manquant ou vide dans les données, le système le remplit automatiquement avec une valeur par défaut. La valeur par défaut est 0 pour les types numériques et une chaîne vide pour les types string. Vous pouvez également personnaliser la valeur par défaut.

4. Schéma d'index

4,1. Index vectoriel

Dans l'onglet Vector Index, saisissez un Index Name (par exemple, message_vector) et choisissez d'activer ou non la Hybrid Search. Une note en haut de la page indique qu'OpenSearch a automatiquement construit un index portant le même nom pour tous les champs, à l'exception du champ vectoriel.

• Le champ de clé primaire et le champ vectoriel sont obligatoires. Le champ namespace est facultatif et peut être laissé vide.

• Vous ne pouvez sélectionner que parmi ces trois champs fixes. Vous ne pouvez pas en ajouter de nouveaux.

• Vector Dimensions : Sélectionnez la dimension en fonction des vecteurs générés par le modèle.

• Distance Type : Prend en charge InnerProduct (plus le score est élevé, plus la pertinence est grande) et SquareEuclidean (plus le score est faible, plus la pertinence est grande).

• Vector Index Algorithm : Prend en charge Linear, HNSW, QGraph et QC. Les types d'instances GPU prennent également en charge l'algorithme CAGRA. Pour plus d'informations sur les algorithmes, consultez l'Introduction aux vecteurs.

• Real-time Index : Spécifie s'il faut construire un index vectoriel en temps réel pour les données incrémentielles provenant de l'API. La valeur par défaut est true.

• Pour des configurations plus avancées, cliquez pour développer la section. Pour les descriptions des paramètres, consultez les Configurations générales de l'index vectoriel.

  La configuration avancée comprend les paramètres suivants :

  • Real-time Index Parameters : Valeur par défaut {"proxima.oswg.streamer.segment_size":2048}

  • Index Search Parameters : Valeur par défaut {"proxima.qc.searcher.scan_ratio":0.01}

  • Index Build Parameters : Valeur par défaut {"proxima.qc.builder.quantizer_class":"Int8Quant"...}

  • Minimum Recall Candidate Set Size : Valeur par défaut 20000

  • Linear Build Threshold : Valeur par défaut 5000

  • Ignore Problematic Vector Data : Valeur par défaut true

  • Recall Rate Metric Reporting : Valeur par défaut true

4,2. Autres types d'index

OpenSearch crée automatiquement un index portant le même nom pour chaque champ, à l'exception du champ vectoriel. Vous pouvez gérer ces index ici. Vous devez configurer manuellement l'index vectoriel.

Dans l'onglet Other Index Types, le tableau de configuration de l'index contient les colonnes suivantes : Index Name, Included Fields, Build Index (commutateur) et Index Type (index de clé primaire ou index standard). Vous pouvez activer ou désactiver la construction d'index pour chaque champ et sélectionner le type d'index correspondant en fonction de vos besoins métier.

4,3. Configuration globale de l'index

Cette fonctionnalité est désactivée par défaut. Si vous l'activez, vous pouvez définir une durée de vie (TTL) pour les champs entiers. Si le temps écoulé depuis la création du document dépasse la TTL, le document est automatiquement supprimé.

Les options de configuration incluent Document Time Field (sélectionnez un champ de type entier représentant l'heure du document et spécifiez l'unité de temps) et Time-to-Live (plage de valeurs : 1–49710 jours).

5. Confirmation de la création

Une fois la configuration de l'index terminée, cliquez sur Confirm Creation. Le statut de la table passe à Creating.

6. Historique des modifications

Dans Instance Management > Change History, vous pouvez afficher les enregistrements des modifications des 3, 7 ou 30 derniers jours. Ces enregistrements incluent tous les processus, tels que la création de tables, l'ajout d'index et la mise à l'échelle. Une fois toutes les étapes terminées et la configuration du moteur DPI achevée, vous pouvez commencer les tests de requête.

7. Test de requête

Après avoir créé une table et ajouté des données, vous pouvez exécuter des requêtes sur la page Vector Management > Query Test. Le test de requête prend en charge le mode formulaire et le mode développeur.

7,1. Mode formulaire

Sélectionnez successivement le mode Formulaire, un Table Name et un type de Query. Pour le type de Query, vous pouvez sélectionner Vector ou Text. Dans cet exemple, Text est sélectionné. Saisissez le texte de la requête dans le champ de texte. Cliquez sur Search pour afficher les résultats dans la section Search Result.

7,2. Mode développeur

Sélectionnez Developer mode et un Table Name. Ensuite, saisissez les paramètres de requête dans la Search Box. Cliquez sur Search pour afficher les résultats dans la section Search Result.

• vector : Le vecteur spécifique à interroger.

• topK : Le nombre de résultats top K à renvoyer.

• includeVector : Spécifie s'il faut renvoyer les informations vectorielles dans le document.

Pour la syntaxe détaillée des requêtes, consultez les descriptions de syntaxe ci-dessous.

Description de la syntaxe

• Requête vectorielle

• Requête par clé primaire

• Expression de filtre

Utilisation de la recherche vectorielle dans un SDK

• Interrogation des données (vecteurs de requête et clés primaires)

• Mise à jour des données (ajout et suppression d'enregistrements)

Mise à niveau d'un nœud unique vers un déploiement multi-nœuds

Pour mettre à niveau une instance à nœud unique vers un déploiement multi-nœuds, procédez comme suit :

1. Sur la page Instance List, localisez l'instance cible. Dans la colonne Operation, cliquez sur Upgrade/Downgrade.

2. Sur la page Upgrade/Downgrade, sélectionnez le nombre et les spécifications des nœuds QRS workers pour la mise à l'échelle. Cochez la case des Conditions d'utilisation et cliquez sur Purchase Now.