Tablestore:Search index

Méthode de requête

Principe

Scénario

Clé primaire

Une table de données fonctionne comme une grande carte. Vous ne pouvez interroger les données que par clé primaire.

Convient aux scénarios où vous connaissez la clé primaire complète ou un préfixe de clé.

Index secondaire

Crée des tables d'index dont les colonnes de clé primaire étendent la capacité de requête de la table de données à différentes colonnes.

Convient aux scénarios où les colonnes de requête sont prédéterminées, le nombre de colonnes est faible et vous connaissez la clé primaire complète ou un préfixe de clé.

Index de recherche

Utilise des structures telles que les index inversés, les arbres BKD et les stockages en colonnes pour offrir des capacités de requête riches.

Convient à tous les scénarios de requête et d'analyse au-delà de la couverture de la clé primaire et de l'index secondaire : requêtes sur les colonnes autres que la clé primaire, requêtes booléennes sur n'importe quelle colonne, requêtes relationnelles, recherche en texte intégral, requêtes géospatiales, requêtes floues, requêtes imbriquées, requêtes sur les valeurs NULL et agrégation statistique.

Fonctionnalité

Description

Documentation

Requête sur n'importe quelle colonne (y compris les colonnes de clé primaire et non-clé primaire)

Interrogez les données par n'importe quelle colonne. Convient à la plupart des scénarios de requête.

Si les requêtes par clé primaire ou par préfixe ne suffisent pas, créez un index de recherche avec les champs cibles et interrogez par valeurs de colonne.

Toute requête d'index de recherche, telle qu'une requête de base

Requête booléenne

Combinez plusieurs champs pour un filtrage efficace. Convient aux systèmes de commande, à l'analyse des journaux et aux personas utilisateurs.

Dans une base de données relationnelle, une table comportant des dizaines de champs peut nécessiter des centaines d'index pour couvrir toutes les combinaisons de champs. L'absence de certaines combinaisons entraîne des requêtes inefficaces.

Avec Tablestore, un seul index de recherche couvre toutes les combinaisons de champs. Ajoutez les champs susceptibles d'être interrogés à l'index, puis combinez-les librement à l'aide de la logique And, Or et Not.

Requête booléenne

Requête géospatiale

Les appareils mobiles ont accru la valeur des données de localisation géographique. Les applications de réseautage social, de livraison de repas, de sport et l'Internet des véhicules (IoV) nécessitent tous des requêtes conscientes de la localisation.

Les index de recherche prennent en charge les fonctionnalités de requête géospatiale suivantes :

• Proximité : Interrogez les points situés à une distance spécifiée d'une origine. Exemple : la fonctionnalité « Personnes à proximité » dans les médias sociaux.

• Dans une zone : Interrogez les points situés dans une zone rectangulaire ou polygonale.

Si votre application nécessite des requêtes basées sur la localisation, un index de recherche Tablestore offre une solution complète sans bases de données ou systèmes de recherche supplémentaires.

• Requête par distance géographique

• Requête par cadre géographique

• Requête par polygone géographique

Index en texte intégral

Trouvez des données contenant une phrase spécifiée. Convient à l'analytique des big data, à la recherche de contenu, à la gestion des connaissances, à l'analyse des médias sociaux, à l'analyse des journaux, aux systèmes de chat IA, aux audits de conformité et aux recommandations personnalisées.

Les index de recherche utilisent la tokenisation pour la recherche en texte intégral. Ils fournissent une pertinence BM25 de base mais pas de pertinence personnalisée. Pour des besoins complexes de recherche par pertinence, utilisez un système de recherche dédié ; sinon, un index de recherche suffit.

Cinq types de tokenisation sont disponibles : mot unique, délimiteur, sémantique minimale, sémantique maximale et floue. Pour mettre en évidence les mots-clés dans les résultats, utilisez la fonctionnalité de résumé et de mise en surbrillance.

• Requête de correspondance

• Requête de correspondance de phrase

• Tokenisation

• Résumé et mise en surbrillance

Recherche vectorielle

Les index de recherche prennent en charge la recherche vectorielle pour des requêtes efficaces de plus proches voisins approximatifs sur des ensembles de données à grande échelle. Convient à la génération augmentée par récupération (RAG), aux systèmes de recommandation, à la détection de similarité (images, vidéos et parole) et au traitement du langage naturel.

AISearch

Requête floue

Les index de recherche proposent des requêtes avec caractères génériques, par préfixe et par suffixe pour la correspondance floue dans différents scénarios.

• Requête avec caractères génériques : Similaire à la syntaxe like des bases de données relationnelles. Prend en charge deux caractères génériques : l'astérisque (*) et le point d'interrogation (?).

  Pour les modèles word, utilisez une requête avec caractères génériques basée sur la tokenisation (tokenisation floue combinée à une requête de correspondance de phrase) pour de meilleures performances.

• Requête par préfixe : Fait correspondre le contenu par préfixe. Par exemple, interroger apple correspond à apple6s et applexr. Prend en charge le chinois, l'anglais et d'autres langues.

• Requête par suffixe : Fait correspondre le contenu par suffixe. Par exemple, vous pouvez interroger tous les numéros de téléphone mobile se terminant par 1234.

• Requête avec caractères génériques

• Requête avec caractères génériques basée sur la tokenisation

• Requête par préfixe

• Requête par suffixe

Requête d'existence de colonne (requête NULL)

Vérifiez si une colonne a une valeur null. Convient aux contrôles d'intégrité des données et au nettoyage des données.

Requête d'existence de colonne

Requête imbriquée

Au-delà des structures plates, les données applicatives possèdent souvent des structures imbriquées à plusieurs niveaux. Par exemple, un système de balisage d'images stocke des images avec plusieurs entités (maisons, voitures, personnes), chacune ayant une position, une taille et un poids (score) différents. Chaque image correspond à plusieurs balises, et chaque balise possède un nom et un score de poids.

Pour filtrer les images selon des conditions de balise, utilisez la requête de type imbriqué. Les balises d'image sont stockées au format JSON :

{
 "tags": [
   {
      "name": "car",
      "score": 0,78
   },
   {
      "name": "tree",
      "score": 0,24
   }
 ]
}

Les requêtes de type imbriqué gèrent les données avec des relations logiques à plusieurs niveaux, offrant une flexibilité pour la modélisation complexe des données.

Pour les structures de données imbriquées complexes (telles que JSON), utilisez la fonctionnalité de résumé et de mise en surbrillance pour localiser précisément les informations requises.

• Types Array et Nested

• Requête imbriquée

Déduplication

Les index de recherche dédupliquent les résultats de requête pour améliorer la diversité. La déduplication limite le nombre d'apparitions d'une valeur d'attribut spécifique dans un seul ensemble de résultats. Par exemple, lors de la recherche de laptop sur une plateforme e-commerce, la déduplication empêche la première page d'être dominée par une seule marque.

Collapse (déduplication)

Tri

Par défaut, Tablestore trie les données par clé primaire dans l'ordre alphabétique. Pour trier par d'autres champs, utilisez la fonctionnalité de tri d'un index de recherche.

Les index de recherche prennent en charge l'ordre croissant ou décroissant, le tri sur condition unique et le tri multicritères. Tous les tris sont globaux. Par défaut, les résultats des index de recherche sont triés par clé primaire dans l'ordre alphabétique.

• Tri et pagination

• Toute requête d'index de recherche, telle qu'une requête de base

Nombre total de lignes

Lors de l'interrogation des données avec un index de recherche, vous pouvez renvoyer le nombre de lignes correspondantes. Cela est utile pour la validation et les opérations sur les données.

• Une condition de requête vide correspond à toutes les données indexées. Le total renvoyé équivaut au nombre de lignes indexées dans la table de données.

• Si l'écriture des données est arrêtée et que toutes les données sont indexées, le total équivaut au nombre de lignes dans la table de données.

• Requête Match all

• Toute requête d'index de recherche, telle qu'une requête de base

Agrégation statistique

Les index de recherche fournissent des fonctions d'agrégation courantes : Max, Min, Avg, Sum, Count, DistinctCount, GroupBy, Percentile et Histogram. Elles répondent aux besoins statistiques de base pour une analyse légère.

Agrégation statistique

Dimension

Partitionnement de table par temps

Principe

Partitionnez les tables par intervalle fixe (jour, semaine, mois ou année). Créez un index de recherche pour chaque table et conservez les tables de données pendant la durée requise.

Par exemple, pour conserver les données pendant six mois, stockez les données de chaque mois dans une table séparée (table_1 à table_6) avec son propre index de recherche. Chaque mois, supprimez la table datant d'il y a six mois.

Lors de l'interrogation, si la plage temporelle tient dans une seule table, interrogez uniquement cette table. Si elle s'étend sur plusieurs tables, interrogez chacune d'elles et fusionnez les résultats.

Règle

Une seule table (un seul index) ne doit pas dépasser 50 milliards de lignes. Les performances de requête sont optimales lorsque le nombre de lignes reste inférieur à 20 milliards.

Avantages

• Contrôlez la durée de conservation des données en gérant le nombre de tables conservées.

• Les performances de requête évoluent avec le volume de données. Le partitionnement limite la taille de chaque table, ce qui améliore les performances et évite les délais d'expiration des requêtes.

Catégorie

API

Description

Gestion des index

CreateSearchIndex

Crée un index de recherche.

UpdateSearchIndex

Met à jour la configuration d'un index de recherche, y compris sa durée de vie (TTL) et son schéma d'index.

DescribeSearchIndex

Obtient la description détaillée d'un index de recherche.

ListSearchIndex

Répertorie les index de recherche.

DeleteSearchIndex

Supprime un index de recherche.

Interrogation des données

Search

API de requête complète. Prend en charge toutes les fonctionnalités des index de recherche, y compris les fonctions de requête, le tri et l'agrégation statistique. Les résultats sont renvoyés dans l'ordre spécifié.

• Fonctions de requête : requête sur colonne non-clé primaire, requête d'existence de colonne, requête floue, requête booléenne, requête imbriquée, requête géospatiale, recherche en texte intégral, recherche vectorielle

• Collapse (déduplication)

• Tri

• Agrégation statistique

• Nombre total de lignes

ParallelScan

API d'exportation de données avec prise en charge du scan parallèle. Inclut toutes les fonctions de requête mais omet le tri et l'agrégation statistique. Renvoie toutes les données correspondantes à plus haute vitesse.

Avec une seule concurrence, le débit de ParallelScan est 5 fois supérieur à celui de l'API Search.

• Fonctions de requête : requête sur colonne non-clé primaire, requête d'existence de colonne, requête floue, requête booléenne, requête imbriquée, requête géospatiale, recherche en texte intégral

• Prend en charge plusieurs requêtes concurrentes dans une seule demande

Lors de l'exportation de données avec plusieurs demandes concurrentes, utilisez l'API ComputeSplits pour obtenir la concurrence maximale pour une seule demande ParallelScan.