Accélérer les requêtes grâce à l'agrégation par clé métier - Simple Log Service

Important

Le stockage agrégé par clé métier est actuellement disponible uniquement dans la région ap-southeast-8. Vérifiez la région de votre LogStore avant de définir une politique de clé métier.

Scénarios

Le stockage agrégé par clé métier réduit le nombre de shards analysés lors d'une requête lorsque vos conditions de recherche incluent systématiquement des égalités sur les mêmes champs de clé métier. Le tableau suivant présente les scénarios typiques et les combinaisons de clés métier recommandées.

Scénario

Clé métier recommandée

Avantage

Dépannage des traces

trace_id, service + trace_id

Réduit la plage de scan des shards lors de la requête d'une chaîne d'appels unique, accélérant ainsi le retour des journaux de trace.

Observabilité des applications agent

trace_id, agent_run_id, session_id

Regroupe les appels de modèle, les appels d'outils, les récupérations, les opérations de mémoire et les anomalies d'une exécution d'agent, ce qui accélère les requêtes de trace.

Analyse des sessions utilisateur

tenant_id + session_id, tenant_id + user_id

Récupère rapidement l'intégralité des journaux de comportement d'un utilisateur ou d'une session.

Dépannage des commandes et transactions

tenant_id + order_id, transaction_id

Localise rapidement les exceptions de commande, les échecs de paiement et les problèmes de chaîne transactionnelle.

Journaux d'accès hôte et client

__source__ + remote_addr, host

Regroupe les journaux d'accès provenant de la même source, du même client ou du même nom de domaine pour faciliter le dépannage.

Journaux IoT et appareils

tenant_id + device_id

Récupère rapidement les journaux d'opération, d'alerte et de connexion d'un appareil unique.

Audit de sécurité et traçage des attaques

src_ip, account_id, ak_id, user_id

Suit les journaux de comportement d'une adresse IP, d'un compte, d'un AccessKey ou d'un utilisateur spécifique.

Scénarios inadaptés

Dans les scénarios suivants, le stockage agrégé par clé métier offre des avantages limités ou peut introduire des points chauds d'écriture. Évaluez vos modèles de requête et la distribution de vos données avant d'activer cette fonctionnalité.

Scénario

Raison

Les requêtes contiennent rarement une clé métier fixe

Simple Log Service ne peut pas éliminer les shards par clé métier, ce qui limite les avantages.

Le LogStore possède trop peu de shards

Chaque ShardGroup contient trop peu de shards accessibles en écriture, ce qui limite la capacité de reprise après sinistre.

Les valeurs de clé métier sont fortement déséquilibrées

Les valeurs des champs de clé métier sont distribuées de manière inégale, provoquant un déséquilibre d'écriture. Par exemple, si un seul user_id représente plus de 20 % de tous les journaux, une proportion correspondante de journaux sera écrite dans le même ShardGroup.

Si votre LogStore correspond à l'un de ces scénarios, vérifiez les configurations de shards accessibles en écriture dans Prérequis ainsi que la distribution et la couverture des valeurs de vos champs de clé métier candidats avant de décider d'activer la fonctionnalité.

Prérequis

Créez un projet et un LogStore. Pour obtenir des instructions, consultez Gérer les projets et Gérer les LogStores.
Planifiez les champs de clé métier, tels que trace_id, session_id, user_id ou order_id. Choisissez des champs présents systématiquement dans vos journaux, fréquemment utilisés comme filtres de requête et offrant une sélectivité élevée.
Vérifiez le nombre de shards accessibles en écriture dans le LogStore cible. Une configuration de 8 shards accessibles en écriture est recommandée, car chaque ShardGroup conserve alors environ 2 shards accessibles en écriture et maintient une capacité de reprise après sinistre raisonnable. Vous pouvez également activer la fonctionnalité avec 4 shards accessibles en écriture, mais chaque ShardGroup ne conservera qu'environ 1 shard accessible en écriture, limitant ainsi la capacité de reprise après sinistre. Pour afficher et ajuster le nombre de shards, consultez Gérer les shards.

Limites

Les limites suivantes s'appliquent au stockage agrégé par clé métier :

Régions prises en charge — Le stockage agrégé par clé métier est actuellement disponible uniquement dans la région ap-southeast-8. Les autres régions ne sont pas prises en charge.
Ressources prises en charge — Seuls les LogStores prennent en charge le stockage agrégé par clé métier.
Nombre de champs de clé métier — Vous devez configurer au moins un et au maximum deux champs de clé métier.
Ordre des champs — L'ordre des champs participe au calcul du routage. La modification de l'ordre des champs est considérée comme un changement de politique.
Valeurs manquantes ou vides — Si un champ de clé métier n'existe pas ou si sa valeur est vide, une chaîne vide est utilisée dans le calcul du hachage.
Nombre de ShardGroups — Le nombre de ShardGroups doit être une puissance de 2, par exemple 4, 8, 16, 32 ou 64.
Effet d'un changement de politique — Une nouvelle politique prend effet après un court délai et s'applique uniquement aux journaux écrits après son activation. Simple Log Service ne redistribue pas les données historiques.

Configurer le stockage agrégé par clé métier

Activez le stockage agrégé par clé métier lors de la création d'un LogStore ou configurez-le sur la page des propriétés d'un LogStore existant. Les deux points d'entrée exposent les mêmes éléments de configuration, et les champs de clé métier ainsi que le nombre de ShardGroups ont la même signification dans les deux cas.

Activer le stockage agrégé par clé métier sur un nouveau LogStore

Connectez-vous à la console Simple Log Service.
Dans la liste des projets, cliquez sur le projet cible.
Sous l'onglet Log Storage > Logstores, cliquez sur l'icône +.
Sur la page Create Logstore, localisez l'élément de configuration Business key aggregated storage.
Activez l'option Business key aggregated storage, puis configurez les champs Business key fields et le Number of ShardGroups. Pour permettre à la console de remplir automatiquement un nombre suggéré de ShardGroups en fonction du nombre actuel de shards accessibles en écriture, cliquez sur Use recommended value.
Cliquez sur OK.

Modifier ou désactiver le stockage agrégé par clé métier sur un LogStore existant

Connectez-vous à la console Simple Log Service.
Dans la liste des projets, cliquez sur le projet cible.
Sous l'onglet Log Storage > Logstores, placez le pointeur sur le LogStore cible et sélectionnez Modify.
Dans le volet de navigation de gauche de la page des propriétés du LogStore, cliquez sur Business key aggregated storage.
Configurez les paramètres de l'une des manières suivantes :
- Pour activer la fonctionnalité ou modifier ses paramètres, activez l'option Business key aggregated storage et configurez les champs Business key fields ainsi que le Number of ShardGroups. La modification des champs de clé métier, de leur ordre ou du nombre de ShardGroups constitue un changement de politique ; la nouvelle politique s'applique uniquement aux journaux écrits après la prise d'effet du changement.
- Pour désactiver la fonctionnalité, désactivez l'option Business key aggregated storage. Les nouveaux journaux ne seront plus agrégés par clé métier et l'élimination basée sur la clé métier ne s'appliquera plus à eux.
Cliquez sur Save.

Après avoir désactivé le stockage agrégé par clé métier, les journaux déjà écrits restent dans leurs shards d'origine. Simple Log Service ne les migre ni ne les redistribue, de sorte que la désactivation de la fonctionnalité n'entraîne ni perte de données ni réécriture des données.

Paramètres

Le tableau suivant décrit les éléments de configuration du stockage agrégé par clé métier disponibles sur la page de création du LogStore et sur la page des propriétés du LogStore.

Paramètre

Description

Business key aggregated storage

Indique s'il faut activer le stockage agrégé par clé métier. Après activation, Simple Log Service écrit les journaux partageant une clé métier dans le même ShardGroup.

Business key fields

Champs déterminant dans quel ShardGroup un journal est écrit. Configurez un ou deux champs.

Number of ShardGroups

Nombre de groupes logiques utilisés pour l'agrégation par clé métier. La valeur doit être une puissance de 2. (Recommandé) Utilisez la valeur suggérée par la console.

Use recommended value

Calcule le nombre recommandé de ShardGroups en fonction du nombre actuel de shards accessibles en écriture.

Shard data range balance status

Indique si les plages de données des shards du LogStore actuel sont équilibrées, ce qui vous aide à déterminer si un rééquilibrage des données est nécessaire.

Data rerange

Redistribue les plages de données des shards pour corriger les déséquilibres. Avant d'exécuter un rééquilibrage des données, vérifiez si les journaux sont écrits avec une clé de hachage spécifiée, par exemple via le SDK.

Choisir le nombre de ShardGroups

Le nombre de ShardGroups détermine la granularité de l'élimination lors des requêtes : plus vous configurez de ShardGroups, moins chaque requête analyse de shards, mais chaque groupe conserve moins de shards accessibles en écriture, ce qui réduit la capacité de reprise après sinistre et augmente le risque de points chauds. La console suggère une valeur basée sur le nombre actuel de shards accessibles en écriture dans le LogStore ; cette valeur équilibre l'efficacité de l'élimination des requêtes, la capacité de reprise après sinistre et le risque de points chauds.

Shards accessibles en écriture actuels

ShardGroups recommandés

Description

4

Environ 1 shard accessible en écriture par groupe. Les requêtes peuvent être éliminées, mais la capacité de reprise après sinistre est limitée.

8

4

Environ 2 shards accessibles en écriture par groupe. Adapté lors de la première utilisation de la fonctionnalité.

16

4 ou 8

Choisissez la valeur en fonction de vos besoins en accélération des requêtes.

32

8 ou 16

Adapté aux requêtes ponctuelles à haute fréquence.

64

16 ou 32

Adapté aux requêtes ponctuelles à grande échelle, au dépannage des traces et à l'analyse des sessions.

Cliquez sur Use recommended value pour appliquer la valeur suggérée. Dans une plage donnée, la valeur supérieure offre une élimination des requêtes plus fine, tandis que la valeur inférieure conserve davantage de shards accessibles en écriture dans chaque ShardGroup.

Conditions de succès et de repli des requêtes

Après avoir activé le stockage agrégé par clé métier, une requête bénéficie de l'élimination par clé métier si elle contient des conditions d'égalité sur tous les champs de clé métier. Simple Log Service calcule le ShardGroup cible à partir des valeurs de la clé métier et analyse uniquement les shards de ce groupe au lieu de tous les shards du LogStore, réduisant ainsi le volume de données participant au calcul.

Par exemple, si les champs de clé métier sont tenant_id et agent_run_id, et que la requête contient les conditions suivantes :

tenant_id = 'tenant-a' AND agent_run_id = 'run-001'

Simple Log Service identifie un seul ShardGroup cible à partir de ces valeurs et analyse uniquement les shards de ce groupe.

Dans les cas suivants, une requête ne peut pas bénéficier du stockage agrégé par clé métier et revient à une analyse complète de tous les shards :

Champ de clé métier manquant — La requête ne contient pas l'un des champs de clé métier.
Correspondance non égalitaire — Un champ de clé métier est filtré par une correspondance floue, une correspondance de plage ou une expression régulière au lieu d'une condition d'égalité.
Valeur de clé métier ambiguë — L'expression de requête ne se résout pas en une valeur de clé métier unique.
Changement de politique dans la plage temporelle — La plage temporelle de la requête englobe un changement de politique ou couvre des journaux écrits avant l'entrée en vigueur de la politique actuelle, empêchant l'utilisation d'une seule politique pour l'élimination.
Fonctionnalité non activée — Le stockage agrégé par clé métier n'est pas activé pour le LogStore.

Facturation

Le stockage agrégé par clé métier ne modifie pas la méthode de facturation d'un LogStore. Après activation, les frais d'écriture, de stockage, de requête et d'analyse sont toujours facturés selon la méthode de facturation actuelle du LogStore.

Lorsqu'une requête bénéficie de l'élimination par clé métier, le volume de données analysé et la durée de la requête diminuent, ce qui peut également réduire les frais de requête et d'analyse associés. L'avantage réel dépend de la présence de la clé métier complète dans la requête, du nombre de ShardGroups, de la distribution des données et de la plage temporelle de la requête.

FAQ

Pourquoi mes requêtes ne sont-elles pas sensiblement plus rapides après avoir activé le stockage agrégé par clé métier ?

Vérifiez d'abord si vos requêtes respectent les conditions de succès décrites dans Conditions de succès et de repli des requêtes. Si les conditions sont remplies, examinez les causes de configuration suivantes :

Les champs de clé métier sont absents d'une grande proportion de journaux, ce qui affaiblit l'effet d'agrégation.
Le nombre de ShardGroups est trop faible, ce qui limite l'élimination des shards.

Que se passe-t-il lorsqu'un champ de clé métier est absent ?

Simple Log Service utilise une chaîne vide dans le calcul du hachage, de sorte que tous les journaux avec une valeur manquante ou vide sont écrits dans le même ShardGroup. Si les champs de clé métier sont absents d'un grand nombre de journaux, un déséquilibre d'écriture se produit. Vérifiez la couverture des champs de clé métier avant d'activer le stockage agrégé par clé métier.

Quand dois-je effectuer un rééquilibrage des données ?

Envisagez un rééquilibrage des données lorsque l'état Shard data range balance status indique que les plages de données des shards sont déséquilibrées. Avant de l'exécuter, vérifiez si les journaux sont écrits avec une clé de hachage spécifiée, par exemple via le SDK. Si votre application continue d'écrire avec une clé de hachage spécifiée, les points chauds peuvent persister après le rééquilibrage.