Un LogStore est une unité de stockage dans Simple Log Service (SLS) utilisée pour collecter, stocker et interroger les données de journal.
Concepts fondamentaux
Qu'est-ce qu'un LogStore ?
Un LogStore est un conteneur de données dans Simple Log Service. Vous pouvez créer plusieurs LogStores sous un Project afin d'isoler et de gérer les journaux provenant de différentes applications ou sources.
Meilleures pratiques de planification des LogStores
Créez un LogStore distinct pour chaque source ou type de journal. Par exemple, stockez les journaux d'accès et les journaux d'erreur NGINX dans des LogStores séparés. Cela évite le mélange des journaux et simplifie les requêtes ultérieures, l'analyse, l'isolation des autorisations et l'audit de conformité.
Pour répondre aux exigences de conformité de protection classifiée de niveau 3 et autres similaires, utilisez un Project comme limite unique de contrôle d'accès. Créez des LogStores séparés dans ce Project pour chaque type de journal, tels que les journaux du serveur, les journaux de base de données et les journaux d'opérations de la console. Cette configuration prend en charge le stockage catégorisé et la traçabilité des audits.
Un LogStore ne catégorise pas automatiquement les journaux par année, mois, jour ou heure, et il ne crée pas automatiquement de dossiers. L'interrogation des journaux repose entièrement sur les champs temporels réels présents dans le contenu du journal.
De plus, certains services Alibaba Cloud ou fonctionnalités SLS créent automatiquement des LogStores dédiés à des fins spécifiques. Ces LogStores ne peuvent pas accepter d'autres types de données. Voici quelques exemples :
internal-operation_log: stocke les journaux d'opération détaillés générés par Simple Log Service lui-même.oss-log-store: créé automatiquement lorsque vous configurez les journaux d'accès OSS pour l'archivage.
Comparaison des spécifications des LogStores
Simple Log Service propose deux types de LogStore — Standard et Query — qui diffèrent par leurs fonctionnalités et leur coût.
Type | Coût (comparaison des frais de trafic d'index) | Scénarios |
Standard | USD 0.0875/Go | Utilisez ce type pour l'analyse interactive, la surveillance en temps réel, la visualisation ou la construction de systèmes d'observabilité. |
Type Query (Query) | USD 0.0146/Go | Ce type ne prend pas en charge l'analyse. Utilisez-le pour l'archivage des journaux, le stockage des journaux d'audit ou les scénarios de dépannage où seule une recherche rapide par mot-clé est nécessaire, sans analyse. Les cas d'utilisation typiques incluent la conservation à long terme (mois ou années) avec un accès peu fréquent. |
Portée et autorisations
Créer un LogStore de base
Console
Connectez-vous à la console Simple Log Service. Dans la liste des Projects, cliquez sur le Project cible.
Dans l'onglet , cliquez sur l'icône +.
-
Sur la page Create Logstore, configurez les paramètres et cliquez sur OK.
Type de LogStore : Standard par défaut.
-
Mode de facturation :
Paiement par fonctionnalité : Vous êtes facturé séparément pour chaque ressource utilisée (comme le stockage, l'indexation et les opérations de lecture/écriture) et bénéficiez d'un quota gratuit mensuel, ce qui aide à maîtriser les coûts dans les scénarios à petite échelle.
Paiement par données ingérées : Vous ne payez que pour le volume brut de données ingérées. Le stockage et les fonctionnalités principales sont gratuits pendant 30 jours, offrant un modèle de tarification plus simple et plus économique.
Astuce rapide : Plus votre période de rétention est proche de 30 jours et plus vous indexez de champs (en particulier l'indexation en texte intégral), plus le paiement par données ingérées devient adapté.
Nom du LogStore : Doit être unique au sein du Project et ne peut pas être modifié après la création.
Période de rétention des données : 30 jours par défaut.
Laissez tous les autres paramètres à leurs valeurs par défaut.
API
Modifier la configuration du LogStore
Vous pouvez configurer les paramètres suivants lors de la création. Cette section utilise la modification du LogStore comme exemple.
Cliquez sur
Log Storage. Sur la page LogStores, survolez le LogStore cible et sélectionnez .Dans les propriétés du LogStore, modifiez les paramètres pertinents en fonction de votre scénario.
Supprimer des journaux spécifiques ou définir la période de rétention des journaux
Console
Dans Basic Information, cliquez sur Modify, ajustez la période de rétention des données et cliquez sur Save.
Simple Log Service prend en charge la suppression d'entrées de journal spécifiques à l'aide de la fonctionnalité Log Soft Delete . Sur la page Query and Analysis du LogStore, saisissez les conditions de requête, sélectionnez une plage horaire et cliquez sur Log Soft Delete pour soumettre une tâche de suppression. Les entrées de journal supprimées n'apparaissent plus dans les requêtes ultérieures et sont définitivement supprimées à la fin de la période de rétention. Vous pouvez également supprimer les journaux expirés par lots en modifiant la période de rétention des données, ou en arrêtant la facturation ou en supprimant le LogStore pour supprimer tous les journaux.
Specified Days : Valeurs valides : 1–3650. La définition de cette valeur sur 3650 signifie une rétention permanente. Les journaux sont supprimés à la fin de la période de rétention.
Permanent Storage : Conserve les journaux dans le LogStore indéfiniment.
Les modifications prennent effet immédiatement, mais la suppression des données expirées peut prendre un certain temps.
Vérifier que la modification prend effet
Après avoir enregistré la modification, survolez à nouveau le LogStore et cliquez sur Modify. Dans les propriétés du LogStore, vérifiez si le nombre de jours affiché pour Data Retention Period correspond à la valeur que vous avez définie, ce qui confirme que le paramètre est appliqué. Si la rétention permanente est activée pour le LogStore, aucun nombre de jours personnalisé n'est affiché, ce qui signifie que les journaux de ce LogStore sont conservés jusqu'à ce que vous modifiiez le paramètre.
Dépanner une période de rétention des données qui ne peut pas être modifiée ou dont l'enregistrement échoue
Si Data Retention Period ne peut pas être modifié (le bouton de modification de la période de rétention est estompé ou la durée de stockage ne peut pas être sélectionnée), ou si une erreur s'affiche lors de l'enregistrement de la modification et que les paramètres du cycle de vie ne peuvent pas être finalisés, vérifiez les éléments suivants dans l'ordre :
Le LogStore est un LogStore dédié qu'un service cloud ou Simple Log Service a créé automatiquement. La création automatique s'applique aux LogStores dédiés Redis, aux LogStores dédiés MongoDB et aux LogStores dédiés de gestion Simple Log Service, dont la période de rétention des données est gérée par le service cloud correspondant. Lorsque vous enregistrez la modification dans la console Simple Log Service, un message vous invite à effectuer l'opération dans la console de ce service cloud. Pour utiliser une période de rétention personnalisée, ajustez-la dans la console du service cloud correspondant, ou créez un LogStore standard pour vos journaux métier.
Le LogStore est un LogStore réservé au système avec le préfixe
internal-, par exempleinternal-operation_log,internal-alert-history, ouinternal-etl-log. Un tel LogStore est déjà lié à une configuration d'importation de données spécifique, et la console indique que le LogStore actuel est configuré pour une importation de données spécifique, de sorte que ses éléments de configuration ne peuvent pas être personnalisés.Le compte actuel ne dispose pas des autorisations suffisantes. La modification d'une configuration de LogStore nécessite les autorisations de gestion du LogStore sur le Project cible, c'est-à-dire des autorisations telles que
log:*LogStorerépertoriées dans la section Portée et autorisations de cette rubrique. Si vous vous connectez en tant qu'utilisateur Resource Access Management (RAM), demandez la politique systèmeAliyunLogFullAccess, ou une politique personnalisée contenant ces autorisations, au propriétaire du compte Alibaba Cloud.La page de la console ne s'affiche pas correctement. Actualisez la page ou passez à un autre navigateur, survolez à nouveau le LogStore cible, cliquez sur Modify, puis modifiez à nouveau Data Retention Period.
Dans les scénarios standard, vous pouvez également finaliser le paramètre en modifiant
ttlcomme décrit dans l'onglet API de cette section. Pour les LogStores dédiés décrits ci-dessus, vous devez toujours ajuster la période de rétention dans la console du service cloud correspondant.
API
Ajustez la période de rétention des journaux en mettant à jour la valeur ttl dans Update Logstore.
Optimiser les coûts de stockage à l'aide des niveaux
Console
Dans Basic Information, cliquez sur Modify et activez les niveaux intelligents.
-
Configurez la Storage Policy : La somme des jours sur les trois niveaux doit être égale à la période totale de rétention des données.
Stockage chaud : minimum 7 jours.
Classe de stockage IA : minimum 30 jours.
Stockage d'archive : minimum 60 jours.
Définissez Data retention period sur Limited days, activez Intelligent tiering et configurez les transitions de niveau dans Storage policy : le stockage chaud passe automatiquement au stockage IA à la fin de sa période, le stockage IA passe au stockage d'archive, et le stockage d'archive est automatiquement supprimé à la fin de sa période.
Cliquez sur Save. Pour plus de détails, consultez Niveaux intelligents.
API
Ajustez dynamiquement la politique de rétention pour les niveaux de stockage en mettant à jour les valeurs ttl, hot_ttl et infrequentAccessTTL dans Update Logstore.
Collecter les journaux frontend
Simple Log Service propose WebTracking pour collecter les journaux issus des mini-programmes, des applications mobiles (iOS/Android) et des navigateurs.
Vous pouvez utiliser cette fonctionnalité de deux manières :
Utilisez l'authentification STS pour la transmission. Cette méthode convient aux environnements de production et ne nécessite aucune modification de la configuration du LogStore.
Utilisez la transmission anonyme via OpenAPI. Cette méthode est réservée aux tests et requiert l'activation d'un paramètre dans le LogStore, comme décrit ci-dessous.
Console
Dans les propriétés de base, cliquez sur Modify, activez WebTracking, puis cliquez sur Save.
API
Activez WebTracking en définissant le paramètre enable_tracking sur true dans l'appel Update Logstore.
Ajouter automatiquement l'IP publique et l'heure d'arrivée des journaux
Lorsque cette option est activée, l'ingestion ultérieure des journaux ajoute automatiquement les éléments suivants :
__tag__:__client_ip__ : l'adresse IP publique de l'appareil source du journal.
__tag__:__receive_time__ : l'heure d'arrivée du journal sur le serveur Simple Log Service, formatée sous forme d'horodatage UNIX (secondes écoulées depuis le 01/01/1970 00:00:00 UTC).
Console
Dans les propriétés de base, cliquez sur Modify, activez Record public IP, puis cliquez sur Save.
API
Activez l'enregistrement de l'IP publique en définissant le paramètre appendMeta dans l'appel Update Logstore.
Ajuster les performances d'ingestion à l'aide des shards
Chaque shard prend en charge 5 Mo/s ou 500 écritures par seconde pour l'ingestion, et 10 Mo/s ou 100 lectures par seconde pour la consommation. Il s'agit de limites souples. Le système tente de traiter les requêtes au-delà de ces seuils, mais ne garantit pas la qualité de service. Si le trafic dépasse la capacité d'un shard, divisez-le pour augmenter sa capacité.
Console
Dans les propriétés de base, cliquez sur Modify, activez Automatic sharding, définissez la limite de shards, puis cliquez sur Save.
Simple Log Service permet la division et la fusion des shards individuels.
API
Arrêter la facturation ou supprimer un LogStore
Une fois supprimé, toutes les données de journal du Logstore sont définitivement perdues et ne peuvent pas être récupérées. Procédez avec prudence.
Avant de supprimer un LogStore, évaluez son impact métier. La suppression d'un LogStore n'affecte généralement pas les opérations si celui-ci n'est pas utilisé pour la surveillance, les alertes, l'analyse ou l'audit, et s'il ne sert pas de source de données pour la transformation, l'expédition ou les requêtes API. Avant de poursuivre, assurez-vous qu'aucune configuration associée importante ne subsiste. Les données d'un LogStore supprimé ne peuvent pas être récupérées.
Console
-
Nettoyage préalable à la suppression.
Supprimez toutes les configurations Logtail associées avant de supprimer le LogStore. Il s'agit de la seule vérification stricte effectuée par la console lors de la suppression d'un LogStore : si le LogStore est toujours associé à des configurations de collecte Logtail, la console signale la présence de configurations Logtail qui doivent être supprimées en premier, et la suppression ne peut pas se poursuivre. Par conséquent, si un LogStore ne peut pas être supprimé, commencez par supprimer toutes les configurations de collecte Logtail de ce LogStore, puis réessayez de supprimer le LogStore.
Si LogShipper est activé pour ce LogStore, arrêtez l'écriture de nouvelles données et confirmez que toutes les données existantes ont été expédiées avec succès avant la suppression.
La Release Protection d'un projet s'applique au projet lui-même : une fois activée, vous devez la désactiver manuellement avant de pouvoir supprimer le projet. La suppression d'un seul LogStore n'est pas affectée par cette fonctionnalité, il n'est donc pas nécessaire de la désactiver.
-
Étapes de suppression.
Dans l'onglet , survolez le LogStore cible et sélectionnez .
Dans la boîte de dialogue Warning, cliquez sur Confirm Deletion.
-
Remarques post-suppression.
Les frais de stockage s'appliquent toujours le jour de la suppression. Aucun frais ne sera facturé à partir du lendemain. Vous ne recevrez pas de facture pour ce LogStore à compter du troisième jour suivant la suppression.
Après la suppression, toutes les tâches d'exportation, les jobs de transformation de données, les tâches SQL planifiées utilisant ce LogStore comme source, ainsi que les tâches d'importation ciblant ce LogStore sont supprimées.
API
Exemples de configuration pour des scénarios concrets
Surveillance et analyse en temps réel pour les charges de travail volumineuses
Votre application en ligne génère de grands volumes de journaux en temps réel. En cas de défaillance, vous devez localiser rapidement les journaux d'erreur et surveiller les métriques de performance (telles que le QPS et la latence de réponse) avec des alertes en temps réel.
Configuration recommandée : Standard LogStore + paiement selon les données ingérées + sharding automatique.
Raison : Le Standard LogStore prend en charge l'analytique, la surveillance en temps réel et la visualisation. Avec un volume d'ingestion élevé et un besoin potentiel d'indexation étendue, le modèle de paiement selon les données ingérées offre une meilleure efficacité des coûts, tandis que le sharding automatique garantit des performances constantes d'ingestion et d'analyse.
Scénarios de conformité, d'audit et de réglementation
Les réglementations sectorielles exigent le stockage des journaux d'opération utilisateur et des journaux de sécurité pendant plus de six mois à des fins d'audit, mais la fréquence quotidienne des requêtes et analyses est très faible.
Configuration recommandée : Query LogStore + nivellement intelligent.
Raison : Le Query LogStore prend en charge les charges de travail de recherche uniquement, avec un coût de trafic d'index inférieur à celui du Standard. Le nivellement intelligent réduit les coûts de stockage à long terme en déplaçant automatiquement les anciens journaux vers des niveaux de stockage moins onéreux.
Références connexes
Comparaison des LogStores avec facturation par fonctionnalité
Les Query LogStores prennent uniquement en charge la facturation par fonctionnalité. Dans ce modèle, les LogStores Standard et Query se comparent comme suit :
Élément de comparaison | Standard | Spécification Query | |
Coût | USD 0.0875/Go | USD 0.0146/Go | |
Fonctionnalités | Ingestion de données (pour les journaux d'application uniquement) | Prise en charge | Ne prend pas en charge l'ingestion des journaux des produits cloud. |
Prise en charge | Prise en charge | ||
Prise en charge | Prise en charge | ||
Analytique (instruction SQL) | Prise en charge | Non pris en charge | |
Prise en charge | Prise en charge | ||
Prise en charge | Prise en charge | ||
Prise en charge | Non pris en charge | ||
Prise en charge | Prise en charge | ||
Prise en charge | Non pris en charge | ||
Prise en charge | Prend uniquement en charge les alertes basées sur des requêtes | ||
Prise en charge | Non pris en charge | ||
Prise en charge | Prise en charge | ||
Prise en charge | Prise en charge | ||
Prise en charge | Prise en charge | ||
Limites
Le paiement selon les données ingérées prend en charge l'ensemble complet des fonctionnalités SLS. Les fonctionnalités à valeur ajoutée telles que la requête et l'analyse, la transformation de données, l'alerte intelligente et la consommation/expédition n'entraînent aucun frais supplémentaire, mais sont soumises aux limites de quota suivantes.
|
Limite de quota |
Description |
|
Volume de transformation de données |
Maximum de 100 To par LogStore et par mois. |
|
Volume de données SQL planifié |
Maximum de 20 To par LogStore et par mois. |
|
Volume de données expédiées |
Maximum de 100 To par LogStore et par mois. |
|
Volume de données consommées |
Maximum de 100 To par LogStore et par mois. |
|
Volume de calcul des jobs d'alerte |
Maximum de 100 To par LogStore et par mois. |
Aperçu de la facturation
Les coûts du LogStore dépendent principalement du mode de facturation sélectionné.
Facturation par fonctionnalité : Vous êtes facturé séparément pour l'utilisation réelle des ressources telles que la capacité de stockage, le trafic d'index, les opérations de lecture/écriture et le nombre de shards.
Paiement selon les données ingérées : Vous payez uniquement pour le volume brut de données ingérées, avec 30 jours de stockage gratuit et plusieurs fonctionnalités gratuites incluses.
Détails clés de tarification :
Trafic d'index standard : USD 0.0875/Go.
Trafic d'index Query : USD 0.0146/Go.
Conseils d'optimisation des coûts :
Si votre période de rétention des journaux approche ou dépasse 30 jours, le modèle de paiement selon les données ingérées est généralement plus rentable.
Pour les scénarios d'archivage et de récupération uniquement, utilisez les Query LogStores afin de réduire les coûts d'indexation.
Utilisez le nivellement intelligent pour déplacer les données rarement consultées vers des niveaux de stockage moins onéreux.
FAQ
Impossible de créer un LogStore
Par défaut, vous pouvez créer jusqu'à 200 LogStores par projet. Supprimez les LogStores inutilisés ou demandez une augmentation de quota comme suit.
Connectez-vous à la console Simple Log Service, puis cliquez sur le projet cible dans la liste des projets.
Sur la page du projet, accédez à Overview > Basic Information > Resource Quota et cliquez sur Manage. Dans le panneau Resource Quotas, ajustez la limite de quota LogStore et cliquez sur Save pour soumettre votre demande. Prévoyez environ une heure pour que la modification prenne effet.
Des journaux manquent-ils dans Simple Log Service ?
-
Projet ou LogStore manquant
Si vous supprimez manuellement un projet ou un LogStore, les journaux ne peuvent pas être récupérés. Utilisez ActionTrail pour vérifier les événements de suppression au cours des 90 derniers jours.
-
Si votre compte reste impayé pendant plus de 7 jours, le service est considéré comme abandonné. Les projets sont récupérés et les données sont définitivement supprimées. Pour plus de détails, consultez la section Paiements en souffrance.
Comment réduire les coûts de stockage des journaux ?
Pour consulter votre facturation SLS, reportez-vous à la rubrique Afficher la capacité de stockage SLS et les enregistrements de consommation.
Télécharger les journaux historiques localement ou les expédier vers OSS pour stockage.
Comment identifier la source de données des journaux collectés dans un LogStore ?
Si un projet contient des LogStores que vous n'avez pas créés, ou si vous ignorez quel service cloud écrit des journaux dans un LogStore, utilisez les méthodes suivantes pour confirmer la source de données et le service source des journaux :
Vérifiez la configuration d'importation de données du LogStore : les configurations de collecte Logtail et les configurations d'expédition ou d'importation des journaux de services cloud correspondent directement aux sources de données qui écrivent dans le LogStore. C'est le moyen le plus direct de confirmer la source.
Consultez les Raw Logs sur la page Query and Analysis du LogStore : la colonne Time/IP de chaque entrée de journal affiche le champ d'identifiant source
__source__. Les journaux que Logtail collecte à partir de fichiers comportent également des champs réservés tels que__tag__:__path__, dont les noms sont des mots réservés Simple Log Service, et vous pouvez utiliser ces champs pour déterminer la source d'exécution des journaux.Vérifiez la description du projet : un projet issu d'une création automatique par un service cloud indique généralement son objectif et sa source dans la description.
Les LogStores préfixés par
internal-, par exempleinternal-operation_log,internal-alert-historyetinternal-etl-log, sont réservés par Simple Log Service pour des importations de données spécifiques. Pour ces LogStores, la console indique que le LogStore actuel est configuré pour une importation de données spécifique et que ses éléments de configuration ne peuvent pas être personnalisés.Ne vous fiez pas au champ
productTyperenvoyé parGetLogStorepour déterminer la source : ce champ n'est pas défini dans l'OpenAPI Simple Log Service et ses valeurs ne sont pas normalisées. Utilisez-le uniquement comme signal auxiliaire, jamais comme unique base de votre conclusion.
Le stockage des journaux bruts est-il activé par défaut pour un LogStore ?
Oui. Le stockage des journaux bruts est activé par défaut et ne nécessite aucune configuration manuelle. Une fois les journaux écrits dans un LogStore, les journaux bruts sont stockés, et Simple Log Service ne propose pas d'interrupteur distinct pour le stockage des journaux bruts. La durée de conservation des journaux est déterminée par la Data Retention Period du LogStore.
Pour le confirmer, connectez-vous à la console Simple Log Service, accédez à la page Query and Analysis du LogStore cible, sélectionnez une plage horaire et consultez les journaux écrits dans l'onglet Raw Logs. L'onglet Raw Logs est également disponible lorsque l'indexation est désactivée pour le LogStore. Si la page indique que l'indexation n'est pas activée, vous pouvez interroger uniquement les données écrites après la prise d'effet de l'indexation.