Télécharger les journaux SLS via la console, OpenAPI, CLI, Cloud Shell ou SDK - Simple Log Service

Simple Log Service (SLS) vous permet de télécharger des journaux ou les résultats de requêtes et d'analyses sur votre machine locale. Cette rubrique décrit les méthodes de téléchargement disponibles et la procédure à suivre.

Méthodes de téléchargement

Simple Log Service vous permet de télécharger des journaux ou les résultats de requêtes et d'analyses via la console, Cloud Shell, l'interface de ligne de commande (CLI) de Simple Log Service ou un SDK.

Important

Les méthodes CLI et SDK n'imposent aucune limite de volume de données pour les téléchargements basés sur des requêtes. Toutefois, une instabilité du réseau peut interrompre le téléchargement.
Le téléchargement de fichiers compressés est pris en charge uniquement via la console.
La longueur maximale d'une instruction SQL est de 32 Ko. Si cette limite est dépassée, divisez la requête en plusieurs lots.
Si le LogStore utilise la méthode de facturation « paiement selon les données ingérées », le téléchargement des résultats de requêtes et d'analyses (résultats SQL) est gratuit. Pour plus d'informations, consultez la section paiement selon les données ingérées.
Si le LogStore utilise la méthode de facturation « paiement par fonctionnalité », le téléchargement des résultats de requêtes et d'analyses (résultats SQL) nécessite Dedicated SQL, ce qui engendre des frais. Pour plus d'informations sur les tarifs, consultez la section Éléments facturables pour la méthode de facturation par fonctionnalité.

Élément de comparaison	Console (recommandé)	OpenAPI	CLI	Cloud Shell	SDK
Limite de volume de données	Requête uniquement : jusqu'à 20 millions de lignes dans les régions Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen) et Singapour. Jusqu'à 1 million de lignes dans les autres régions. Volume maximal de données : 20 Go. Analyse SQL : volume maximal de données : 2 Go.	Requête uniquement : jusqu'à 20 millions de lignes dans les régions Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen) et Singapour. Jusqu'à 1 million de lignes dans les autres régions. Volume maximal de données : 20 Go. Analyse SQL : volume maximal de données : 2 Go.	Requête uniquement : illimité Analyse SQL : volume maximal de données : 2 Go.	Requête uniquement : illimité Analyse SQL : volume maximal de données : 2 Go.	Requête uniquement : illimité Analyse SQL : volume maximal de données : 2 Go.
Déploiement	Aucun	Aucun	Installez manuellement la CLI de Simple Log Service.	Déploiement automatique. Attendez l'initialisation lors de la première exécution.	Installez manuellement un SDK Simple Log Service et écrivez du code personnalisé.
Autorisation	Configuration des autorisations de téléchargement	Configuration des autorisations de téléchargement	Configuration manuelle	Configuration automatique	Configuration manuelle
Dedicated SQL	Requis pour télécharger les résultats de l'analyse SQL.	Requis pour télécharger les résultats de l'analyse SQL.	Non utilisé	Non utilisé	Configurez les paramètres selon vos besoins.
Trafic Internet sortant	Aucun	Aucun	Les frais sont exonérés si l'outil est déployé sur une instance ECS dans la même région que le projet et utilise un endpoint privé Simple Log Service.	Les frais sont exonérés si le projet se trouve dans la région Chine (Shanghai).	Les frais sont exonérés si l'outil est déployé sur une instance ECS dans la même région que le projet et utilise un endpoint privé Simple Log Service.
Intégration Network Attached Storage (NAS)	Aucun	Aucun	Configuration manuelle, si nécessaire.	Configuration automatique	Configuration manuelle, si nécessaire.

Vous pouvez également utiliser LogShipper pour transférer les journaux vers Object Storage Service (OSS) et les télécharger depuis OSS. Pour plus d'informations sur le transfert de journaux, consultez la section Créer une tâche de transfert OSS (Nouveau).

Configuration des autorisations de téléchargement (cliquez pour afficher)

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:ListDownloadJobs",
        "log:CreateDownloadJob",
        "log:GetDownloadJob",
        "log:DeleteDownloadJob"
      ],
      "Resource": [
        "acs:log:*:*:project/your-project-name/downloadjob/*"
      ],
      "Effect": "Allow"
    }
  ]
}

Procédure

Console

La console Simple Log Service prend en charge le téléchargement des journaux ainsi que des résultats de requêtes et d'analyses. Les étapes suivantes illustrent le téléchargement de journaux. Pour télécharger les résultats de requêtes et d'analyses, exécutez une instruction de requête, puis dans l'onglet Graph, cliquez sur Download Log.

Important

Si le nombre de journaux dépasse la limite d'une seule tâche, seul le nombre maximal autorisé est téléchargé. Pour obtenir l'intégralité des journaux, réduisez la plage de temps et effectuez le téléchargement par lots.
Chaque compte Alibaba Cloud prend en charge jusqu'à trois tâches de téléchargement simultanées, sans limite sur le nombre total de téléchargements. Si cette limite est atteinte ou si plusieurs utilisateurs Resource Access Management (RAM) lancent des téléchargements simultanément, attendez la fin des tâches en cours avant de réessayer.
Les enregistrements de téléchargement sont automatiquement supprimés après un jour.
Le système relance automatiquement une tâche de téléchargement en cas d'erreur réseau ou si la requête est imprécise. Après trois tentatives, le statut de la tâche passe à Échec.
Différence entre le téléchargement en ligne (Enregistrer sous) et le téléchargement hors ligne (Gestion des tâches) :
- Enregistrer sous : télécharge les résultats actuellement affichés à l'écran. Adapté aux petits ensembles de données. L'exportation de volumes importants, comme des centaines de milliers de lignes, peut rendre le navigateur non réactif ou provoquer un plantage. Dans ce cas, utilisez la fonction de téléchargement hors ligne dans Gestion des tâches, ou réduisez la plage de temps de la requête pour diminuer le volume.
- Gestion des tâches (téléchargement hors ligne) : conçu pour les grands ensembles de données. Les tâches s'exécutent de manière asynchrone en arrière-plan. Vous pouvez fermer la page après avoir créé la tâche et télécharger le fichier une fois celui-ci terminé.
- Le nombre réel de lignes téléchargées lors d'une tâche hors ligne peut différer légèrement du nombre affiché dans les résultats de requête frontend. Ce comportement est normal.
- Si un rafraîchissement de la page empêche les opérations de copie ou échoue le téléchargement en ligne, utilisez la fonction de téléchargement de journaux au lieu d'un copier-coller manuel.
Une tâche de téléchargement hors ligne n'a pas de durée fixe. Le temps nécessaire dépend des conditions réseau, du taux de compression de vos données, de la charge actuelle du système et du fait que la tâche doive lire des données depuis le stockage Infrequent Access ou Archive. Simple Log Service ne fournit aucun SLA de durée ni de formule pour estimer celle-ci ; une tâche lente n'est donc pas nécessairement une tâche échouée. Si un téléchargement est lent ou si une tâche ne progresse pas pendant longtemps, réduisez la plage de temps de la requête à un jour ou une semaine, créez les tâches de téléchargement par lots, puis fusionnez les fichiers téléchargés pour obtenir l'intégralité des journaux. Le téléchargement par lots améliore à la fois la vitesse et la stabilité. Si la plage de requête couvre des données stockées dans les niveaux Infrequent Access ou Archive, le temps de lecture augmente considérablement. Réduisez encore la plage de temps ou rendez l'instruction de requête plus sélective afin de diminuer le volume de données lu depuis ces niveaux de stockage.
Dépannage en cas d'échec du téléchargement en ligne alors que le téléchargement hors ligne réussit :
- Vérifiez la stabilité de la connexion réseau et assurez-vous que la requête n'est pas trop complexe.
- Essayez le téléchargement hors ligne (Gestion des tâches) ou la CLI/SDK, qui sont plus stables et mieux adaptés aux grands volumes de données.
- Si le téléchargement en ligne continue d'échouer, réduisez la plage de temps et effectuez le téléchargement par petits lots.
Si le bouton Download Log est grisé et indisponible, vérifiez les points suivants :
- Assurez-vous que vous vous trouvez dans l'onglet Raw Logs. D'autres vues, telles que les graphiques statistiques, ne prennent pas en charge le téléchargement.
- Vérifiez que la requête renvoie des résultats. Si le résultat de la requête est vide, le bouton de téléchargement est grisé. Ajustez votre instruction de requête ou la plage de temps, puis relancez la requête.
- Confirmez que l'utilisateur RAM dispose des autorisations liées au téléchargement, notamment log:CreateDownloadJob et log:ListDownloadJobs. Pour plus d'informations, consultez la section Configuration des autorisations de téléchargement de cette rubrique.
- Vérifiez que le nombre de tâches de téléchargement simultanées n'a pas atteint la limite. Chaque compte Alibaba Cloud prend en charge jusqu'à trois tâches de téléchargement simultanées. Si la limite est atteinte, attendez que les tâches existantes soient terminées avant de réessayer.
- Si la requête renvoie très peu de résultats, par exemple seulement 20 lignes, les conditions de filtrage peuvent être trop restrictives. Essayez d'élargir la plage de temps ou d'ajuster l'instruction de requête.

Connectez-vous à la console Simple Log Service.
Dans la section Projects, cliquez sur le projet cible.
Dans le volet de navigation de gauche, choisissez Log Storage > Logstores. Sur la page LogStores, cliquez sur le LogStore cible.
Saisissez une instruction de requête et sélectionnez une plage de temps.
Dans l'onglet Raw Logs, choisissez > Download Log.

Dans la boîte de dialogue Download Log, configurez les paramètres suivants et cliquez sur OK.

Paramètre	Description
Task Name	Nom de la tâche de téléchargement.
Log Quantity	Nombre de journaux à télécharger.
Data Format	CSV ou JSON. CSV : les noms de colonnes proviennent des 100 premiers champs de journal. Les nouveaux champs des journaux suivants sont stockés au format JSON dans une dernière colonne sans nom. JSON : chaque entrée de journal constitue une seule ligne JSON.
Quote	Entoure les champs contenant des caractères spéciaux pour éviter tout échappement involontaire.
Download Inaccurate Results	Si vous sélectionnez No, le téléchargement échoue si les résultats de la requête sont imprécis.
Compression Method	gzip, lz4, zstd ou none. La compression réduit considérablement la taille du fichier et le temps de téléchargement pour les grands ensembles de données.

Dans la boîte de dialogue Download Tasks, attendez que le Status de la tâche passe à Successful, puis cliquez sur Download pour enregistrer les journaux sur votre machine locale.

Vous pouvez également, dans l'onglet Raw Logs, choisir > Download Tasks pour ouvrir la boîte de dialogue Download Tasks et consulter les enregistrements de téléchargement.

OpenAPI

Appelez l'opération CreateDownloadJob pour créer une tâche de téléchargement de journaux.

Important

Si le nombre de journaux dépasse la limite d'une seule tâche, seul le nombre maximal autorisé est téléchargé. Pour obtenir l'intégralité des journaux, réduisez la plage de temps et effectuez le téléchargement en plusieurs lots.
Chaque compte Alibaba Cloud prend en charge jusqu'à trois tâches de téléchargement simultanées, sans limite sur le nombre total de téléchargements. Si cette limite est atteinte ou si plusieurs utilisateurs RAM lancent des téléchargements simultanément, attendez la fin des tâches en cours avant de réessayer.
Les enregistrements de téléchargement sont automatiquement supprimés après un jour.
Le système relance automatiquement une tâche de téléchargement en cas d'erreur réseau ou si la requête est imprécise. Après trois tentatives, le statut de la tâche passe à Échec.

Remarque

Remarques concernant le téléchargement par lots via OpenAPI :

Exigence de configuration d'index : lors de l'appel à l'API GetLogs ou de l'exécution de requêtes SQL, assurez-vous que les champs interrogés sont configurés dans l'index du LogStore. Si un champ interrogé n'est pas indexé, une erreur ParameterInvalid est renvoyée. Pour plus d'informations, consultez la section CreateIndex.
Télécharger des champs spécifiques : pour télécharger des champs spécifiques tels que message, utilisez une instruction SELECT pour filtrer les résultats, par exemple * | SELECT message, avant d'exécuter le téléchargement. Cela réduit les transferts de données inutiles.

Cloud Shell

Cloud Shell est déployé en Chine (Shanghai). Le téléchargement depuis des LogStores situés dans d'autres régions entraîne des frais de trafic Internet sortant. Tarification.

Exportation de journaux à grande échelle : pour des volumes importants de journaux, comme des centaines de millions d'entrées, utilisez Cloud Shell ou la CLI/SDK plutôt que le téléchargement par lots via la console. Cloud Shell ne nécessite aucune installation manuelle de dépendances et convient aux tâches d'exportation à grande échelle.

Pour les étapes détaillées, consultez la section Utiliser Cloud Shell pour télécharger des données de journaux.

CLI

Pour des volumes de journaux importants, utilisez l'interface de ligne de commande.

Installez l'interface de ligne de commande. Pour plus d'informations, consultez la section Installer la CLI.
Obtenez la paire AccessKey de votre compte. Pour plus d'informations, consultez la section Paire AccessKey.

Obtenez la commande permettant de télécharger les journaux. Pour les étapes détaillées, consultez la section get_log_all.

Exemple : la commande suivante télécharge les journaux et les enregistre dans downloaded_data.txt dans le répertoire de travail.

aliyunlog log get_log_all --project="aliyun-test-project" --Logstore="aliyun-test-Logstore" --from_time="2024-07-01 15:33:00+8:00" --to_time="2024-07-09 15:23:00+8:00"  --query="status:200|select request_method as method,COUNT(*) as pv group by method order by pv" --region-endpoint="cn-hangzhou.log.aliyuncs.com" --format-output=json --access-id="LT***CyGg" --access-key="8P***zi" >> ./downloaded_data.txt

La commande de téléchargement de journaux de l'interface de ligne de commande (CLI) de Simple Log Service ne prend actuellement pas en charge l'utilisation conjointe des paramètres --compress et --query dans la même commande. Si vous devez filtrer les journaux par condition et compresser le téléchargement d'un grand volume de données simultanément, appelez l'opération CreateDownloadJob pour créer une tâche de téléchargement à la place.

Pour plus d'informations, consultez la section Utiliser la CLI SLS.

SDK

Pour des volumes de journaux importants, utilisez un kit de développement logiciel (SDK) Simple Log Service.

Le SDK utilise la même API pour le téléchargement et l'interrogation des journaux.

Le code suivant est un exemple utilisant le SDK Python :

import os
import time

from aliyun.log import LogClient
from aliyun.log import GetLogsRequest

# The endpoint of Simple Log Service.
endpoint = 'cn-qingdao.log.aliyuncs.com'
# This example obtains the AccessKey ID and AccessKey secret from environment variables.
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# The name of the project.
project = 'your-project-name'
# The name of the Logstore.
Logstore = 'your-Logstore-name'
client = LogClient(endpoint, accessKeyId, accessKey)
request = GetLogsRequest(project, Logstore, fromTime=int(time()-3600), toTime=int(time()), topic='', query="*", line=100, offset=0, reverse=False)
# Or
# request = GetLogsRequest(project, Logstore, fromTime="2018-1-1 10:10:10", toTime="2018-1-1 10:20:10", topic='', query="*", line=100, offset=0, reverse=False)

res = client.get_logs(request)
res.log_print()

Pour plus d'informations, consultez la section Aperçu de la référence SDK.

FAQ

Comment télécharger uniquement des champs spécifiques via la console ?

Pour télécharger uniquement des champs spécifiques via la console, assurez-vous d'abord que chaque champ souhaité, tel que pod_name, time ou content, possède un index de champ créé dans l'index du LogStore et que les statistiques sont activées. Un index de champ s'applique uniquement aux journaux écrits après sa création ou sa mise à jour ; les journaux historiques doivent donc être réindexés avant de pouvoir être interrogés et agrégés par champ.

Sur la page de requête et d'analyse, exécutez une instruction SQL qui conserve uniquement les champs que vous souhaitez télécharger. L'instruction prend la forme condition de requête | SELECT "champ1", champ2. Par exemple :

__tag__:__container_name__: tms-prod-bp-server | SELECT "__tag__:__pod_name__", __time__, content

Une fois la requête exécutée, accédez à l'onglet Graph et cliquez sur Download Log pour télécharger les résultats de la requête et de l'analyse. Pour exporter des résultats contenant un mot-clé spécifique et augmenter la limite de lignes renvoyées, ajoutez limit à l'instruction. Par exemple :

keyword | select content limit 999999

Vous pouvez également télécharger des champs spécifiques via OpenAPI. La section OpenAPI de cette rubrique décrit l'exigence de configuration d'index et l'utilisation de l'instruction SELECT. Le téléchargement des résultats d'analyse SQL utilise Dedicated SQL. Pour un LogStore dont la méthode de facturation est paiement selon les données ingérées, le téléchargement des résultats de requêtes et d'analyses est gratuit. Pour connaître les règles de facturation applicables, consultez la section Méthodes de téléchargement de cette rubrique.

Que faire si la liste des journaux de la console ne s'ouvre pas, si la page expire ou si un téléchargement en ligne échoue ?

Si la liste des journaux de la console ne s'ouvre pas, si la page expire ou si un téléchargement en ligne échoue, commencez par vider le cache du navigateur, ouvrez à nouveau la console en mode navigation privée ou basculez vers Chrome ou Edge. Assurez-vous également que votre connexion réseau est stable et accédez à la console depuis un environnement réseau proche de la région du LogStore.

Si le problème persiste, vérifiez si le nombre de tâches de téléchargement simultanées de votre compte Alibaba Cloud a atteint la limite. Cette limite est également atteinte lorsque plusieurs utilisateurs Resource Access Management (RAM) lancent des téléchargements en même temps. Le bloc de note Important dans la section Console de cette rubrique décrit la limite de simultanéité et les vérifications à effectuer lorsqu'un téléchargement en ligne échoue mais qu'un téléchargement hors ligne réussit.

Si le frontend de la console continue d'échouer, effectuez une exportation de journaux volumineuse via l'interface de ligne de commande (CLI), Cloud Shell ou un kit de développement logiciel (SDK) Simple Log Service. Ces méthodes ne dépendent ni du navigateur ni de la page de la console.

Combien de temps les enregistrements d'exportation de journaux de la console sont-ils conservés et comment consulter l'historique des téléchargements ?

La liste Download Tasks de la console conserve les enregistrements d'exportation uniquement pour les dernières 24 heures. Les enregistrements d'exportation datant de plus d'un jour sont automatiquement supprimés ; téléchargez donc le fichier avant l'expiration de l'enregistrement.

Pour consulter un historique de téléchargement antérieur, tel que les appels API ayant créé les tâches de téléchargement, utilisez l'audit des opérations (ActionTrail) pour interroger les enregistrements des opérations API de gestion de votre compte.

Comment calculer la taille moyenne d'une entrée de journal unique ?

Utilisez la fonction de téléchargement hors ligne pour calculer la taille moyenne d'une entrée de journal unique. Sélectionnez une période avec un pic de trafic et une période avec un trafic normal, créez une tâche de téléchargement pour chaque période dans la console, puis téléchargez les deux fichiers sur votre machine locale. Divisez ensuite le nombre total d'octets d'un fichier par le nombre d'entrées de journal qu'il contient. Par exemple, exécutez wc -c sous Linux pour obtenir le nombre d'octets du fichier, ou utilisez un script Python pour compter les octets et les entrées en une seule passe.

Pour un volume de données important, téléchargez les journaux sur plusieurs plages horaires et calculez chaque plage séparément. Un seul téléchargement est limité par les valeurs indiquées dans le tableau de comparaison des méthodes de téléchargement de cette rubrique : pour une requête sans analyse, jusqu'à 20 millions de lignes dans les régions Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen) et Singapour, et jusqu'à 1 million de lignes dans les autres régions, avec un volume de données ne dépassant pas 20 Go ; pour l'analyse SQL, un volume de données ne dépassant pas 2 Go. Si une seule exportation ne suffit toujours pas à répondre à vos besoins, utilisez LogShipper pour transférer les journaux vers Object Storage Service (OSS) et téléchargez-les depuis OSS. Pour plus d'informations, consultez la section Créer une tâche de transfert OSS (Nouveau).

Pourquoi Task Name et Display Name sont-ils requis dans la boîte de dialogue de téléchargement ?

Task Name et Display Name sont tous deux des paramètres requis de l'opération CreateDownloadJob qui crée une tâche de téléchargement de journaux. Task Name identifie de manière unique la tâche de téléchargement au sein d'un même projet, permettant ainsi à la console et à l'API de cibler précisément une tâche lors de la consultation de son statut ou de sa suppression. Display Name est l'identifiant affiché dans la liste de la console, ce qui facilite la gestion et la recherche ultérieure d'une tâche de téléchargement.