Simple Log Service:Types de journaux de service

Type

Aperçu

Nom du Logstore

Détails

Description

Journaux détaillés

Enregistre les opérations effectuées sur toutes les ressources de votre projet, y compris les opérations de création, modification, mise à jour, suppression, lecture et écriture.

internal-operation_log

journaux d'opération

Journaux d'opération détaillés pour toutes les requêtes API et opérations, y compris les requêtes provenant de clients tels que la console, les groupes de consommateurs et les SDK.

journaux importants

Comprend les journaux de latence des groupes de consommateurs au niveau du Logstore, ainsi que les journaux d'erreur, de pulsation et de statistiques de Logtail.

internal-diagnostic_log

journaux de latence des groupes de consommateurs

Les journaux de latence des groupes de consommateurs sont générés toutes les 2 minutes. Pour interroger ces journaux, spécifiez __topic__: consumergroup_log dans la requête.

journaux d'alerte Logtail

Enregistre les erreurs Logtail.

Un journal est généré toutes les 30 secondes. Si le même type d'erreur se produit plusieurs fois durant cette période, le système enregistre uniquement le nombre total d'occurrences et un message d'erreur aléatoire. Pour interroger les journaux d'alerte Logtail, spécifiez __topic__: logtail_alarm dans la requête.

journaux de collecte Logtail

Enregistre les statistiques de collecte Logtail.

Un journal est généré toutes les 10 minutes. Pour interroger les journaux de collecte Logtail, spécifiez __topic__: logtail_profile dans la requête.

journaux d'état Logtail

Enregistre les journaux d'état périodiques de Logtail.

Un journal est généré chaque minute. Pour interroger les journaux d'état Logtail, spécifiez __topic__: logtail_status dans la requête.

journaux opérationnels

Enregistre les métriques opérationnelles et les journaux opérationnels des tâches de transformation de données, Scheduled SQL, d'importation de données et d'expédition de données dans un projet.

internal-diagnostic_log

journaux opérationnels Scheduled SQL

Un journal est généré pour chaque instance Scheduled SQL une fois celle-ci terminée.

Pour interroger les journaux opérationnels Scheduled SQL, spécifiez __topic__: scheduled_sql_alert dans la requête.

Journaux opérationnels pour les tâches de transformation, d'importation et d'expédition de données

Les journaux sont générés chaque minute, mais uniquement si la source de données de la tâche contient des données.

Catégorie

Méthode de requête

Opération de lecture

Les journaux d'opération de lecture sont générés lorsque vous appelez les opérations API suivantes :

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

Opération d'écriture

Les journaux d'opération d'écriture sont générés lorsque vous appelez les opérations API suivantes :

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

Opération sur les ressources

Toutes les autres opérations API génèrent des journaux d'opération sur les ressources.

Par exemple, CreateProject et DeleteProject.

Paramètre

Description

Exemple

Logstore

Le nom du Logstore.

Logstore-1

config_name

Le nom de la configuration Logtail. Ce nom est unique à l'échelle mondiale et suit le format ##ConfigVersion##ProjectName$ConfigName.

##1,0##project-1$LogStore-1

error_line

L'entrée de journal brute ayant provoqué l'erreur.

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

L'ID de périphérique du fichier journal.

1​23

file_inode

L'inœud du fichier journal.

124

file_name

Le chemin d'accès complet du fichier journal ou la valeur logstore_statistics.

/abc/file_1

file_size

La taille du fichier journal, en octets.

12345

history_data_failures

Le nombre cumulé d'échecs de traitement des données.

0

last_read_time

L'horodatage UNIX de la dernière opération de lecture dans la fenêtre temporelle.

1525346677

Project

Le nom du Project.

project-1

logtail_version

La version de Logtail.

0.14.2

os

Le système d'exploitation.

Windows

parse_failures

Le nombre de lignes dont l'analyse a échoué dans la fenêtre temporelle.

12

read_avg_delay

La différence moyenne entre la taille du fichier et le décalage de lecture pour chaque opération de lecture dans la fenêtre temporelle.

65

read_count

Le nombre d'opérations de lecture dans la fenêtre temporelle.

10

read_offset

Le décalage de lecture actuel dans le fichier, en octets.

12345

regex_match_failures

Le nombre d'échecs de correspondance d'expression régulière.

1

send_failures

Le nombre d'opérations d'envoi ayant échoué dans la fenêtre temporelle.

12

source_ip

L'adresse IP du serveur sur lequel Logtail est installé.

47.100..

succeed_lines

Le nombre de lignes de journal traitées avec succès.

123

time_format_failures

Le nombre d'échecs de correspondance de format d'heure.

122

total_bytes

Le nombre total d'octets lus.

12345

Paramètre

Description

Exemple

send_block_flag

Indique si la file d'attente d'envoi est bloquée à la fin de la fenêtre temporelle.

false

send_discard_error

Le nombre de paquets rejetés dans la fenêtre temporelle en raison d'erreurs de données ou d'autorisations insuffisantes.

0

send_network_error

Le nombre de paquets dont l'envoi a échoué dans la fenêtre temporelle en raison d'erreurs réseau.

12

send_queue_size

Le nombre de paquets non envoyés dans la file d'attente d'envoi à la fin de la fenêtre temporelle.

3

send_quota_error

Le nombre de paquets dont l'envoi a échoué dans la fenêtre temporelle car le quota a été dépassé.

0

send_success_count

Le nombre de paquets envoyés avec succès dans la fenêtre temporelle.

12345

sender_valid_flag

Indique si l'indicateur d'envoi pour le Logstore est valide à la fin de la fenêtre temporelle. Valeurs possibles :

• true : L'indicateur est valide.

• false : L'indicateur n'est pas valide, ce qui peut être dû à des erreurs réseau ou de quota.

true

max_send_success_time

L'horodatage UNIX de la dernière opération d'envoi réussie dans la fenêtre temporelle.

1525342763

max_unsend_time

L'horodatage UNIX du paquet le plus récent dont l'envoi depuis la file d'attente d'envoi a échoué dans la fenêtre temporelle. La valeur est 0 si la file d'attente est vide.

1525342764

min_unsend_time

L'horodatage UNIX du paquet le plus ancien dont l'envoi depuis la file d'attente d'envoi a échoué dans la fenêtre temporelle. La valeur est 0 si la file d'attente est vide.

1525342764

Paramètre

Description

Exemple

config_count

Le nombre de configurations Logtail.

​1

config_get_last_time

La dernière fois que la configuration Logtail a été récupérée.

2021-07-20 16:19:22

config_update_count

Le nombre de mises à jour de la configuration Logtail depuis le démarrage de Logtail.

​1

config_update_item_count

Le nombre total d'éléments de configuration Logtail mis à jour depuis le démarrage de Logtail.

​1

config_update_last_time

L'horodatage de la dernière mise à jour de la configuration Logtail.

2021-07-20 16:18:42

env_config

Indique si des variables d'environnement sont utilisées pour créer la configuration Logtail.

false

event_tps

Le nombre d'événements par seconde (TPS).

1​

last_read_event_time

L'horodatage du dernier événement lu.

2021-07-20 16:18:42

last_send_time

L'horodatage du dernier envoi de données.

2021-07-20 16:18:42

multi_config

Indique si le même fichier est collecté par plusieurs configurations Logtail.

false

net_err_stat

Le nombre d'erreurs réseau survenues au cours des 1, 5 et 15 dernières minutes.

0,0,0

open_fd

Le nombre de descripteurs de fichiers actuellement ouverts.

​1

plugin_enabled

Indique si la fonctionnalité de plug-in est activée.

• true : La fonctionnalité de plug-in est activée.

• false : La fonctionnalité de plug-in est désactivée.

false

poll_modify_size

Le nombre de fichiers surveillés pour les événements de modification.

​1

polling_dir_cache

Le nombre de répertoires dans le cache d'interrogation.

​1

polling_file_cache

Le nombre de fichiers dans le cache d'interrogation.

​1

process_bytes_ps

Le volume de journaux traités par seconde, en octets.

​1000

process_lines_ps

Le nombre de lignes de journal traitées par seconde.

​1000

process_queue_full

Le nombre de files d'attente de traitement pleines.

​1

process_queue_total

Le nombre de files d'attente de traitement.

​10

process_tps

Le nombre de transactions de traitement par seconde (TPS).

​0

reader_count

Le nombre de fichiers actuellement en cours de lecture.

​1

region

La région où se trouve la machine hôte.

​cn-hangzhou

register_handler

Le nombre de répertoires enregistrés pour la surveillance.

​1

send_bytes_ps

Le volume de journaux bruts envoyés par seconde, en octets.

​11111

send_lines_ps

Le nombre de lignes de journal envoyées par seconde.

1000​

send_net_bytes_ps

Le volume de trafic réseau envoyé par seconde, en octets.

1000​

send_queue_full

Le nombre de files d'attente d'envoi pleines.

​1

send_queue_total

Le nombre de files d'attente d'envoi.

​12

send_request_concurrency

Le nombre maximal de requêtes d'envoi simultanées.

10

send_tps

Le nombre de transactions d'envoi par seconde (TPS).

​0.075

sender_invalid

Le nombre de files d'attente d'envoi en état d'erreur.

​0

start_time

L'heure de démarrage du processus Logtail.

2021-07-20 16:19:22

used_sending_concurrency

Le nombre actuel de requêtes d'envoi actives.

0

Paramètre

Description

Exemple

action

L'opération effectuée par la tâche. Valeurs valides :

• ingest : Lit les données depuis la source de données.

• deliver : Écrit les données dans la destination.

ingest

connector

Le type de la source ou de la destination des données.

• sls : Simple Log Service

• oss : Object Storage Service (OSS)

• maxcompute : MaxCompute

• cms : CloudMonitor

• cloudtrail : AWS CloudTrail

• kafka : Apache Kafka

• elasticsearch : Elasticsearch

• mysql : MySQL (open source, Alibaba Cloud ou tiers)

• mssql : SQL Server (open source, Alibaba Cloud ou tiers)

oss

instance

Le nom de l'instance source ou de destination.

my-oss-bucket

task_id

L'ID de la tâche.

1669277

task_name

Le nom de la tâche.

1652765276578_task_0

task_type

Le type de la tâche. La valeur est toujours CONNECTOR.

CONNECTOR

Paramètre

Description

Exemple

state

L'état opérationnel de la tâche.

• 0 : Normal. La tâche s'exécute comme prévu.

• 1 : Erreur. Une erreur susceptible de ralentir la tâche s'est produite.

• 2 : Échec. La tâche a échoué et est bloquée.

0

error

Le message d'erreur de la tâche.

Ce champ n'est présent qu'en cas d'erreur.

fail to pull logs, unauthorized

lags

La progression de la tâche.

Le champ lags n'est présent dans les journaux que pour les tâches de lecture de données, c'est-à-dire lorsque la valeur du champ action est ingest. La valeur de ce champ dépend du type de source de données (champ connector).

• Lorsque le champ connector est sls, le champ lags indique le retard de consommation du shard en secondes.

• Lorsque le champ connector est kafka, la valeur du champ lags indique le retard de consommation au niveau du topic.

• Lorsque le champ connector est cms, le champ lags spécifie la latence de lecture de Cloud Monitor en secondes.

0.813

desc

Pour les tâches de lecture de données, c'est-à-dire lorsque le champ action est défini sur ingest, le champ desc est présent dans le journal. La valeur de ce champ dépend du type de source de données (champ connector).

• Lorsque le champ connector est sls, la valeur du champ desc est exprimée en secondes (s).

• Lorsque le champ connector est Kafka, la valeur du champ desc correspond à la description du retard.

• Lorsque le champ connector est cms, la valeur du champ desc est exprimée en secondes.

s

events

Le nombre d'entrées de données traitées pendant l'intervalle de rapport.

13245

failed

Le nombre d'entrées de données dont le traitement a échoué pendant l'intervalle de rapport.

3

native_bytes

La taille brute des données traitées pendant l'intervalle de rapport, en octets.

7539125

events_bytes

La taille des données analysées traitées pendant l'intervalle de rapport, en octets.

13295475

pub_net_bytes

Le trafic Internet généré par les données traitées pendant l'intervalle de rapport, en octets.

45678

req_count

Le nombre de requêtes envoyées à la source ou à la destination des données pendant l'intervalle de rapport.

89

rep_time

La latence moyenne des requêtes pour la source ou la destination des données pendant l'intervalle de rapport.

38

rate_limit_hits

Le nombre de limitations de débit appliquées à la source ou à la destination des données pendant l'intervalle de rapport.

1

extras

Informations supplémentaires. Ce champ n'est inclus que si une valeur est présente.

La valeur de ce champ dépend du type de source de données (champ connector).

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}