Simple Log Service:Aperçu de la collecte de données

Méthodes de collecte de données

Avant d'exploiter vos journaux ou données dans Simple Log Service, vous devez les y transférer et les y stocker. Sélectionnez une méthode de collecte adaptée à votre scénario. Une fois les données collectées dans Simple Log Service, exploitez-les à l'aide des autres fonctionnalités du service.

Les méthodes de collecte incluent : la collecte via Logtail, la collecte via LoongCollector, la collecte via SDK ou API, la collecte de journaux depuis les services Alibaba Cloud, l'importation de données et d'autres méthodes.

• Collecte de données basée sur Logtail : Logtail est un agent de collecte de journaux fourni par Simple Log Service. Utilisez Logtail pour collecter des journaux depuis plusieurs sources, telles que les instances Elastic Compute Service (ECS) d'Alibaba Cloud, les serveurs de centres de données et les serveurs de fournisseurs cloud tiers. Logtail assure une collecte non intrusive à partir de fichiers journaux. Aucune modification du code de votre application n'est nécessaire et la collecte n'affecte pas le fonctionnement de vos applications.

• Collecte de données basée sur LoongCollector : LoongCollector est un agent de collecte de journaux de nouvelle génération fourni par Simple Log Service. Il s'agit d'une version améliorée de Logtail. LoongCollector devrait intégrer les capacités d'agents de collecte spécifiques d'Application Real-Time Monitoring Service (ARMS), tels que la collecte de données basée sur Managed Service for Prometheus et la collecte non intrusive basée sur la technologie Extended Berkeley Packet Filter (eBPF).

• Collecte de données via SDK ou API : Simple Log Service vous permet d'appeler des SDK ou des opérations API pour collecter des données. Définissez des paramètres personnalisés directement dans le code selon vos besoins métier. Cette approche offre une flexibilité supérieure aux autres méthodes de collecte.

• Collecte de journaux depuis les services Alibaba Cloud : Simple Log Service peut collecter des journaux depuis divers services Alibaba Cloud, tels que les services de calcul élastique, de stockage, de sécurité et de base de données. Ces journaux enregistrent des statistiques opérationnelles, comme les actions des utilisateurs, l'état d'exécution et la dynamique métier des services Alibaba Cloud. Pour collecter des journaux depuis des services Alibaba Cloud autres que Simple Log Service, sélectionnez la méthode de collecte appropriée au service concerné.

• Importation de données : Simple Log Service vous permet d'importer des données existantes, y compris des données provenant d'autres applications et des fichiers historiques.

• Autres méthodes de collecte : Simple Log Service vous permet d'utiliser des outils de collecte tiers pour envoyer des journaux vers le service via un protocole spécifique.

La figure suivante présente un aperçu de la collecte de données dans Simple Log Service.

Générateur de configuration Logtail

Lorsque vous utilisez Logtail ou appelez des opérations API pour collecter des journaux, exploitez le générateur de configuration Logtail fourni par Simple Log Service. Pour plus d'informations, consultez Générateur de configuration Logtail. Le générateur crée automatiquement la définition de ressource personnalisée (CRD) AliyunPipelineConfig et un script de paramètres pour l'opération CreateLogtailPipelineConfig. Pour plus d'informations, consultez [[Recommandé] Gérer les configurations Logtail avec AliyunPipelineConfig](t2738434.xdita#) et CreateLogtailPipelineConfig. Vous pouvez ainsi utiliser la CRD AliyunPipelineConfig ou appeler l'opération CreateLogtailPipelineConfig pour créer une configuration Logtail.

Scénarios de bonnes pratiques

La section suivante propose des tutoriels de collecte de données pour des scénarios concrets.

1. Une entreprise déploie son application web sur une instance ECS située dans la région A et son projet Simple Log Service dans la région B. L'entreprise souhaite collecter les journaux de l'instance ECS vers son projet Simple Log Service à l'aide d'une configuration Logtail. Ce scénario implique une collecte de journaux inter-régions. Pour plus d'informations, consultez Collecter des journaux entre régions à l'aide de Logtail.

2. La multiplication des appareils Internet des objets (IoT), tels que les routeurs intelligents, les clés TV, Tmall Genie et les robots aspirateurs, a transformé notre quotidien. Toutefois, le modèle de développement embarqué de l'industrie logicielle traditionnelle rencontre plusieurs défis lorsqu'il s'applique à l'industrie des appareils IoT. Par exemple, les appareils IoT sont largement distribués, difficiles à déboguer et limités en termes de fonctions matérielles. Pour plus d'informations sur le traitement des journaux des appareils IoT, consultez Collecter les journaux des appareils IoT et embarqués.

3. Vous souhaitez peut-être collecter des données sur le comportement des utilisateurs, par exemple : le nombre de consultations d'une page web promotionnelle ; la lecture d'un dépliant par son destinataire après envoi ; le nombre de pages vues (PV) d'une page d'événement promotionnel sur une application mobile. Pour collecter efficacement ces données et répondre à des exigences de collecte et de statistiques personnalisées, utilisez la fonctionnalité Web Tracking. Pour plus d'informations, consultez Utiliser Web Tracking pour collecter des journaux.

Pour plus d'informations, consultez Bonnes pratiques de collecte de données.

FAQ

• Quel type de réseau dois-je sélectionner si j'utilise Express Connect conjointement avec Simple Log Service ?

  Nous vous recommandons de sélectionner le type de réseau interne.

• Comment sélectionner un type de réseau et un endpoint ?

  Pour connaître les scénarios associés à chaque type de réseau, consultez Types de réseau Logtail, paramètres de démarrage et configuration. Pour plus d'informations sur les endpoints, consultez Endpoints. Pour activer la fonctionnalité d'accélération de transfert, consultez Utiliser la fonctionnalité d'accélération de transfert.

• Puis-je obtenir des adresses IP publiques lors de la collecte de données depuis Internet ?

  Oui, activez l'option Log Public IP pour votre Logstore afin d'obtenir des adresses IP publiques. Pour plus d'informations, consultez Créer un Logstore.

• Quel type de réseau dois-je sélectionner si je souhaite collecter des journaux ECS depuis la région A vers un projet Simple Log Service dans la région B ?

  Nous vous recommandons de sélectionner le type Internet et de spécifier le nom de la région B dans la commande d'installation de Logtail sur votre instance ECS dans la région A. Cela permet à Logtail d'accéder au projet de la région B via Internet. Pour plus d'informations sur la sélection d'un type de réseau dans d'autres scénarios, consultez Types de réseau Logtail, paramètres de démarrage et configuration.

• Comment vérifier si un endpoint est accessible ?

  Exécutez la commande suivante. Si une sortie s'affiche, l'endpoint est accessible. $myproject désigne le nom du projet. cn-hangzhou.log.aliyuncs.com désigne l'endpoint.

   curl $myproject.cn-hangzhou.log.aliyuncs.com 

• Pour plus d'informations, consultez FAQ sur la collecte de données.