如何通过aliyun-log-flume插件与Flume对接实现日志数据的写入和消费 - Simple Log Service

Informations générales

aliyun-log-flume est un plugin qui connecte Log Service à Apache Flume, permettant l'échange de données avec d'autres systèmes tels que HDFS et Kafka. Il fournit un composant sink et un composant source.

Sink : Flume lit les données provenant d'autres sources et les écrit dans Log Service.
Source : Flume consomme les données de journal depuis Log Service et les écrit vers d'autres systèmes.

Pour plus d'informations, consultez aliyun-log-flume.

Procédure

Téléchargez et installez Apache Flume.

Pour plus d'informations, consultez Apache Flume.
Téléchargez le plugin aliyun-log-flume et placez-le dans le répertoire **/flume/lib** .

Pour plus d'informations, consultez aliyun-log-flume-1,3.jar.
Dans le répertoire **/flume/conf** , créez un fichier de configuration nommé flumejob.conf.
- Pour les configurations et exemples de sink, consultez Sink.
- Pour les configurations et exemples de source, consultez Source.
Démarrez Flume.

Sink

Un sink écrit les données provenant d'autres sources dans Log Service. Deux formats d'analyse sont pris en charge :

SIMPLE : écrit l'intégralité de l'événement Flume en tant que champ unique dans Log Service.
DELIMITED : traite l'événement Flume comme des données délimitées par un séparateur, les analyse en champs selon les noms de colonnes configurés, puis les écrit dans Log Service.

Le tableau suivant répertorie les paramètres du sink.

Paramètre	Obligatoire	Description
type	Oui	Le type du sink. Définissez ce paramètre sur `com.aliyun.Loghub.flume.sink.LoghubSink`.
endpoint	Oui	L'endpoint du projet Log Service. Exemple : `http://cn-qingdao.log.aliyuncs.com`. Remplacez la valeur par l'endpoint réel. Pour plus d'informations, consultez Endpoints.
project	Oui	Le nom du projet Log Service.
LogStore	Oui	Le nom du Logstore.
accessKeyId	Oui	L'AccessKey ID de votre compte Alibaba Cloud. Nous vous recommandons d'utiliser la paire de clés AccessKey d'un utilisateur RAM. Pour plus d'informations, consultez Créer une clé AccessKey.
accessKey	Oui	Le secret AccessKey de votre compte Alibaba Cloud. Nous vous recommandons d'utiliser la paire de clés AccessKey d'un utilisateur RAM. Pour plus d'informations, consultez Créer une clé AccessKey.
batchSize	Non	Le nombre d'entrées de données à écrire dans Log Service par lot. Valeur par défaut : 1000.
maxBufferSize	Non	La taille de la file d'attente du tampon. Valeur par défaut : 1 000 entrées.
serializer	Non	Le format de sérialisation des événements. Valeurs possibles : DELIMITED : définit le format de sérialisation sur le mode Delimited. SIMPLE : définit le format de sérialisation sur le mode Simple. Il s'agit du mode par défaut. JSON : définit le format de sérialisation sur le mode JSON. serializer personnalisé : le nom complet qualifié d'une classe de sérialisation personnalisée.
columns	Non	Ce paramètre est requis lorsque `serializer` est défini sur DELIMITED. Il spécifie une liste de noms de champs séparés par des virgules (,). L'ordre des champs doit correspondre à l'ordre de vos données.
separatorChar	Non	Ce paramètre est utilisé lorsque `serializer` est défini sur DELIMITED. Il spécifie le séparateur des données. Le séparateur doit être un caractère unique. Valeur par défaut : virgule (,).
quoteChar	Non	Ce paramètre est utilisé lorsque `serializer` est défini sur DELIMITED. Il spécifie le caractère de guillemet. Valeur par défaut : guillemet double (").
escapeChar	Non	Ce paramètre est utilisé lorsque `serializer` est défini sur DELIMITED. Il spécifie le caractère d'échappement. Valeur par défaut : guillemet double (").
useRecordTime	Non	Indique s'il faut utiliser le champ `timestamp` des données comme heure du journal. La valeur par défaut est `false`, ce qui utilise l'heure actuelle.

Pour des exemples de configuration de sink, consultez GitHub.

Source

Une source consomme les données de journal depuis Log Service et les envoie vers d'autres systèmes. Les formats de sortie suivants sont pris en charge :

DELIMITED : écrit les données dans Flume au format délimité.
JSON : écrit les données dans Flume au format JSON.

Le tableau suivant répertorie les paramètres de la source.

Paramètre	Obligatoire	Description
type	Oui	Le type de la source. Définissez ce paramètre sur `com.aliyun.Loghub.flume.source.LoghubSource`.
endpoint	Oui	L'endpoint du projet Log Service. Exemple : `http://cn-qingdao.log.aliyuncs.com`. Remplacez la valeur par l'endpoint réel. Pour plus d'informations, consultez Endpoints.
project	Oui	Le nom du projet Log Service.
LogStore	Oui	Le nom du Logstore.
accessKeyId	Oui	L'AccessKey ID de votre compte Alibaba Cloud. Nous vous recommandons d'utiliser la paire de clés AccessKey d'un utilisateur RAM. Pour plus d'informations, consultez Créer une clé AccessKey.
accessKey	Oui	Le secret AccessKey de votre compte Alibaba Cloud. Nous vous recommandons d'utiliser la paire de clés AccessKey d'un utilisateur RAM. Pour plus d'informations, consultez Créer une clé AccessKey.
heartbeatIntervalMs	Non	L'intervalle de pulsation entre le client et Log Service. Valeur par défaut : 30 000 ms.
fetchIntervalMs	Non	L'intervalle de récupération des données. Valeur par défaut : 100 ms.
fetchInOrder	Non	Indique s'il faut consommer les données dans l'ordre séquentiel. Valeur par défaut : `false`.
batchSize	Non	Le nombre d'entrées de données à lire par lot. Valeur par défaut : 100.
consumerGroup	Non	Le nom du groupe de consommateurs utilisé pour la lecture des données.
initialPosition	Non	La position initiale à partir de laquelle commencer la lecture des données. Valeurs possibles : begin, end et timestamp. Valeur par défaut : begin. Remarque Si un point de contrôle côté serveur existe, il est prioritaire.
timestamp	Non	Ce paramètre est requis lorsque `initialPosition` est défini sur timestamp. Spécifiez l'heure au format timestamp UNIX.
deserializer	Oui	Le format de désérialisation des événements. Valeurs possibles : DELIMITED : définit le format de désérialisation sur le mode Delimited. Il s'agit du mode par défaut. JSON : définit le format de désérialisation sur le mode JSON. deserializer personnalisé : le nom complet qualifié d'une classe de désérialisation personnalisée.
columns	Non	Ce paramètre est requis lorsque `deserializer` est défini sur DELIMITED. Il spécifie une liste de noms de champs séparés par des virgules (,). L'ordre des champs doit correspondre à l'ordre de vos données.
separatorChar	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur DELIMITED. Il spécifie le séparateur des données. Le séparateur doit être un caractère unique. Valeur par défaut : virgule (,).
quoteChar	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur DELIMITED. Il spécifie le caractère de guillemet. Valeur par défaut : guillemet double (").
escapeChar	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur DELIMITED. Il spécifie le caractère d'échappement. Valeur par défaut : guillemet double (").
appendTimestamp	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur DELIMITED. Il indique s'il faut ajouter automatiquement l'horodatage en tant que champ à la fin de chaque ligne. Valeur par défaut : `false`.
sourceAsField	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur JSON. Il indique s'il faut ajouter la source du journal en tant que champ nommé `__source__`. Valeur par défaut : `false`.
tagAsField	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur JSON. Il indique s'il faut ajouter les tags de journal en tant que champs. Les noms de champs sont formatés comme `__tag__:{tag_name}`. Valeur par défaut : `false`.
timeAsField	Non	Ce paramètre est utilisé lorsque `deserializer` est défini sur JSON. Il indique s'il faut ajouter l'heure du journal en tant que champ nommé `__time__`. Valeur par défaut : `false`.
useRecordTime	Non	Indique s'il faut utiliser l'heure originale du journal de Log Service pour l'horodatage de l'événement Flume. Si la valeur est `false`, l'heure système actuelle est utilisée. La valeur par défaut est `false`.

Pour des exemples de configuration de source, consultez GitHub.