Cette rubrique explique comment créer et utiliser un connecteur de réception SLS pour exporter les données d'une rubrique source d'une instance ApsaraMQ for Kafka vers Simple Log Service (SLS).
Prérequis
Pour connaître la procédure détaillée, consultez la section Prérequis.
Étape 1 : Créer les ressources de destination
Créez un projet. Pour plus d'informations, consultez la page Créer un projet.
Créez un Logstore. Pour plus d'informations, consultez la page Créer un Logstore.
Cette rubrique utilise à titre d'exemple un projet nommé guide-sls-sink-project et un Logstore nommé guide-sls-sink-logstore.
Étape 2 : Créer et démarrer le connecteur de réception SLS
Connectez-vous à la console ApsaraMQ for Kafka. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.
Dans le volet de navigation de gauche, choisissez .
-
Sur la page Tasks, cliquez sur Create Task.
Créez une tâche.
-
À l'étape Source, sélectionnez Message Queue for Apache Kafka comme Data Provider. Configurez les paramètres suivants, puis cliquez sur Next.
Parameter
Description
Example
Region
Région de l'instance Message Queue for Apache Kafka source.
Chine (Pékin)
Kafka instance
Instance Message Queue for Apache Kafka source.
alikafka_post-cn-jte3****
Topic
Rubrique source des messages consommés.
demo-topic
Group ID
Groupe de consommateurs de l'instance source.
-
Quick Create (recommandé) : crée automatiquement un ID de groupe au format
GID_EVENTBRIDGE_xxx. -
Use Existing : sélectionnez un ID de groupe existant. Ne partagez pas cet ID de groupe avec d'autres services afin d'éviter toute perturbation de la consommation des messages.
Quick Create
Consumer offset
Offset de départ de la consommation des messages.
-
Latest offset (latest)
-
Earliest offset (earliest)
Latest offset (latest)
Network configuration
Type de réseau utilisé pour acheminer les messages.
-
Basic Network
-
Self-managed Internet
Basic Network
VPC
Requis uniquement si le paramètre Network configuration est défini sur Self-managed Internet.
vpc-bp17fapfdj0dwzjkd****
vSwitch
Requis uniquement si le paramètre Network configuration est défini sur Self-managed Internet.
vsw-bp1gbjhj53hdjdkg****
Security group
Requis uniquement si le paramètre Network configuration est défini sur Self-managed Internet.
alikafka_pre-cn-7mz2****
Data Format
Format d'encodage du contenu des messages. Nous recommandons Json en l'absence d'exigences spécifiques.
-
Json : encode les données binaires sous forme d'objet JSON dans le payload à l'aide d'UTF-8.
-
Text : encode les données binaires sous forme de chaîne UTF-8 dans le payload. Il s'agit du format par défaut.
-
Binary : encode les données binaires sous forme de chaîne encodée en Base64 dans le payload.
Json
Messages
Paramètre de Advanced configuration. Nombre maximal de messages par lot. Une requête est envoyée lorsque le nombre cumulé de messages atteint cette valeur. Valeurs possibles : 1 à 10 000.
100
Interval (Unit: Seconds)
Paramètre de Advanced configuration. Intervalle, en secondes, entre l'agrégation et l'envoi des messages au récepteur. Valeurs possibles : 0 à 15. Une valeur de 0 signifie que les messages sont livrés immédiatement.
3
-
À l'étape Filtering, définissez le paramètre Pattern Content pour filtrer les événements. Pour plus d'informations, consultez la section modèle d'événement.
À l'étape Transformation, configurez la transformation des données pour effectuer des opérations telles que le fractionnement, le mappage, l'enrichissement et le routage dynamique. Pour plus d'informations, consultez la page Utiliser Function Compute pour nettoyer les données de message.
Dans l'assistant de configuration Sink, définissez le paramètre Service Type sur Simple Log Service, configurez les paramètres suivants, puis cliquez sur Save.
-
Null
-
Fixed Value
-
Partial Data
-
Template
-
Default Format (JSON)
-
Custom Format (Key/Value)
Tableau 1. Récepteur (Simple Log Service)
Parameter
Description
Example
Project
Projet Simple Log Service créé.
guide-sls-sink-project
Logstore
Logstore Simple Log Service créé.
guide-sls-sink-logstore
Topic
Méthode utilisée pour générer le topic SLS.
Vide
Content
Default Format (Json)
Role Name
Accorde à EventBridge l'autorisation d'écrire dans SLS. Si aucun rôle n'existe, suivez les instructions affichées à l'écran pour en créer un.
sls_eb
Revenez à la page Tasks. Localisez la tâche créée et cliquez sur Enable dans la colonne Actions.
-
Dans la boîte de dialogue Note, lisez le message, puis cliquez sur OK.
Le démarrage de la tâche prend entre 30 et 60 secondes. Vous pouvez surveiller la progression dans la colonne Status de la page Tasks.
Étape 3 : Tester le connecteur de réception SLS
Sur la page Tasks, localisez la tâche du connecteur de réception SLS et cliquez sur la rubrique source dans la colonne Event Source.
Sur la page des détails de la rubrique, cliquez sur Send Test Message.
-
Dans le panneau Start to Send and Consume Message, configurez le message, puis cliquez sur OK.
Sélectionnez l'onglet Console. Définissez Message Key sur
sls-sink-k1et Message Content sursls-sink-v1. Pour Send to a specified partition, sélectionnez No. Sur la page Tasks, localisez la tâche du connecteur de réception SLS et cliquez sur le projet de destination dans la colonne Event Target.
-
Sur la page Logstore, affichez le contenu du journal.
Le champ content de l'enregistrement de journal est au format JSON et contient
key:"sls-sink-k1"etvalue:"sls-sink-v1". Cela confirme que le connecteur de réception SLS a correctement écrit les données dans le Logstore de destination.