Le transfert de données entre ApsaraMQ for Kafka et d'autres services Alibaba Cloud nécessite généralement du code d'intégration personnalisé. L'intégration de l'écosystème Connecteur élimine cette complexité. Ce module low-code connecte vos topics Kafka à Simple Log Service, Tablestore, Function Compute, etc.
Avec l'intégration de l'écosystème Connecteur, vous pouvez :
Ingérer des données dans Kafka depuis des journaux, des bases de données, des applications gérées en interne et des middleware orientés messages, à travers les régions et les clouds.
Exporter des données depuis Kafka vers des services en aval grâce à des capacités ETL basées sur une interface utilisateur, permettant de nettoyer, filtrer et convertir le format des données lors de la distribution.
Transformer et traiter les données en utilisant les capacités ETL intégrées ou en écrivant une logique métier personnalisée dans Function Compute, un service de calcul serverless fourni par Alibaba Cloud.
L'intégration de l'écosystème Connecteur propose également des fonctionnalités pour exploiter, gérer et surveiller les données intégrées.
Les connecteurs source extraient les données vers ApsaraMQ for Kafka. Les connecteurs sink (destination) poussent les données vers l'extérieur. Chaque tâche de connecteur combine une source, une destination, une règle de filtrage et une règle de transformation. Les tâches s'exécutent sur des flux d'événements EventBridge.
Fonctionnement
Flux entrant de messages (Source)
Le flux entrant de messages synchronise les messages, les journaux, les données relationnelles et non relationnelles depuis des sources externes vers ApsaraMQ for Kafka. Il prend en charge l'intégration entre les centres de données et les clouds, et fournit des outils pour gérer et filtrer les données entrantes.
Flux sortant de messages (Sink)
Le flux sortant de messages exporte les données d'ApsaraMQ for Kafka vers les services de destination. Lors de l'exportation, il distribue les messages de manière fiable et nettoie et filtre les données en transit.
ETL (Transformation)
L'ETL est une couche de traitement des données optionnelle disponible lors de la création d'une tâche de connecteur source ou sink. Elle combine les capacités de traitement des données d'EventBridge avec l'exécution de code personnalisé dans Function Compute.
Modes de correspondance (7 types) : valeur fixe, préfixe, suffixe, basé sur l'exclusion, valeur numérique, tableau et correspondance à conditions combinées.
Transformateurs (5 types) : événement complet, événement partiel, constante, modèle et modèle Function Compute.
Tâches
Une tâche est l'entité de ressource qui exécute une intégration de connecteur. Elle se compose d'une source, d'une destination, d'une règle de filtrage et d'une règle de transformation. Les ressources sous-jacentes sont des flux d'événements EventBridge.
Après avoir créé une tâche, le type de ressource ne peut pas être modifié.
Avant de commencer
L'intégration de l'écosystème Connecteur dépend d'EventBridge et de Function Compute. Avant de créer une tâche de connecteur, procédez comme suit :
Activer EventBridge et accorder des autorisations à un utilisateur RAM.
Activez le service de destination. Par exemple, si votre destination est Tablestore, activez Tablestore.
Si le service de destination est Simple Log Service, vous n'avez pas besoin d'activer Function Compute.
Autorisations requises
Compte Alibaba Cloud
Suivez les instructions affichées à l'écran dans la console ApsaraMQ for Kafka pour configurer la politique d'autorisation.
Utilisateur RAM
Attachez les politiques d'autorisation suivantes à l'utilisateur RAM :
| Politique | Objectif |
|---|---|
| AliyunKafkaFullAccess | Gérer les ressources ApsaraMQ for Kafka |
| AliyunFCFullAccess | Gérer les ressources Function Compute |
| AliyunEventBridgeFullAccess | Gérer les ressources EventBridge |
| Politique pour le service de destination | Gérer le service cible |
Pour des fonctionnalités étendues, attachez des politiques supplémentaires :
| Politique | Objectif |
|---|---|
| AliyunVPCFullAccess | Accéder au service de destination dans un cloud privé virtuel (VPC) |
| AliyunLogFullAccess | Afficher les journaux d'exécution de Function Compute |
Facturation
Pour les détails de facturation des services sous-jacents, consultez :
Versions de connecteur
ApsaraMQ for Kafka propose deux versions de connecteur : la nouvelle version (recommandée) et l'ancienne version. Si vous n'avez jamais créé de connecteur de l'ancienne version, la console affiche uniquement l'entrée de la nouvelle version. Si vous disposez de connecteurs de l'ancienne version, les deux entrées apparaissent.
Les connecteurs source de la nouvelle version offrent les mêmes fonctionnalités que les connecteurs source de l'ancienne version. Le tableau suivant compare les connecteurs sink des nouvelles et anciennes versions.
| Élément | Nouvelle version (recommandée) | Ancienne version |
|---|---|---|
| Dépendance sous-jacente | EventBridge et Function Compute. Remarque
Le connecteur sink Simple Log Service dépend uniquement d'EventBridge. |
Varie selon le type de connecteur : EventBridge, Function Compute ou aucune dépendance. Consultez la documentation de chaque connecteur. |
| Filtrage des messages | Plusieurs modes de filtrage. Voir Modèles d'événements. | Non pris en charge. |
| File d'attente de lettres mortes | Simple Message Queue (anciennement MNS) et ApsaraMQ for RocketMQ. | ApsaraMQ for Kafka. |
| Politique de nouvelle tentative | Tous les types de connecteurs sink. | Uniquement certains types de connecteurs spécifiques. |
| Dépend des ressources ApsaraMQ for Kafka | Non. | Oui. Les topics pour les offsets, les configurations, l'état, les messages de lettre morte et les données d'erreur sont créés automatiquement ou manuellement. |
| Transmission inter-comptes | Non prise en charge. Pour transmettre des données entre comptes, soumettez un ticket. | Prise en charge. |
| Threads de consommation simultanée | Valeur personnalisée jusqu'à 32. | Valeurs fixes : 1, 2, 3, 6 ou 12. |
| Groupe de consommateurs | Créer de nouveaux groupes de consommateurs ou utiliser des groupes existants. | Doit créer de nouveaux groupes de consommateurs. |
Limites
| Élément | Limite |
|---|---|
| Tâches de connecteur par région | 20 (y compris les tâches source et sink). Pour augmenter le quota, soumettez un ticket. |
| Nom de la tâche | Lettres, chiffres et traits d'union (-). Doit commencer par une lettre ou un chiffre. Maximum 127 caractères. Les noms dépassant 127 caractères sont tronqués. |
| Modèle d'événement (stringExpression) | Jusqu'à 5 expressions par champ dans la structure de données map. |
| Transformation d'événement : modèle | Jusqu'à 10 240 caractères. |
| Transformation d'événement : valeur | Jusqu'à 1 024 caractères. |
| Perte de données dans des cas extrêmes | Voir Politiques de nouvelle tentative et files d'attente de lettres mortes. |