ApsaraMQ for Kafka:Gérer les connecteurs

Prérequis

Vous avez créé l'un des connecteurs suivants :

• Créer un connecteur de destination Function Compute

• Créer un connecteur de destination MaxCompute

• Créer un connecteur de destination OSS

• Créer un connecteur de destination Elasticsearch

• Créer un connecteur source MySQL

• Créer un connecteur de destination Tablestore

• Créer un connecteur de destination AnalyticDB

Remarques

• Seuls les connecteurs de destination Function Compute et les connecteurs source MySQL permettent de modifier la configuration.

• Vous ne pouvez suspendre un connecteur que s'il est dans l'état Running (En cours d'exécution). Vous ne pouvez activer un connecteur que s'il est dans l'état Suspended (Suspendu).

Consulter la configuration d'un connecteur

Consultez les informations de base, ainsi que les informations sur la source et la destination d'un connecteur.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur dans la liste et cliquez sur Details dans la colonne Actions.

   Sur la page des détails du connecteur, consultez les sections Basic Information, Source Information et Destination Information du connecteur.

Consulter les journaux d'un connecteur

Pour résoudre les problèmes liés à un connecteur, consultez ses journaux depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > View Logs.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur View Logs en haut à droite.

   Remarque

   L'emplacement de l'option View Logs dans la colonne Actions varie selon l'état de la tâche. Fiez-vous à l'affichage réel de l'interface utilisateur.

   Sur la page des journaux du connecteur, consultez les journaux de ce dernier.

Modifier la configuration d'un connecteur

Après avoir créé un connecteur de destination Function Compute ou un connecteur source MySQL, modifiez sa configuration depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > Modify Configuration.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Modify Configuration en haut à droite.

5. Dans le panneau Modify Configuration, modifiez les paramètres de configuration selon vos besoins, puis cliquez sur OK.

   • Modifier la configuration d'un connecteur de destination Function Compute

     Parameter	Description
     Consumer Thread Concurrency	Nombre de threads de consommateur simultanés pour le topic source. La valeur par défaut est 6. Valeurs possibles : 1 2 3 6 12
     Failure Handling Policy	Détermine l'action à entreprendre en cas d'échec de la livraison des messages vers une partition de topic. Valeurs possibles : Continue Subscription : Poursuit la consommation depuis la partition où l'erreur s'est produite et enregistre l'erreur dans les journaux. Stop Subscription : Arrête la consommation depuis la partition où l'erreur s'est produite et enregistre l'erreur dans les journaux. Remarque Pour plus d'informations sur la consultation des journaux, consultez la rubrique Gérer les connecteurs. Pour plus d'informations sur la recherche de solutions basées sur les codes d'erreur, consultez la liste des codes d'erreur.
     Transmission Mode	Mode d'envoi des messages. Valeurs possibles : Synchronous : L'expéditeur et le destinataire doivent être actifs simultanément et prêts à communiquer. Asynchronous : Après l'envoi d'un message, l'expéditeur peut poursuivre d'autres tâches sans attendre de réponse du serveur.
     Data Size	Nombre de messages à envoyer par lot. La valeur par défaut est 20. La plage de valeurs est [1, 5000].
     Retries	Nombre de tentatives après l'échec de l'envoi d'un message. La valeur par défaut est 2. La plage de valeurs est comprise entre 1 et 3. Les nouvelles tentatives ne sont pas prises en charge pour certaines erreurs entraînant l'échec de l'envoi des messages. Pour plus d'informations sur les codes d'erreur, consultez la liste des codes d'erreur. La prise en charge des nouvelles tentatives pour différents codes d'erreur est décrite ci-dessous : 4xx : Les nouvelles tentatives ne sont pas prises en charge, à l'exception du code d'erreur 429. 5xx : Les nouvelles tentatives sont prises en charge. Remarque Le connecteur appelle l'API InvokeFunction pour envoyer des messages à Function Compute.

   • Modifier la configuration d'un connecteur source MySQL

     Parameter

     Description

     Database Table

     Nom d'une ou plusieurs tables d'une instance ApsaraDB RDS for MySQL à synchroniser. Séparez les noms de plusieurs tables par des virgules (,). Un mappage un-à-un existe entre une table de base de données et un topic de destination. Remarque Si vous ajoutez ou modifiez des tables pour une tâche existante, vous devez au préalable créer un Topic correspondant dans la console Message Queue for Apache Kafka. Le nom du Topic doit respecter le format Topic prefix_table name. Sinon, une erreur d'exécution se produira. Pour plus d'informations, consultez l'étape 1 : Créer un Topic.

   Une fois la modification terminée, sur la page Connectors, localisez le connecteur cible. Dans sa colonne Actions, cliquez sur Details. Sur la page Connector Details, consultez la configuration mise à jour du connecteur.

Suspendre ou activer un connecteur

Depuis la console Message Queue for Apache Kafka, suspendez un connecteur en cours d'exécution pour l'arrêter temporairement, ou activez un connecteur suspendu pour le reprendre.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste, puis suspendez-le ou activez-le selon vos besoins.

   • Pour suspendre un connecteur : Dans la colonne Actions, choisissez More > Suspend. Dans la boîte de dialogue Note, confirmez la suspension et cliquez sur OK.

   • Pour activer un connecteur : Dans la colonne Actions, cliquez sur Enable. Dans la boîte de dialogue Note, confirmez le démarrage et cliquez sur OK.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Suspend ou Enable en haut à droite.

   Sur la page Connectors, localisez le connecteur que vous avez suspendu ou activé. L'Status passe à Suspended ou Running.

   Remarque

   Si une tâche de connecteur source MySQL a été suspendue pendant une période prolongée, il se peut qu'elle ne redémarre pas. Dans ce cas, localisez la tâche et cliquez sur Task Configurations dans la colonne Actions. Sur la page DataWorks, localisez la ligne de la tâche de synchronisation cible et cliquez sur Start. Dans la boîte de dialogue Start, sélectionnez Reset Offset, configurez le Start Time Point, puis cliquez sur OK.

Tester un connecteur

Depuis la console Message Queue for Apache Kafka, envoyez un message de test pour vérifier un connecteur.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste, puis cliquez sur Test dans la colonne Actions.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Test en haut à droite.

   Remarque

   La position de l'option Test dans la colonne Actions peut varier selon l'état de la tâche.

5. Dans le panneau Send Message, envoyez un message de test.

   1. Dans la zone de texte Message Key, saisissez une clé pour le message, par exemple demo.

   2. Dans la zone de texte Message Content, saisissez le contenu du message de test, par exemple {"key": "test"}.

   3. Utilisez l'option Send to Specified Partition pour contrôler si le message est envoyé vers une partition spécifique.

      • Cliquez sur Yes et saisissez un ID de partition dans la zone de texte Partition ID, par exemple 0. Pour interroger l'ID de partition, consultez la rubrique Afficher l'état des partitions.

      • Cliquez sur No si vous ne souhaitez pas spécifier de partition.

Afficher la progression de la consommation

Une fois qu'un connecteur est en cours d'exécution, affichez l'état de consommation de son consumer group pour le topic source. Le nom du consumer group est connect-{task_name}.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste, puis cliquez sur Consumption Progress dans la colonne Actions.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Consumption Progress en haut à droite.

   Dans le panneau des détails de consommation du consumer group, affichez les détails de consommation du consumer group utilisé par la tâche du connecteur dans le topic source.

Supprimer un connecteur

Chaque instance Message Queue for Apache Kafka possède une limite concernant le nombre de connecteurs. Si vous n'avez plus besoin d'un connecteur, supprimez-le depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Localisez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > Delete.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Delete en haut à droite.

5. Dans la boîte de dialogue Note, cliquez sur OK pour supprimer le connecteur.