ApsaraMQ for Kafka:Gérer les connecteurs

Prérequis

Vous devez avoir créé l'un des connecteurs suivants :

• Créer un connecteur de réception Function Compute

• Créer un connecteur de réception MaxCompute

• Créer un connecteur de réception OSS

• Créer un connecteur de réception Elasticsearch

• Créer un connecteur source MySQL

• Créer un connecteur de réception Tablestore

• Créer un connecteur de réception AnalyticDB

Remarques

• Seuls les connecteurs de réception Function Compute et les connecteurs source MySQL permettent la modification de la configuration.

• Vous ne pouvez suspendre un connecteur que s'il est dans l'état Running (En cours d'exécution). Vous ne pouvez activer un connecteur que s'il est dans l'état Suspended (Suspendu).

Consulter les configurations des connecteurs

Consultez les informations de base, ainsi que les détails de la source et de la destination d'un connecteur.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur souhaité dans la liste, puis cliquez sur Details dans la colonne Actions.

   Sur la page des détails du connecteur, consultez les sections Basic Information, Source Information et Destination Information du connecteur.

Consulter les journaux des connecteurs

Pour résoudre un problème lié à un connecteur, consultez ses journaux directement depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > View Logs.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur View Logs en haut à droite.

   Remarque

   L'emplacement de l'option View Logs dans la colonne Actions varie selon l'état de la tâche. Fiez-vous à l'affichage réel de l'interface utilisateur.

   Sur la page des journaux du connecteur, consultez les journaux associés.

Modifier les configurations des connecteurs

Après avoir créé un connecteur de réception Function Compute ou un connecteur source MySQL, vous pouvez modifier sa configuration depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > Modify Configuration.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Modify Configuration en haut à droite.

5. Dans le panneau Modify Configuration, modifiez les paramètres de configuration selon vos besoins, puis cliquez sur OK.

   • Modifier les configurations d'un connecteur de réception Function Compute

     Paramètre	Description
     Consumer Thread Concurrency	Nombre de threads de consommateur simultanés pour le topic source. La valeur par défaut est 6. Valeurs possibles : 1 2 3 6 12
     Failure Handling Policy	Détermine l'action à entreprendre en cas d'échec de la livraison des messages vers une partition de topic. Valeurs possibles : Continue Subscription : Poursuit la consommation à partir de la partition où l'erreur s'est produite et consigne l'erreur dans les journaux. Stop Subscription : Arrête la consommation à partir de la partition où l'erreur s'est produite et consigne l'erreur dans les journaux. Remarque Pour plus d'informations sur la consultation des journaux, consultez la rubrique Gérer les connecteurs. Pour savoir comment trouver des solutions en fonction des codes d'erreur, consultez la Liste des codes d'erreur.
     Transmission Mode	Mode d'envoi des messages. Valeurs possibles : Synchronous : L'émetteur et le récepteur doivent être actifs simultanément et prêts à communiquer. Asynchronous : Après l'envoi d'un message, l'émetteur peut poursuivre d'autres tâches sans attendre de réponse du serveur.
     Data Size	Nombre de messages à envoyer par lot. La valeur par défaut est 20. La plage de valeurs acceptées est [1, 5000].
     Retries	Nombre de tentatives après l'échec de l'envoi d'un message. La valeur par défaut est 2. La plage de valeurs acceptées est comprise entre 1 et 3. Les nouvelles tentatives ne sont pas prises en charge pour certaines erreurs entraînant l'échec de l'envoi. Pour plus d'informations sur les codes d'erreur, consultez la Liste des codes d'erreur. La prise en charge des nouvelles tentatives selon les différents codes d'erreur est décrite ci-dessous : 4xx : Les nouvelles tentatives ne sont pas prises en charge, à l'exception du code d'erreur 429. 5xx : Les nouvelles tentatives sont prises en charge. Remarque Le connecteur appelle l'API InvokeFunction pour envoyer des messages à Function Compute.

   • Modifier les configurations d'un connecteur source MySQL

     Paramètre

     Description

     Database Table

     Nom d'une ou plusieurs tables d'une instance ApsaraDB RDS for MySQL à synchroniser. Séparez les noms de plusieurs tables par des virgules (,). Il existe un mappage un-à-un entre une table de base de données et un topic de destination. Remarque Si vous ajoutez ou modifiez des tables pour une tâche existante, vous devez au préalable créer le Topic correspondant dans la console Message Queue for Apache Kafka. Le nom du Topic doit respecter le format Préfixe du topic_nom de la table. Sinon, une erreur d'exécution se produira. Pour plus d'informations, consultez l'Étape 1 : Créer un Topic.

   Une fois la modification terminée, repérez le connecteur cible sur la page Connectors. Dans sa colonne Actions, cliquez sur Details. Sur la page Connector Details, consultez la configuration mise à jour du connecteur.

Suspendre ou activer un connecteur

Depuis la console Message Queue for Apache Kafka, vous pouvez suspendre un connecteur en cours d'exécution pour l'arrêter temporairement, ou activer un connecteur suspendu pour le reprendre.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste, puis suspendez-le ou activez-le selon vos besoins.

   • Pour suspendre un connecteur : Dans la colonne Actions, choisissez More > Suspend. Dans la boîte de dialogue Note, confirmez la suspension et cliquez sur OK.

   • Pour activer un connecteur : Dans la colonne Actions, cliquez sur Enable. Dans la boîte de dialogue Note, confirmez le démarrage et cliquez sur OK.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Suspend ou Enable en haut à droite.

   Sur la page Connectors, repérez le connecteur que vous avez suspendu ou activé. Son Status passe à Suspended ou Running.

   Remarque

   Si une tâche de connecteur source MySQL reste suspendue pendant une période prolongée, il se peut qu'elle ne redémarre pas correctement. Dans ce cas, repérez la tâche et cliquez sur Task Configurations dans la colonne Actions. Sur la page DataWorks, repérez la ligne de la tâche de synchronisation cible et cliquez sur Start. Dans la boîte de dialogue Start, sélectionnez Reset Offset, configurez le Start Time Point, puis cliquez sur OK.

Tester un connecteur

Envoyez un message de test pour valider le fonctionnement d'un connecteur depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste, puis cliquez sur Test dans la colonne Actions.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Test en haut à droite.

   Remarque

   La position de l'option Test dans la colonne Actions peut varier en fonction de l'état de la tâche.

5. Dans le panneau Send Message, envoyez un message de test.

   1. Dans la zone de texte Message Key, saisissez une clé pour le message, par exemple demo.

   2. Dans la zone de texte Message Content, saisissez le contenu du message de test, par exemple {"key": "test"}.

   3. Utilisez l'option Send to Specified Partition pour contrôler si le message est envoyé vers une partition spécifique.

      • Cliquez sur Yes et saisissez un ID de partition dans la zone de texte Partition ID, par exemple 0. Pour consulter l'ID de partition, reportez-vous à la rubrique Afficher l'état des partitions.

      • Cliquez sur No si vous ne souhaitez pas spécifier de partition.

Afficher la progression de la consommation

Une fois le connecteur en cours d'exécution, vous pouvez consulter l'état de consommation de son consumer group pour le topic source. Le nom du consumer group est connect-{task_name}.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste, puis cliquez sur Consumption Progress dans la colonne Actions.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Consumption Progress en haut à droite.

   Dans le panneau des détails de consommation du consumer group, consultez les détails de consommation du consumer group utilisé par la tâche du connecteur dans le topic source.

Supprimer un connecteur

Chaque instance Message Queue for Apache Kafka impose une limite sur le nombre de connecteurs. Si un connecteur n'est plus nécessaire, vous pouvez le supprimer depuis la console Message Queue for Apache Kafka.

1. Connectez-vous à la console ApsaraMQ for Kafka.

2. Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

3. Dans le volet de navigation de gauche, cliquez sur Connectors.

4. Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance. Repérez le connecteur cible dans la liste. Dans la colonne Actions, choisissez More > Delete.

   Vous pouvez également cliquer sur le nom du connecteur cible ou sur Details dans la colonne Actions. Sur la page des détails du connecteur, cliquez sur Delete en haut à droite.

5. Dans la boîte de dialogue Note, cliquez sur OK pour supprimer le connecteur.