ApsaraMQ for Kafka:Créer un connecteur de réception MaxCompute

Créer un rôle RAM

Les rôles Resource Access Management (RAM) ne permettent pas de sélectionner directement ApsaraMQ for Kafka comme service de confiance. Par conséquent, lors de la création d'un rôle RAM, sélectionnez n'importe quel service pris en charge comme service de confiance. Une fois le rôle RAM créé, modifiez manuellement la stratégie d'approbation.

1. Connectez-vous à la console RAM.

2. Dans le volet de navigation de gauche, choisissez Identities > Roles.

3. Sur la page Roles, cliquez sur Create Role.

   La figure suivante montre le bouton Create Role sur la page Roles.

   

4. Dans le panneau Create Role, effectuez les opérations suivantes.

5. Définissez le type d'entité de confiance sur Alibaba Cloud Service, puis cliquez sur Next.

6. Dans la section Role Type, sélectionnez Normal Service Role. Dans le champ Role Name, saisissez AliyunKafkaMaxComputeUser1. Dans la liste Select Trusted Service, sélectionnez MaxCompute, puis cliquez sur Finish.

7. Sur la page Roles, recherchez AliyunKafkaMaxComputeUser1 et cliquez sur AliyunKafkaMaxComputeUser1.

8. Sur la page AliyunKafkaMaxComputeUser1, cliquez sur l'onglet Trust Policy, puis sur Edit Trust Policy.

9. Dans le panneau Edit Trust Policy, remplacez odps par alikafka dans le script, puis cliquez sur OK.

   La stratégie suivante montre le résultat après le remplacement.

Ajouter des autorisations

Pour permettre au connecteur de synchroniser les messages vers une table MaxCompute, vous devez accorder au moins les autorisations suivantes au rôle RAM que vous avez créé :

Pour plus d'informations sur les autorisations précédentes et sur la manière de les accorder, consultez les autorisations MaxCompute.

Les étapes suivantes montrent comment accorder des autorisations au rôle AliyunKafkaMaxComputeUser1 créé dans cette rubrique. MaxCompute gère un rôle RAM en tant qu'utilisateur, donc chaque commande de cette section cible l'objet RAM$<accountid>:role/aliyunkafkamaxcomputeuser1.

1. Connectez-vous au client MaxCompute.

2. Exécutez la commande suivante pour ajouter le rôle RAM en tant qu'utilisateur.

   add user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

3. Accordez au rôle RAM le privilège minimal requis pour accéder à MaxCompute.

4. Exécutez la commande suivante pour accorder au rôle RAM les autorisations sur le projet.

grant CreateInstance on project connector_test to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

2. Exécutez la commande suivante pour accorder au rôle RAM les autorisations sur la table.

grant Describe, Alter, Update on table test_kafka to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

Créer les rubriques requises par un connecteur de réception MaxCompute

Dans la console ApsaraMQ for Kafka, vous pouvez créer manuellement les cinq rubriques requises par un connecteur de réception MaxCompute : la rubrique de décalage de tâche, la rubrique de configuration de tâche, la rubrique d'état de tâche, la rubrique de file d'attente de lettres mortes et la rubrique de données d'erreur. Le nombre de partitions requis et le moteur de stockage requis varient selon la rubrique, comme indiqué dans le tableau suivant.

Pour économiser les ressources de rubrique, vous pouvez utiliser une seule rubrique à la fois comme rubrique de file d'attente de lettres mortes et comme rubrique de données d'erreur. Pour la rubrique de file d'attente de lettres mortes et la rubrique de données d'erreur, le moteur de stockage peut être le stockage local ou le stockage cloud, et les propriétés restantes suivent les règles générales décrites dans le tableau des propriétés de rubrique de cette section. Pour une description complète de chaque rubrique, consultez la rubrique Paramètres de l'onglet Configure Source Service.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Instances, cliquez sur le nom de l'instance cible.

Sur la page Instances, cliquez sur le nom de l'instance cible.

Dans le volet de navigation de gauche, cliquez sur Topics.

1. Dans le panneau

Create Topic

, définissez les propriétés de la rubrique, puis cliquez sur

OK

.

Définissez les propriétés de chaque rubrique de connecteur avec les valeurs répertoriées dans le tableau précédent. Le tableau suivant décrit toutes les propriétés de rubrique.

Une fois la rubrique créée, elle apparaît dans la liste sur la page Topics. Comme vous avez créé ces rubriques manuellement, définissez Resource Creation Method sur Manual lors de la création du connecteur, puis saisissez les noms des rubriques que vous avez créées.

Créer le Group requis par un connecteur de réception MaxCompute

Dans la console ApsaraMQ for Kafka, vous pouvez créer manuellement le Group utilisé par la tâche de synchronisation des données d'un connecteur de réception MaxCompute. Le nom du Group doit être connect-nom de la tâche, où nom de la tâche est le nom du connecteur. Pour plus d'informations, consultez la rubrique Paramètres de l'onglet Configure Source Service.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Instances, cliquez sur le nom de l'instance cible.

Sur la page Instances, cliquez sur le nom de l'instance cible.

Dans le volet de navigation de gauche, cliquez sur Groups.

1. Dans le panneau

Create Group

, saisissez le nom du

Group

dans le champ

Group ID

, saisissez une brève description dans le champ

Description

, ajoutez des tags, puis cliquez sur

OK

.

Une fois le Group créé, il apparaît dans la liste sur la page Groups. Saisissez son nom dans le champ Connector Consumer Group lors de la création du connecteur.

Créer et déployer un connecteur de destination MaxCompute

Créez et déployez un connecteur de destination MaxCompute qui synchronise les données depuis ApsaraMQ for Kafka vers MaxCompute.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Connectez-vous à la console ApsaraMQ for Kafka.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Sur la page Overview, sélectionnez une région dans la section Resource Distribution.

Dans le volet de navigation de gauche, cliquez sur Connectors.

Dans le volet de navigation de gauche, cliquez sur Connectors.

Sur la page Connectors, sélectionnez l'instance à laquelle appartient le connecteur dans la liste déroulante Select Instance et cliquez sur Create Connector.

1. Sur la page de l'assistant de configuration Create Connector, effectuez les opérations suivantes.

1. Sous l'onglet Configure Basic Information, configurez les paramètres suivants selon vos besoins métier, puis cliquez sur Next.

   Paramètre	Description	Exemple
   Name	Nom du connecteur. Conventions de nommage : - Le nom peut contenir des chiffres, des lettres minuscules et des traits d'union (-), mais ne doit pas commencer par un trait d'union (-). La longueur du nom doit être comprise entre 1 et 48 caractères. - Le nom doit être unique au sein de la même instance ApsaraMQ for Kafka. La tâche de synchronisation des données du connecteur doit utiliser un Group nommé connect-nom de la tâche. Si vous ne créez pas manuellement le Group, le système le crée automatiquement.	kafka-maxcompute-sink
   Instance	Par défaut, le nom de l'instance et l'ID de l'instance sont spécifiés.	demo alikafka_post-cn-st21p8vj****

2. Sous l'onglet Configure Source Service, définissez Data Source sur ApsaraMQ for Kafka, configurez les paramètres suivants, puis cliquez sur Next.

   Remarque

   Si vous avez déjà créé un topic et un consumer group, choisissez la création manuelle des ressources et saisissez les informations relatives à vos ressources existantes. Sinon, optez pour la création automatique des ressources.

   Si vous avez déjà créé un topic et un consumer group, choisissez la création manuelle des ressources et saisissez les informations relatives à vos ressources existantes. Sinon, optez pour la création automatique des ressources.

   Si vous avez déjà créé un topic et un consumer group, choisissez la création manuelle des ressources et saisissez les informations relatives à vos ressources existantes. Sinon, optez pour la création automatique des ressources.

   Si vous avez déjà créé un topic et un consumer group, choisissez la création manuelle des ressources et saisissez les informations relatives à vos ressources existantes. Sinon, optez pour la création automatique des ressources.

   Si vous avez déjà créé un topic et un consumer group, choisissez la création manuelle des ressources et saisissez les informations relatives à vos ressources existantes. Sinon, optez pour la création automatique des ressources.

   Paramètre	Description	Exemple
   Data Source Topic	Topic source dont vous souhaitez synchroniser les données.	maxcompute-test-input
   Consumer Thread Concurrency	Nombre de threads de consommateur simultanés pour le topic source. Valeur par défaut : 6. Valeurs possibles : - 1 - 2 - 3 - 6 - 12	6
   Consumer Offset	Offset à partir duquel les messages sont consommés. Valeurs possibles : - Earliest Offset : la consommation commence à partir du premier offset. - Latest Offset : la consommation commence à partir du dernier offset.	Earliest Offset
   VPC ID	VPC dans lequel s'exécute la tâche de synchronisation des données. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Par défaut, le VPC dans lequel est déployée l'instance ApsaraMQ for Kafka est utilisé. Vous n'avez pas besoin de spécifier ce paramètre.	vpc-bp1xpdnd3l***
   vSwitch ID	vSwitch dans lequel s'exécute la tâche de synchronisation des données. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Le vSwitch doit se trouver dans le même VPC que l'instance ApsaraMQ for Kafka. Par défaut, le vSwitch que vous avez spécifié lors du déploiement de l'instance ApsaraMQ for Kafka est utilisé.	vsw-bp1d2jgg81***
   Failure Handling Policy	Indique s'il faut continuer à s'abonner à la partition du topic dans laquelle une erreur s'est produite après l'échec de l'envoi d'un message. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Valeurs possibles : - Continue Subscription : continue de s'abonner à la partition du topic dans laquelle l'erreur s'est produite et imprime le journal d'erreurs. - Stop Subscription : arrête de s'abonner à la partition du topic dans laquelle l'erreur s'est produite et imprime le journal d'erreurs > Remarque : - Pour plus d'informations sur la consultation des journaux, consultez les opérations du connecteur. - Pour plus d'informations sur la recherche de solutions en fonction des codes d'erreur, consultez Codes d'erreur. - Pour reprendre l'abonnement à la partition du topic dans laquelle l'erreur s'est produite, pour contacter le .	Continue Subscription
   Resource Creation Method	Méthode utilisée pour créer les topics et le Group requis par le connecteur. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Valeurs possibles : - Auto : le système crée les topics et le Group requis pour vous. Sélectionnez cette valeur si vous ne les avez pas créés au préalable. - Manual : sélectionnez cette valeur si vous avez créé les topics et le Group au préalable, puis saisissez leurs noms dans les champs suivants.	Auto
   Connector Consumer Group	Group utilisé par la tâche de synchronisation des données du connecteur. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Le nom du Group doit être connect-nom de la tâche.	connect-kafka-maxcompute-sink
   Task Offset Topic	Topic qui stocke les offsets des consommateurs. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. - Nom du topic : nous recommandons que le nom commence par connect-offset. - Nombre de partitions : le nombre de partitions du topic doit être supérieur à 1. - Moteur de stockage : le moteur de stockage du topic doit être le stockage local. - cleanup.policy : la politique de nettoyage des journaux du topic doit être compact.	connect-offset-kafka-maxcompute-sink
   Task Configuration Topic	Topic qui stocke les configurations des tâches. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. - Nom du topic : nous recommandons que le nom commence par connect-config. - Nombre de partitions : le nombre de partitions du topic doit être égal à 1. - Moteur de stockage : le moteur de stockage du topic doit être le stockage local. - cleanup.policy : la politique de nettoyage des journaux du topic doit être compact.	connect-config-kafka-maxcompute-sink
   Task Status Topic	Topic qui stocke l'état des tâches. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. - Nom du topic : nous recommandons que le nom commence par connect-status. - Nombre de partitions : nous vous recommandons de définir le nombre de partitions du topic sur 6. - Moteur de stockage : le moteur de stockage du topic doit être le stockage local. - cleanup.policy : la politique de nettoyage des journaux du topic doit être compact.	connect-status-kafka-maxcompute-sink
   Dead-letter Queue Topic	Topic qui stocke les données anormales du framework Connect. Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Pour économiser les ressources de topic, vous pouvez utiliser ce topic comme topic de données d'erreur. - Nom du topic : nous recommandons que le nom commence par connect-error. - Nombre de partitions : nous vous recommandons de définir le nombre de partitions du topic sur 6. - Moteur de stockage : le moteur de stockage du topic peut être le stockage local ou le stockage cloud.	connect-error-kafka-maxcompute-sink
   Error Data Topic	Topic qui stocke les données anormales du connecteur de destination (sink). Cliquez sur Configure Runtime Environment pour afficher ce paramètre. Pour économiser les ressources de topic, vous pouvez utiliser ce topic comme topic de file d'attente des lettres mortes (dead-letter queue). - Nom du topic : nous recommandons que le nom commence par connect-error. - Nombre de partitions : nous vous recommandons de définir le nombre de partitions du topic sur 6. - Moteur de stockage : le moteur de stockage du topic peut être le stockage local ou le stockage cloud.	connect-error-kafka-maxcompute-sink

3. Sous l'onglet Configure Destination Service, définissez Destination Service sur MaxCompute, configurez les paramètres suivants, puis cliquez sur Create.

Une fois le connecteur créé, vous pouvez le consulter sur la page Connectors.

2. Une fois le connecteur créé, accédez à la page Connectors, repérez le connecteur que vous avez créé, puis cliquez sur Deploy dans la colonne Actions.

Envoyer un message de test

Après avoir déployé le connecteur de destination MaxCompute, envoyez un message au topic source de ApsaraMQ for Kafka pour vérifier si les données peuvent être synchronisées vers MaxCompute.

Sur la page Connectors, repérez le connecteur cible et cliquez sur Test dans la colonne Actions.

Sur la page Connectors, repérez le connecteur cible et cliquez sur Test dans la colonne Actions.

Sur la page Connectors, repérez le connecteur cible et cliquez sur Test dans la colonne Actions.

Sur la page Connectors, repérez le connecteur cible et cliquez sur Test dans la colonne Actions.

1. Dans le panneau Send Message, envoyez un message de test.

Définissez Sending Method sur Console.

• Dans la zone de texte Message Key, saisissez la clé du message, par exemple demo.

• Dans le champ Message Content, saisissez le contenu du message de test, par exemple {"key": "test"}.

• Définissez Send to Specified Partition pour indiquer si le message doit être envoyé à une partition spécifique.

• Cliquez sur Yes et saisissez l'ID de partition dans le champ Partition ID, par exemple 0. Pour plus d'informations sur la requête de l'ID de partition, consultez Afficher l'état des partitions.

• Cliquez sur No pour envoyer le message sans spécifier de partition.

  Définissez Sending Method sur Docker et exécutez la commande Docker dans la section Run the Docker container to produce a sample message pour envoyer le message.

Définissez Sending Method sur SDK. Selon vos besoins métier, sélectionnez le kit de développement logiciel (SDK) du langage de programmation ou du framework que vous souhaitez utiliser ainsi que la méthode de connexion, puis envoyez des messages à l'aide du SDK.

Afficher les données de la table

Après avoir envoyé des messages au topic source de ApsaraMQ for Kafka, affichez les données de la table sur le client MaxCompute pour vérifier si les messages ont été reçus.

Les étapes suivantes montrent comment afficher les données écrites dans test_kafka dans ce topic. Le connecteur écrit chaque message dans la partition correspondant à l'heure d'écriture du message, selon la granularité définie pour le paramètre Partition.

1. Connectez-vous au client MaxCompute.

2. Exécutez la commande suivante pour afficher les partitions de données de la table.

   show partitions test_kafka;

   Le résultat suivant est renvoyé :

   pt=11-17-2020 15
   
   OK

3. Exécutez la commande suivante pour afficher les données de la partition renvoyée à l'étape précédente.

select * from test_kafka where pt ="11-17-2020 15";

Le résultat suivant est renvoyé :

+----------------------+------------+------------+-----+-------+---------------+
| topic                | partition  | offset     | key | value | pt            |
+----------------------+------------+------------+-----+-------+---------------+
| maxcompute-test-input| 0          | 0          | 1   | 1     | 11-17-2020 15 |
+----------------------+------------+------------+-----+-------+---------------+

Si la requête ne renvoie aucune ligne, vérifiez que vous avez interrogé la partition renvoyée par show partitions, consultez les détails de consommation du Group abonné au topic source, et vérifiez le topic de données d'erreur ainsi que le topic de file d'attente des lettres mortes (dead-letter queue) du connecteur pour identifier les messages dont l'écriture a échoué.