E-MapReduce:Créer un cluster Dataflow Kafka

Limitations

Le service Kafka n'est pas pris en charge dans les versions 5.18.0 et ultérieures, ni dans les versions 3.52.0 et ultérieures d'E-MapReduce (EMR). Nous vous recommandons d'utiliser ApsaraMQ for Kafka ou d'installer Kafka manuellement.

Notes d'utilisation

Pour des recommandations détaillées sur le dimensionnement, consultez Évaluation des ressources du cluster.

Procédure

1. Accédez à la page de création du cluster.

   1. Connectez-vous à la console E-MapReduce.

   2. Facultatif : Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources en fonction de vos besoins professionnels.

      • Région : Le cluster est créé dans la région sélectionnée. Ce paramètre ne peut pas être modifié après la création.

      • Groupe de ressources : Par défaut, toutes les ressources de votre compte sont affichées.

   3. Cliquez sur CREATE_CLUSTER.

2. Configurez les paramètres du cluster.

   Vous devez configurer les paramètres logiciels, matériels et de base du cluster.

   Important

   Une fois le cluster créé, seul son nom peut être modifié. Vérifiez attentivement toutes les configurations avant de continuer. Pour plus d'informations sur les paramètres, consultez Créer un cluster.

   1. Configurez les paramètres logiciels.

      Paramètre	Exemple	Description
      Region	China (Hangzhou)	La région où le cluster est créé. Ce paramètre ne peut pas être modifié après la création.
      Business Scenario	Real-time Data Streaming	Sélectionnez Real-time Data Streaming.
      Product Version	EMR-3.43.1	Sélectionnez une version EMR pour afficher les versions des services inclus. Par exemple, EMR-3.43.1 inclut Kafka 2.12_2.4.1, où 2.12 est la version Scala et 2.4.1 est la version open source de Kafka.
      High Service Availability	On	Désactivé par défaut. Important Nous vous recommandons d'activer la haute disponibilité, car le service Kafka dans EMR dépend de ZooKeeper. L'activation de cette option déploie un service ZooKeeper à trois nœuds sur le groupe de nœuds maîtres.
      Optional Services	Kafka	Sélectionnez le service Kafka. Vous pouvez également sélectionner d'autres composants. Les services des composants sélectionnés démarrent automatiquement.
      Collect Service Operational Logs	On	Activé par défaut. Contrôle la collecte des journaux pour tous les services. Ces journaux sont utilisés uniquement pour le diagnostic du cluster. Après la création du cluster, accédez à la page Basic Information pour modifier le Collection Status of Service Operational Logs. Important Si vous désactivez la collecte des journaux, les contrôles de santé EMR et l'assistance technique seront limités, mais les autres fonctionnalités continueront de fonctionner normalement. Pour plus de détails sur la désactivation de cette fonctionnalité et son impact, consultez Comment arrêter la collecte des journaux de service ?.

   2. Configurez les paramètres matériels.

      Paramètre	Exemple	Description
      Billing Method	Pay-as-you-go	La méthode de facturation par défaut est l'abonnement. Les méthodes de facturation suivantes sont prises en charge : Pay-as-you-go : Méthode de facturation postpayée avec facturation horaire. Convient aux tests à court terme ou aux charges de travail dynamiques. Subscription : Méthode de facturation prépayée où vous payez les ressources à l'avance. Remarque Nous vous recommandons d'utiliser l'option Pay-as-you-go pour les tests. Une fois les tests réussis, créez un nouveau cluster Subscription pour la production.
      Zone	China (Hangzhou) Zone I	Les zones sont des emplacements physiques distincts au sein d'une même région, interconnectés via un réseau interne. Vous pouvez généralement utiliser la zone par défaut.
      VPC	emr_test/vpc-bp1f4epmkvncimpgs****	Un VPC existant est sélectionné par défaut. Pour créer un nouveau VPC, accédez à la console VPC. Pour plus d'informations, consultez Créer et gérer un VPC.
      vSwitch	vsw_test/vsw-bp1e2f5fhaplp0g6p****	Sélectionnez un vSwitch dans la zone spécifiée du VPC sélectionné. Si aucun vSwitch n'est disponible dans la zone, créez-en un dans la console VPC. Pour plus d'informations, consultez VPC et vSwitches.
      Default Security Group	sg-bp1ddw7sm2risw**/sg-bp1ddw7sm2risw**	Un groupe de sécurité existant est sélectionné par défaut. Pour plus d'informations sur les groupes de sécurité, consultez Présentation des groupes de sécurité. Vous pouvez également cliquer sur create a new security group. pour créer un groupe de sécurité dans la console ECS. Pour plus d'informations, consultez Créer un groupe de sécurité. Important Les groupes de sécurité d'entreprise créés dans la console ECS ne sont pas pris en charge.
      Node Group	Configurez selon vos besoins.	Instance Type : Sélectionnez un type d'instance en fonction de vos besoins. Pour des recommandations de dimensionnement, consultez Évaluation des ressources du cluster. Add to Deployment Set : Lorsque la haute disponibilité est activée, les nœuds maîtres sont ajoutés à un ensemble de déploiement par défaut. Pour plus d'informations, consultez Activer un ensemble de déploiement. System Disk : Sélectionnez un type pour le disque système. System disk size : La valeur peut varier de 80 GiB à 500 GiB, mais un minimum de 120 GiB est recommandé. Data Disk : Sélectionnez un type pour le disque de données. Remarque Nous vous recommandons d'utiliser des disques cloud. Data disk size : La valeur peut varier de 40 GiB à 32 768 GiB, mais un minimum de 80 GiB est recommandé. Instances : Par défaut, trois instances maîtres et trois instances core sont créées. Additional Security Group : Associez jusqu'à deux groupes de sécurité supplémentaires au groupe de nœuds pour contrôler l'accès entre différentes ressources ou applications externes. Assign Public Network IP : Indique s'il faut associer une adresse IP élastique (EIP) au cluster. Désactivé par défaut. Remarque Pour accéder au cluster via le réseau public après sa création, demandez une EIP dans la console ECS. Pour plus d'informations, consultez la documentation relative à la demande d'une EIP.

   3. Configurez les paramètres de base.

      Dans la section Basic Information, configurez les paramètres suivants.

      Important

      Les paramètres de la section Advanced Settings ne sont pas pris en charge. Ne les configurez pas.

      Paramètre	Exemple	Description
      Cluster Name	Emr-Kafka	Le nom doit comporter entre 1 et 64 caractères et peut contenir des lettres, des chiffres, des traits d'union (-) et des underscores (_).
      Identity Credentials	Password	Key Pair (par défaut) : Utilisez une paire de clés SSH pour vous connecter aux instances Linux. Pour plus d'informations sur l'utilisation d'une paire de clés, consultez Paires de clés SSH.
      		Password : Définissez un mot de passe pour vous connecter aux instances de nœud maître. Le mot de passe doit comporter entre 8 et 30 caractères et contenir des lettres majuscules, des lettres minuscules, des chiffres et des caractères spéciaux. Les caractères spéciaux autorisés sont : !, @, #, $, %, ^, & et *.

3. Sur la page Confirm, cochez la case E-MapReduce Terms of Service.

4. Cliquez sur create.

   Le cluster est créé avec succès lorsque son Status passe à Running.

Étapes suivantes

Après la création du cluster, modifiez les paramètres par défaut pour répondre à vos exigences de production. Par exemple :

• Décidez s'il faut activer SSL pour chiffrer les connexions réseau. Pour plus d'informations, consultez Utiliser SSL pour chiffrer les connexions Kafka.

• Décidez s'il faut activer SASL pour l'authentification de connexion. Pour plus d'informations, consultez Utiliser SASL pour authentifier un service Kafka.