E-MapReduce:Create a cluster

Paramètre

Description

Region

Zone géographique où se situe le centre de données. Sélectionnez une région proche de votre emplacement pour réduire la latence réseau. Vous ne pouvez pas modifier la région après la création du cluster.

Business Scenario

Sélectionnez un scénario en fonction de vos besoins métiers.

• Data Lake (DataLake) : cluster managé flexible, fiable et efficace conçu pour exécuter des moteurs de calcul Big Data et réaliser des analyses de données.

  • Prend en charge la construction d'une architecture de lac de données et utilise JindoFS pour accélérer les opérations associées.

  • Prend en charge OSS-HDFS (HDFS entièrement managé) pour le stockage, réduisant ainsi vos coûts d'exploitation et de maintenance grâce à un modèle de facturation à l'utilisation.

  Pour plus d'informations, consultez la rubrique Cluster DataLake.

• Data Analytics (OLAP) : importe des jeux de données massifs dans un moteur d'analyse OLAP tel que ClickHouse ou StarRocks, via des méthodes comme l'importation de données ou les tables externes. Cette option permet des analyses efficaces, en temps réel et flexibles pour des cas d'usage tels que le profilage utilisateur, la segmentation d'audience, les rapports BI et l'analyse métier.

• Real-time Data Streaming (DataFlow) : solution de calcul en temps réel tout-en-un sur la plateforme EMR. Elle intègre Kafka, un système de messagerie distribué à haut débit et hautement évolutif, ainsi que le noyau commercial Flink de Ververica (basé sur Apache Flink). Largement utilisée pour l'ETL en temps réel ainsi que pour la collecte et l'analyse des journaux, cette solution permet également d'utiliser chaque composant individuellement.

• Data Service (DataServing) :

  • Clusters de service de données flexibles, fiables et efficaces.

  • Clusters HBase semi-managés avec séparation du calcul et du stockage utilisant OSS-HDFS (service JindoFS).

  • Mise en cache locale JindoData pour améliorer davantage les performances en lecture et en écriture.

  Pour plus d'informations, consultez la rubrique Cluster DataServing.

• Custom Cluster (Custom) : vaste sélection de services que vous pouvez combiner selon vos besoins.

  Remarque

  Dans un environnement de production, nous vous recommandons d'éviter de déployer plusieurs services de stockage sur le même groupe de nœuds.

Product Version

Version de release du produit EMR. Pour plus d'informations, consultez la rubrique Versions de release.

High Service Availability

Désactivé par défaut. Lorsqu'elle est activée, EMR crée plusieurs nœuds Master pour assurer la haute disponibilité de ResourceManager et de NameNode. Ces nœuds sont répartis sur différents matériels sous-jacents afin de réduire les risques de panne.

Optional Services (Select One At Least)

Sélectionnez des services supplémentaires en fonction de vos besoins métiers. Les services sélectionnés démarrent automatiquement leurs processus associés.

Collect Service Operational Logs

Activé par défaut. Ce paramètre contrôle la collecte des journaux pour tous les services. Ces journaux servent uniquement au diagnostic du cluster.

Une fois le cluster créé, accédez à la page Basic Information pour modifier le Collection Status of Service Operational Logs.

Metadata

Les méthodes suivantes sont disponibles pour stocker et gérer les métadonnées :

• DLF Unified Metadata (recommandé) : stocke les métadonnées dans Data Lake Formation (DLF).

  Après avoir activé DLF, le système sélectionne par défaut un DLF Catalog pour vous (généralement votre UID). Pour utiliser des catalogues différents selon les clusters, créez-en un nouveau :

  1. Cliquez sur Create Catalog. Dans la boîte de dialogue qui s'affiche, saisissez un ID de catalogue puis cliquez sur OK.

  2. Dans la liste déroulante DLF Catalog, sélectionnez le catalogue que vous avez créé.

• Self-managed RDS : utilise votre propre instance RDS ou une instance Alibaba Cloud RDS comme stockage de métadonnées.

  Si vous choisissez cette méthode, vous devez configurer les paramètres liés à RDS. Pour plus d'informations, consultez la rubrique Configurer une base de données RDS auto-gérée.

• Built-in MySQL (non recommandé) : stocke les métadonnées dans une base de données MySQL située sur le nœud Master du cluster.

  Remarque

  • Pour les scénarios de test : nous vous recommandons d'utiliser DLF Unified Metadata.

  • Pour les scénarios de production : vous pouvez utiliser DLF Unified Metadata ou Self-managed RDS.

Root Storage Directory of Cluster

Requis uniquement lorsque vous sélectionnez le service OSS-HDFS. Non nécessaire si vous choisissez le service HDFS.

Lors de la première utilisation du service OSS-HDFS, votre compte Alibaba Cloud (compte principal) doit cliquer here et suivre les instructions pour finaliser l'autorisation. Si vous êtes un utilisateur RAM, votre compte Alibaba Cloud doit vous autoriser à activer le service et vous attribuer la stratégie AliyunEMRDlsFullAccess ainsi que les rôles AliyunOSSDlsDefaultRole et AliyunEMRDlsDefaultRole. Pour plus d'informations, consultez la rubrique Accorder des autorisations à un utilisateur RAM. Sélectionnez un bucket situé dans la même région que celle où le service OSS-HDFS est déjà activé, ou cliquez sur Create OSS-HDFS Bucket pour créer une nouvelle instance OSS-HDFS servant de chemin de stockage racine pour le cluster.

Paramètre

Description

Old Data Lake

L'abonnement est sélectionné par défaut. Les méthodes de facturation suivantes sont prises en charge :

• Kerberos Authentication : modèle postpayé où la facturation est horaire et basée sur l'utilisation réelle. Cette méthode convient aux tests à court terme ou aux tâches dynamiques et flexibles.

• Custom Software Configuration : modèle prépayé où le paiement s'effectue avant l'utilisation.

  Remarque

  • Nous recommandons d'utiliser la méthode Billing Method pour les scénarios de test. Une fois les tests concluants, créez un cluster Pay-as-you-go pour la production.

  • Pour les instances sous abonnement, vous devez également sélectionner une Subscription et décider d'activer ou non l'Pay-as-you-go. La période de renouvellement par défaut est de six mois, avec renouvellement automatique activé. Lorsque cette option est activée, l'instance est renouvelée automatiquement sept jours avant son expiration. Pour plus d'informations, consultez la rubrique Renouvellement.

Subscription

Emplacement physique distinct au sein d'une région, interconnecté par un réseau privé à faible latence. Vous pouvez généralement conserver la zone de disponibilité par défaut.

Subscription Duration

Environnement réseau logiquement isolé sur Alibaba Cloud qui vous offre un contrôle total sur votre configuration réseau.

Sélectionnez un VPC existant ou cliquez sur Auto-renewal pour en créer un instantanément dans la console VPC. Pour plus d'informations, consultez la rubrique Créer et gérer un VPC.

Zone

Subdivision réseau de base d'un VPC utilisée pour connecter différentes cloud resources.

Sélectionnez un vSwitch existant ou cliquez sur VPC pour en créer un instantanément dans la console VPC. Pour plus d'informations, consultez la rubrique VPCs and vSwitches.

La taille du bloc CIDR du vSwitch détermine le nombre d'adresses IPv4 disponibles. Par exemple, un bloc CIDR /24 fournit environ 250 adresses IP disponibles, un bloc /20 en fournit environ 4 090 et un bloc /17 environ 32 764. Si votre cluster nécessite un grand nombre de nœuds, sélectionnez un vSwitch avec un bloc CIDR plus large afin de garantir l'allocation d'adresses IP suffisantes pour tous les nœuds du cluster.

Vous ne pouvez pas modifier le bloc CIDR d'un vSwitch après sa création. Si vous avez besoin d'une plage d'adresses IP plus large, vous devez créer un nouveau vSwitch avec un bloc CIDR plus étendu, puis créer un nouveau cluster basé sur ce vSwitch. Lors de la création d'un vSwitch, la console affiche le nombre d'adresses IP disponibles pour le bloc CIDR sélectionné, ce qui vous aide à évaluer si celui-ci répond aux exigences de taille de votre cluster.

Create VPC

Pare-feu virtuel qui contrôle le trafic entrant et sortant des instances appartenant au groupe. Pour plus d'informations, consultez la rubrique Présentation des groupes de sécurité.

Sélectionnez un groupe de sécurité existant ou cliquez sur vSwitch pour en créer un dans la console ECS. Pour plus d'informations, consultez la rubrique Créer un groupe de sécurité.

. Create vSwitch

Sélectionnez les types d'instance en fonction de vos besoins. Pour plus d'informations, consultez la rubrique Families d'instances.

• Default Security Group : exécute les services du plan de contrôle tels que ResourceManager et NameNode.

• Core : stocke les données dans le système de fichiers distribué (HDFS) du cluster. Vous pouvez également ajouter des nœuds Core à la demande après la création du cluster.

• Task : fournit une capacité de calcul supplémentaire sans stocker de données. Ce groupe de nœuds est facultatif et peut être ajouté pour augmenter les ressources de calcul.

  Important

  Les groupes de nœuds Task prennent en charge les méthodes de facturation Pay-as-you-go, Preemptible Instance et Subscription.

• create a new security group. : lorsque la haute disponibilité est activée, les nœuds Master sont ajoutés par défaut à un ensemble de déploiement. Un ensemble de déploiement contrôle la répartition des instances. Pour plus d'informations, consultez la rubrique Ensembles de déploiement.

• Node Group : sélectionnez un SSD standard, un SSD amélioré (ESSD) ou un disque ultra selon vos besoins. Ajustez la taille du disque système si nécessaire.

• Master : sélectionnez un SSD standard, un SSD amélioré (ESSD) ou un disque ultra selon vos besoins. Ajustez la taille du disque de données si nécessaire.

  Remarque

  Lorsque vous sélectionnez un SSD amélioré (ESSD), vous pouvez définir différents niveaux de performance (PL) en fonction de la capacité du disque afin de répondre aux divers besoins de performance du cluster. Le niveau de performance par défaut est PL1. Selon la capacité du disque, les disques système prennent en charge les niveaux PL0, PL1 et PL2, tandis que les disques de données prennent en charge les niveaux PL0, PL1, PL2 et PL3. Pour plus d'informations sur les disques cloud, consultez la rubrique Présentation des disques cloud.

• Add to Deployment Set : le groupe de nœuds Master comporte une instance par défaut. Si la haute disponibilité est activée, vous pouvez disposer de plusieurs instances Master.

  Le groupe de nœuds Core comporte deux instances par défaut. Vous pouvez ajuster ce nombre selon vos besoins.

• System Disk : permet un contrôle d'accès flexible entre différentes ressources ou applications externes. Vous pouvez associer jusqu'à deux groupes de sécurité supplémentaires à ce groupe de nœuds.

• Data Disk : contrôle l'attribution ou non d'une adresse IP élastique (EIP) au cluster. Désactivé par défaut. Seuls les clusters DataLake permettent d'attribuer des adresses IP publiques au niveau du groupe de nœuds.

  Remarque

  Si vous n'activez pas cette fonctionnalité mais souhaitez utiliser une adresse IP publique pour accéder au cluster après sa création, vous devez en faire la demande dans la console ECS. Pour plus d'informations, consultez la rubrique Demander une EIP.

Instances

Sélectionnez une règle de mise à l'échelle automatique selon vos besoins.

• Additional Security Group (par défaut).

• Assign Public Network IP : vous pouvez définir des règles personnalisées pour une mise à l'échelle automatique basée sur le temps ou sur la charge. Pour plus d'informations, consultez la rubrique Créer une règle de mise à l'échelle automatique personnalisée.

• Cluster Scaling : lorsque vous démarrez le cluster, EMR pré-provisionne le nombre de nœuds Task en fonction de la règle de mise à l'échelle gérée. Pour plus d'informations, consultez la rubrique Créer une règle de mise à l'échelle automatique gérée.

Paramètre

Description

Do Not Use Auto Scaling Rules

Nom du cluster. Il doit comporter entre 1 et 64 caractères et ne peut contenir que des caractères chinois, des lettres, des chiffres, des traits d'union (-) et des underscores (_).

Custom Auto Scaling Rule

Managed Auto Scaling Rule permet un accès sécurisé au nœud Master du cluster. Pour les instructions de connexion, consultez la rubrique Se connecter à un cluster. Les types d'identifiants suivants sont disponibles :

• Cluster Name (par défaut) : sélectionnez une paire de clés existante ou cliquez sur Identity Credentials pour en créer une instantanément.

  Une paire de clés (clé publique + clé privée) constitue une méthode d'authentification sécurisée et pratique pour se connecter aux instances Linux. Pour plus d'informations sur l'utilisation des paires de clés, consultez la rubrique Paires de clés SSH.

• Identity Credentials : définissez un mot de passe de connexion pour le nœud Master et confirmez-le. Le nom d'utilisateur par défaut est root.

  • Exigences relatives au mot de passe : longueur comprise entre 8 et 30 caractères ; doit contenir des lettres majuscules, des lettres minuscules, des chiffres et des caractères spéciaux.

  • Les caractères spéciaux pris en charge incluent : point d'exclamation (!), signe arobase (@), dièse (#), signe dollar ($), signe pourcentage (%), accent circonflexe (^), esperluette (&) et astérisque (*).