E-MapReduce:Create a cluster

Paramètre

Description

Region

Zone géographique où se situe le centre de données. Le choix d'une région proche de votre emplacement réduit la latence réseau. Il est impossible de modifier la région après la création du cluster.

Business Scenario

Sélectionnez un scénario en fonction de vos besoins métier.

• Data Lake (DataLake) : Cluster managé flexible, fiable et efficace pour l'exécution de moteurs de calcul Big Data et l'analyse de données.

  • Prend en charge la construction d'une architecture de lac de données et utilise JindoFS pour accélérer les opérations sur le lac de données.

  • Prend en charge OSS-HDFS (HDFS entièrement managé) pour le stockage, réduisant ainsi vos coûts d'exploitation et de maintenance grâce à un modèle de facturation à l'utilisation.

  Pour plus d'informations, consultez la rubrique Cluster DataLake.

• Data Analytics (OLAP) : Importe des ensembles de données massifs dans un moteur d'analyse OLAP tel que ClickHouse ou StarRocks, via des méthodes comme l'importation de données ou les tables externes. Prend en charge une analyse efficace, en temps réel et flexible pour des scénarios tels que le profilage des utilisateurs, la segmentation d'audience, les rapports BI et l'analyse commerciale.

• Real-time Data Streaming (DataFlow) : Solution de calcul en temps réel tout-en-un sur la plateforme EMR. Elle intègre Kafka, un système de messagerie distribué à haut débit et hautement évolutif, ainsi que le noyau commercial Flink de Ververica (basé sur Apache Flink). Largement utilisé pour l'ETL de données en temps réel et la collecte et l'analyse de journaux, vous pouvez également utiliser chaque composant individuellement.

• Data Service (DataServing) :

  • Clusters de services de données flexibles, fiables et efficaces.

  • Clusters HBase semi-managés avec séparation du calcul et du stockage utilisant OSS-HDFS (le service JindoFS).

  • Mise en cache locale JindoData pour améliorer encore les performances en lecture et en écriture.

  Pour plus d'informations, consultez la rubrique Cluster DataServing.

• Custom Cluster (Custom) : Une riche sélection de services que vous pouvez combiner selon vos besoins.

  Remarque

  Dans un environnement de production, nous vous recommandons d'éviter de déployer plusieurs services de stockage sur le même groupe de nœuds.

Product Version

Version de publication du produit EMR. Pour plus d'informations, consultez la rubrique Aperçu des versions.

High Service Availability

Désactivé par défaut. Lorsqu'elle est activée, EMR crée plusieurs nœuds Master pour prendre en charge la haute disponibilité de ResourceManager et NameNode. Ces nœuds sont répartis sur différents matériels sous-jacents afin de réduire les risques de défaillance.

Optional Services (Select One At Least)

Sélectionnez des services supplémentaires en fonction de vos besoins métier. Les services sélectionnés démarrent automatiquement leurs processus associés.

Collect Service Operational Logs

Activé par défaut. Contrôle la collecte des journaux pour tous les services. Ces journaux sont utilisés uniquement pour le diagnostic du cluster.

Après la création du cluster, accédez à la page Basic Information pour modifier le Collection Status of Service Operational Logs.

Metadata

Les méthodes suivantes sont disponibles pour stocker et gérer les métadonnées :

• DLF Unified Metadata (Recommandé) : Stocke les métadonnées dans Data Lake Formation (DLF).

  Après l'activation de DLF, le système sélectionne un DLF Catalog par défaut pour vous (généralement votre UID). Pour utiliser des catalogues différents pour différents clusters, créez-en un nouveau :

  1. Cliquez sur Create Catalog. Dans la boîte de dialogue qui s'affiche, saisissez un ID de catalogue et cliquez sur OK.

  2. Dans la liste déroulante DLF Catalog, sélectionnez le catalogue que vous avez créé.

• Self-managed RDS : Utilise votre propre instance Alibaba Cloud RDS ou une instance existante comme stockage de métadonnées.

  Si vous sélectionnez cette méthode, vous devez configurer les paramètres liés à RDS. Pour plus d'informations, consultez la rubrique Configurer une base de données RDS auto-gérée.

• Built-in MySQL (Non recommandé) : Stocke les métadonnées dans une base de données MySQL sur le nœud Master du cluster.

  Remarque

  • Pour les scénarios de test : Nous vous recommandons d'utiliser DLF Unified Metadata.

  • Pour les scénarios de production : Vous pouvez utiliser DLF Unified Metadata ou Self-managed RDS.

Root Storage Directory of Cluster

Requis uniquement lorsque vous sélectionnez le service OSS-HDFS. Non nécessaire si vous sélectionnez le service HDFS.

Lors de la première utilisation du service OSS-HDFS, votre compte Alibaba Cloud (compte principal) doit cliquer here et suivre les instructions pour compléter l'autorisation. Si vous êtes un utilisateur RAM, votre compte Alibaba Cloud doit vous autoriser à activer le service et vous attribuer la stratégie AliyunEMRDlsFullAccess ainsi que les rôles AliyunOSSDlsDefaultRole et AliyunEMRDlsDefaultRole. Pour plus d'informations, consultez la rubrique Accorder des autorisations à un utilisateur RAM. Sélectionnez un bucket dans la même région où le service OSS-HDFS est déjà activé, ou cliquez sur Create OSS-HDFS Bucket pour créer une nouvelle instance OSS-HDFS comme chemin de stockage racine pour le cluster.

Paramètre

Description

Billing Method

L'abonnement est sélectionné par défaut. Les méthodes de facturation suivantes sont prises en charge :

• Pay-as-you-go : Modèle postpayé où vous êtes facturé à l'heure en fonction de l'utilisation réelle. Cette méthode convient aux tests à court terme ou aux tâches dynamiques et flexibles.

• Subscription : Modèle prépayé où vous payez avant utilisation.

  Remarque

  • Nous vous recommandons d'utiliser la méthode Pay-as-you-go pour les scénarios de test. Une fois les tests concluants, créez un cluster en Subscription pour la production.

  • Pour les instances par abonnement, vous devez également sélectionner une Subscription Duration et décider d'activer ou non le Auto-renewal. La période de renouvellement par défaut est de six mois, avec le renouvellement automatique activé. Lorsque le renouvellement automatique est activé, l'instance est automatiquement renouvelée sept jours avant son expiration. Pour plus d'informations, consultez la rubrique Renouvellement.

Zone

Emplacement physique distinct au sein d'une région, interconnecté par un réseau privé à faible latence. Vous pouvez généralement utiliser la zone de disponibilité par défaut.

VPC

Environnement réseau isolé logiquement sur Alibaba Cloud qui vous donne un contrôle total sur la configuration de votre réseau.

Sélectionnez un VPC existant, ou cliquez sur Create VPC pour en créer un instantanément dans la console VPC. Pour plus d'informations, consultez la rubrique Créer et gérer un VPC.

vSwitch

Subdivision réseau de base d'un VPC utilisée pour connecter différentes ressources cloud.

Sélectionnez un vSwitch existant, ou cliquez sur . Create vSwitch pour en créer un instantanément dans la console VPC. Pour plus d'informations, consultez la rubrique VPC et vSwitches.

La taille du bloc CIDR du vSwitch détermine le nombre d'adresses IPv4 disponibles. Par exemple, un bloc CIDR /24 fournit environ 250 adresses IP disponibles, un bloc /20 en fournit environ 4 090 et un bloc /17 environ 32 764. Si votre cluster nécessite un grand nombre de nœuds, sélectionnez un vSwitch avec un bloc CIDR plus large pour garantir que suffisamment d'adresses IP puissent être allouées à tous les nœuds du cluster.

Vous ne pouvez pas modifier le bloc CIDR d'un vSwitch après sa création. Si vous avez besoin d'une plage d'adresses IP plus large, vous devez créer un nouveau vSwitch avec un bloc CIDR plus large, puis créer un nouveau cluster basé sur ce vSwitch. Lors de la création d'un vSwitch, la console affiche le nombre d'adresses IP disponibles pour le bloc CIDR sélectionné, ce qui vous aide à évaluer s'il répond aux exigences de taille de votre cluster.

Default Security Group

Pare-feu virtuel qui contrôle le trafic entrant et sortant pour les instances au sein du groupe. Pour plus d'informations, consultez la rubrique Aperçu des groupes de sécurité.

Sélectionnez un groupe de sécurité existant, ou cliquez sur create a new security group. pour en créer un dans la console ECS. Pour plus d'informations, consultez la rubrique Créer un groupe de sécurité.

Node Group

Sélectionnez les types d'instance en fonction de vos besoins. Pour plus d'informations, consultez la rubrique Familles d'instances.

• Master : Exécute les services du plan de contrôle tels que ResourceManager et NameNode.

• Core : Stocke les données dans le système de fichiers distribué du cluster (HDFS). Vous pouvez également ajouter des nœuds Core à la demande après la création du cluster.

• Task : Fournit une capacité de calcul supplémentaire sans stocker de données. Ce groupe de nœuds est facultatif et peut être ajouté pour mettre à l'échelle les ressources de calcul.

  Important

  Les groupes de nœuds Task prennent en charge les méthodes de facturation Pay-as-you-go, instance préemptible et Subscription.

• Add to Deployment Set : Lorsque la haute disponibilité est activée, les nœuds Master sont ajoutés à un ensemble de déploiement par défaut. Un ensemble de déploiement contrôle la distribution des instances. Pour plus d'informations, consultez la rubrique Ensembles de déploiement.

• System Disk : Sélectionnez un SSD standard, un SSD amélioré (ESSD) ou un disque ultra selon vos besoins. Ajustez la taille du disque système si nécessaire.

• Data Disk : Sélectionnez un SSD standard, un SSD amélioré (ESSD) ou un disque ultra selon vos besoins. Ajustez la taille du disque de données si nécessaire.

  Remarque

  Lorsque vous sélectionnez un SSD amélioré (ESSD), vous pouvez définir différents niveaux de performance (PL) en fonction de la capacité du disque pour répondre aux divers besoins de performance du cluster. Le niveau de performance par défaut est PL1. Selon la capacité du disque, les disques système prennent en charge PL0, PL1 et PL2, tandis que les disques de données prennent en charge PL0, PL1, PL2 et PL3. Pour plus d'informations sur les disques cloud, consultez la rubrique Aperçu des disques cloud.

• Instances : Le groupe de nœuds Master comporte une instance par défaut. Si la haute disponibilité est activée, vous pouvez avoir plusieurs instances Master.

  Le groupe de nœuds Core comporte deux instances par défaut. Vous pouvez ajuster ce nombre selon vos besoins.

• Additional Security Group : Permet un contrôle d'accès flexible entre différentes ressources ou applications externes. Vous pouvez associer jusqu'à deux groupes de sécurité supplémentaires à ce groupe de nœuds.

• Assign Public Network IP : Contrôle l'attribution d'une adresse IP élastique (EIP) au cluster. Désactivé par défaut. Seuls les clusters DataLake prennent en charge l'attribution d'IP publiques au niveau du groupe de nœuds.

  Remarque

  Si vous n'activez pas cette fonctionnalité mais souhaitez utiliser une adresse IP publique pour accéder au cluster après sa création, vous devez en faire la demande sur la console ECS. Pour plus d'informations, consultez la rubrique Demander une EIP.

Cluster Scaling

Sélectionnez une règle de mise à l'échelle automatique selon vos besoins.

• Do Not Use Auto Scaling Rules (Par défaut).

• Custom Auto Scaling Rule : Vous pouvez définir des règles personnalisées pour la mise à l'échelle automatique basée sur le temps ou la charge. Pour plus d'informations, consultez la rubrique Créer une règle de mise à l'échelle automatique personnalisée.

• Managed Auto Scaling Rule : Lorsque vous démarrez le cluster, EMR pré-provisionne le nombre de nœuds Task en fonction de la règle de mise à l'échelle gérée. Pour plus d'informations, consultez la rubrique Créer une règle de mise à l'échelle automatique gérée.

Paramètre

Description

Cluster Name

Nom du cluster. Le nom doit comporter entre 1 et 64 caractères et ne peut contenir que des caractères chinois, des lettres, des chiffres, des traits d'union (-) et des underscores (_).

Identity Credentials

Les Identity Credentials permettent un accès sécurisé au nœud Master du cluster. Pour les instructions de connexion, consultez la rubrique Se connecter à un cluster. Les types d'identifiants suivants sont disponibles :

• Key Pair (Par défaut) : Sélectionnez une paire de clés existante ou cliquez sur Create Key Pair pour en créer une instantanément.

  Une paire de clés (clé publique + clé privée) est une méthode d'authentification sécurisée et pratique pour se connecter aux instances Linux. Pour plus d'informations sur l'utilisation des paires de clés, consultez la rubrique Paires de clés SSH.

• Password : Définissez un mot de passe de connexion pour le nœud Master et confirmez-le. Le nom d'utilisateur par défaut est root.

  • Exigences relatives au mot de passe : longueur comprise entre 8 et 30 caractères et doit contenir des lettres majuscules, des lettres minuscules, des chiffres et des caractères spéciaux.

  • Les caractères spéciaux pris en charge incluent : point d'exclamation (!), arobase (@), dièse (#), dollar ($), pourcentage (%), accent circonflexe (^), esperluette (&) et astérisque (*).