Obtain cluster information and configure network - DataWorks

DataWorks se connecte aux clusters Cloudera’s Distribution Including Apache Hadoop (CDH) et Cloudera Data Platform (CDP). Enregistrez un cluster CDH ou CDP dans DataWorks pour le développement et la gouvernance des données, notamment le développement de tâches, l'ordonnancement, la gestion des métadonnées dans Data Map et les vérifications Data Quality. Avant d'enregistrer un cluster, obtenez les informations de configuration requises et établissez la connectivité réseau entre le cluster et un groupe de ressources. Cette rubrique utilise un cluster CDH comme exemple pour illustrer l'obtention des informations du cluster et la configuration de la connectivité réseau.

Contexte

CDH est la distribution de plateforme open source de Cloudera. Elle inclut des fonctionnalités prêtes à l'emploi telles que la gestion, la surveillance et le diagnostic des clusters, et prend en charge divers composants pour exécuter des workflows big data de bout en bout.
CDP est une plateforme de données publique qui collecte et consolide les données clients provenant de plusieurs plateformes. Elle rassemble des données en temps réel pour créer des profils de données utilisateur individuels.

Enregistrez des clusters CDH et CDP dans DataWorks pour le développement de tâches, l'ordonnancement, la gestion des métadonnées dans Data Map et les vérifications Data Quality.

Prérequis

Un cluster CDH est déployé.

DataWorks prend en charge les déploiements CDH dans des environnements autres qu'ECS Alibaba Cloud, mais vous devez garantir la connectivité réseau entre l'environnement de déploiement et un VPC Alibaba Cloud. Utilisez généralement des services tels qu'Express Connect ou un VPN pour établir cette connexion.
Un nouveau groupe de ressources serverless DataWorks (recommandé) ou un ancien groupe de ressources exclusif pour l'ordonnancement est requis.

Par défaut, un groupe de ressources DataWorks est isolé du réseau des autres produits cloud. Pour vous connecter à CDH, établissez d'abord la connectivité réseau entre le cluster CDH et le groupe de ressources.
Remarque
- Un groupe de ressources serverless (recommandé) est un groupe de ressources polyvalent qui prend en charge divers types de tâches, tels que la synchronisation des données et l'ordonnancement des tâches. Pour plus de détails sur l'achat, consultez Utiliser des groupes de ressources serverless. Les nouveaux utilisateurs (ceux qui n'ont activé aucune édition de DataWorks dans la région actuelle) ne peuvent acheter que des groupes de ressources de nouvelle version.
- Vous pouvez également utiliser un ancien groupe de ressources exclusif pour l'ordonnancement afin d'exécuter des tâches CDH ou CDP. Pour plus d'informations, consultez Utiliser des groupes de ressources exclusifs pour l'ordonnancement.

Obtenir les informations de configuration du cluster CDH

Suivez ces étapes pour obtenir les informations de configuration CDH requises pour enregistrer le cluster dans DataWorks.

Obtenez les informations de version CDH.

Connectez-vous à Cloudera Manager. Sur la page d'accueil, repérez les informations de version CDH, telles que Cluster 1 (CDH 6.1.1, Parcel), dans le panneau de cluster à gauche. Confirmez également l'état d'exécution des services tels que HBase, HDFS, Hive, Hue, Impala, Oozie, Solr, Spark, YARN et ZooKeeper.
Obtenez les informations d'adresse de l'hôte et des composants nécessaires pour configurer la connexion du cluster lors de l'enregistrement.
Rechercher les informations dans Cloudera Manager

Connectez-vous à Cloudera Manager. Dans la barre de navigation supérieure, cliquez sur Hosts > Roles. La page Roles regroupe les hôtes selon leurs rôles attribués. Par exemple, l'hôte cdh-header-1-cn-shanghai se voit attribuer des rôles tels que HMS, HS2 et RM, tandis que les hôtes cdh-worker-[1-2]-cn-shanghai se voient attribuer le rôle ID.

Où :
- HS2 : HiveServer2
- HMS : Hive Metastore
- ID : Impala Daemon
- RM : YARN ResourceManager
Obtenez les fichiers de configuration à télécharger lors de l'enregistrement du cluster CDH.
1. Connectez-vous à Cloudera Manager.
2. Sur la page Status, cliquez sur le menu déroulant du cluster et sélectionnez View Client Configuration URLs.
3. Téléchargez le package de configuration du service requis. Par exemple, pour télécharger la configuration YARN, recherchez YARN dans la boîte de dialogue. Celle-ci affiche les liens de téléchargement des configurations client pour des services tels que YARN (MR2 Included), HBase, Solr, HDFS et Hive. Cliquez sur l'icône de téléchargement du service cible, tel que YARN (MR2 Included), pour obtenir le fichier de configuration client.
Obtenez les informations réseau du cluster CDH pour configurer sa connexion au groupe de ressources DataWorks.
1. Connectez-vous à la console ECS où le cluster CDH est déployé.
2. Dans la liste des instances, repérez l'instance ECS où le cluster CDH est déployé et cliquez sur le nom de l'instance pour ouvrir la page Instance Details. Consultez et notez les informations relatives au Security Group, au VPC et au vSwitch.

Configurer la connectivité réseau

Groupe de ressources serverless

Cette section utilise un groupe de ressources serverless comme exemple pour décrire comment configurer la connectivité réseau entre le groupe de ressources et le cluster CDH.

Par défaut, les groupes de ressources serverless DataWorks sont isolés du réseau des autres produits cloud. Pour vous connecter à un cluster CDH, liez le groupe de ressources au VPC où se trouve le cluster. Cela établit la connectivité réseau entre le cluster CDH et le groupe de ressources.

Accédez à la page des paramètres réseau du groupe de ressources serverless.
1. Connectez-vous à la console DataWorks.
2. Dans le volet de navigation de gauche, cliquez sur Resource Group. La page Resource Groups s'ouvre par défaut sur l'onglet Exclusive Resource Group.
3. Repérez votre groupe de ressources et cliquez sur Network Settings dans la colonne Actions.
Liez le VPC.

Sur l'onglet VPC Binding, dans la section Data Scheduling & Data Integration, cliquez sur Add Binding. Sur la page de configuration, sélectionnez le VPC, la zone et le vSwitch du cluster CDH que vous avez notés à l'étape Étape 4 de Obtention des informations de configuration du cluster CDH.
Configurez les hôtes.

Accédez à la console Alibaba Cloud DNS. Utilisez Private DNS (PrivateZone) pour résoudre de manière autoritaire les adresses d'hôte que vous avez notées à l'étape Étape 2 de Obtention des informations de configuration du cluster CDH.
1. Activez Private DNS. Pour plus de détails, consultez Activer Private DNS.
  
  Remarque
  Ignorez cette étape si vous avez déjà activé Private DNS.
2. Ajoutez un nom de domaine faisant autorité intégré. Pour plus de détails, consultez Ajouter un nom de domaine faisant autorité intégré.
  Remarque
  - Cette rubrique utilise le nom d'hôte cdh-header-1-cn-shanghai obtenu depuis Recherche manuelle des informations dans l'interface utilisateur de Cloudera Manager comme exemple de résolution faisant autorité. Ajustez les paramètres en fonction de la configuration réelle de votre nom d'hôte.
  - L'adresse IP résolue correspond à l'adresse IP privée de l'instance ECS où votre cluster CDH est déployé.
3. Définissez la portée de la zone. Pour plus de détails, consultez Définir la portée d'une zone.
  
  Remarque
  Lors de la définition de la portée VPC pour la zone, sélectionnez le VPC auquel le groupe de ressources est lié.

Groupe de ressources exclusif pour l'ordonnancement

Cette section explique comment configurer la connectivité réseau entre le groupe de ressources exclusif pour l'ordonnancement et le cluster CDH.

Par défaut, un groupe de ressources exclusif DataWorks pour l'ordonnancement est isolé du réseau des autres produits cloud. Pour vous connecter à un cluster CDH, liez le groupe de ressources au VPC où se trouve le cluster. Cela établit la connectivité réseau entre le cluster CDH et le groupe de ressources exclusif pour l'ordonnancement.

Accédez à la page des paramètres réseau du groupe de ressources exclusif.
1. Connectez-vous à la console DataWorks.
2. Dans le volet de navigation de gauche, cliquez sur Resource Group. La page Resource Groups s'ouvre par défaut sur l'onglet Exclusive Resource Group.
3. Repérez votre groupe de ressources exclusif pour l'ordonnancement et cliquez sur Network Settings dans la colonne Actions.
Liez le VPC.

Sur l'onglet VPC Binding, cliquez sur Add Binding. Sur la page de configuration, sélectionnez le VPC, la zone, le vSwitch et le groupe de sécurité du cluster CDH que vous avez notés à l'étape Étape 4 de Obtention des informations de configuration du cluster CDH.
Configurez les hôtes.

Cliquez sur l'onglet Hostname-to-IP Mapping. Cliquez sur Batch Edit et saisissez les informations d'adresse d'hôte que vous avez notées à l'étape Étape 2 de Obtention des informations de configuration du cluster CDH dans la boîte de dialogue.

Étapes suivantes

Une fois les préparatifs décrits dans cette rubrique terminés, enregistrez le cluster CDH dans DataWorks pour commencer le développement. Pour plus d'informations, consultez DataStudio (ancien) : Lier un moteur de calcul CDH.