Object Storage Service:Connexion des clusters EMR à OSS-HDFS

Prérequis

• OSS-HDFS est activé sur un bucket et les autorisations nécessaires ont été accordées à un rôle RAM pour accéder à OSS-HDFS. Pour plus d'informations, consultez la section Activer OSS-HDFS et accorder les autorisations d'accès.

• Par défaut, un compte Alibaba Cloud dispose des autorisations nécessaires pour connecter des clusters EMR à OSS-HDFS et réaliser les opérations courantes liées à ce service. Un utilisateur RAM disposant des autorisations requises a été créé. Si vous souhaitez utiliser un utilisateur RAM pour connecter des clusters EMR à OSS-HDFS, celui-ci doit disposer des autorisations appropriées. Pour plus d'informations, consultez la section Accorder à un utilisateur RAM les autorisations de connexion des clusters EMR à OSS-HDFS.

Procédure

1. Connectez-vous à la console E-MapReduce. Dans le volet de navigation de gauche, cliquez sur EMR on ECS et créez un cluster EMR.

   Lors de la création du cluster EMR, assurez-vous que l'option Product Version est définie sur EMR-3.46.2 ou version ultérieure, ou sur EMR-5.12.2 ou version ultérieure, et que le paramètre Root Storage Directory of Cluster pointe vers un bucket compatible avec OSS-HDFS. Conservez les valeurs par défaut pour les autres paramètres. Pour plus de détails, consultez la section Créer un cluster.

2. Connectez-vous au cluster EMR.

   1. Cliquez sur le cluster EMR que vous venez de créer.

   2. Cliquez sur l'onglet Nodes, puis cliquez sur l'icône à gauche du groupe de nœuds.

   3. Cliquez sur l'ID ECS. Sur la page de l'instance ECS, cliquez sur Connect à côté de l'ID de l'instance, puis sélectionnez la méthode par défaut (Workbench) pour vous connecter à l'instance.

      Pour plus d'informations sur la connexion à un cluster sous Windows ou Linux à l'aide d'une paire de clés SSH ou d'un mot de passe SSH, consultez la section Connect to a cluster.

3. Exécutez des commandes HDFS Shell pour réaliser les opérations courantes liées à OSS-HDFS.

   • Télécharger des fichiers locaux

     Exécutez la commande suivante pour télécharger un fichier local nommé examplefile.txt depuis le répertoire racine local vers un bucket nommé examplebucket :

     hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/

   • Télécharger des objets

     Exécutez la commande suivante pour télécharger un objet nommé exampleobject.txt depuis un bucket nommé examplebucket vers le répertoire racine /tmp de votre ordinateur :

     hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/

   Pour plus d'informations, consultez la section Use Hadoop Shell commands to access OSS-HDFS.