Tous les produits
Search

Ce produit

    E-MapReduce:Réécriture des chemins du client Jindo HDFS

    Centre de documentation

    E-MapReduce:Réécriture des chemins du client Jindo HDFS

    Dernière mise à jour :Sep 21, 2026

    SmartData 3.1.x et versions ultérieures prennent en charge la réécriture de chemins au niveau du client Jindo HDFS, ce qui simplifie les modifications de chemins lors de la migration d'un cluster. Par exemple, la réécriture d'un chemin HDFS vers un chemin OSS vous permet d'accéder aux données migrées vers OSS sans modifier les chemins de données de votre application.

    Limites

    Cette fonctionnalité est prise en charge sur Hadoop 2.x, mais pas sur Hadoop 3.x.

    Activer la réécriture de chemins

    1. Accédez au service SmartData.

      1. Connectez-vous à la console EMR.

      2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

      3. Cliquez sur l'onglet Clusters.

      4. Sur la page Clusters, localisez votre cluster et cliquez sur Details dans la colonne Actions.

      5. Dans le volet de navigation de gauche, choisissez Services > SmartData.

    2. Cliquez sur l'onglet Configure.

    3. Dans la section Service Configuration, cliquez sur l'onglet smartdata-site.

    4. Dans le coin supérieur droit de la section Service Configuration, cliquez sur Custom Configuration.

    5. Dans la boîte de dialogue Add Configuration Item, ajoutez un élément de configuration en définissant Key sur fs.hdfs.impl et Value sur com.aliyun.emr.fs.hdfs.JindoHdfsShimsFileSystem.

    6. Cliquez sur OK.

    7. Enregistrez les configurations.

      1. Dans le coin supérieur droit, cliquez sur Save.

      2. Dans la boîte de dialogue Confirm, saisissez une raison dans le champ Description et activez l'option Auto-update Configuration.

      3. Cliquez sur OK.

    Configurer la réécriture de chemins

    1. Accédez au service SmartData.

      1. Connectez-vous à la console EMR.

      2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

      3. Cliquez sur l'onglet Clusters.

      4. Sur la page Clusters, localisez votre cluster et cliquez sur Details dans la colonne Actions.

      5. Dans le volet de navigation de gauche, choisissez Services > SmartData.

    2. Cliquez sur l'onglet Configure.

    3. Dans la section Service Configuration, cliquez sur l'onglet smartdata-site.

    4. Dans le coin supérieur droit de la section Service Configuration, cliquez sur Custom Configuration.

    5. Dans la boîte de dialogue Add Configuration Item, ajoutez les deux éléments de configuration suivants.

      Paramètre Description Valeur
      fs.jindo.shim.path-rewrite.<RULE-NAME>.source Le chemin source à réécrire. Ce chemin sert de point de montage.
      • Cluster HA

        hdfs://emr-cluster/<osspath>

      • Cluster non-HA

        hdfs://<your_hostname>:9000/<osspath>

        Remarque Pour obtenir votre nom d'hôte, connectez-vous au nœud maître via SSH et exécutez la commande hostname. Pour plus d'informations, consultez la rubrique Connexion à un cluster.
      fs.jindo.shim.path-rewrite.<RULE-NAME>.target Le chemin de destination après la réécriture. oss://<your_bucket>/<testpath>

      Vous devez personnaliser <RULE-NAME>.

    6. Cliquez sur OK.

    7. Enregistrez les configurations.

      1. Dans le coin supérieur droit, cliquez sur Save.

      2. Dans la boîte de dialogue Confirm, saisissez une raison dans le champ Description et activez l'option Auto-update Configuration.

      3. Cliquez sur OK.

    Exemple

    Pour un cluster HA, après avoir ajouté les paramètres suivants dans l'onglet smartdata-site, les requêtes adressées à hdfs://emr-cluster/osspath sont réécrites vers oss://jindo-bucket/<testpath>.

    Paramètre Valeur
    fs.jindo.shim.path-rewrite.testrule.source hdfs://emr-cluster/osspath
    fs.jindo.shim.path-rewrite.testrule.target oss://jindo-bucket/<testpath>

    Connectez-vous au nœud maître du cluster via SSH et exécutez la commande suivante pour vérifier la configuration :

    hadoop fs -ls /

    La sortie suivante indique que osspath est monté sur le répertoire racine.

    [root@emr-header-1 ~]# hadoop fs -ls /
Found 7 items
drwxr-xr-x   - hadoop    hadoop          0 2020-11-24 21:12 /apps
drwxrwxrwx   - flowagent hadoop          0 2020-11-24 21:11 /emr-flow
drwxr-x--x   - root      hadoop          0 2020-11-24 21:12 /emr-sparksql-udf
drwxrwxrwx   -                            0 2020-11-25 16:55 /osspath
drwxr-x-x    - hadoop    hadoop          0 2020-11-25 16:56 /spark-history
drwxrwxrwx   - root      hadoop          0 2020-11-25 16:55 /tmp
drwxr-x--t   - hadoop    hadoop          0 2020-11-24 21:14 /user