All Products
Search

This Product

    E-MapReduce:Menulis Ulang Jalur Klien Jindo HDFS

    Document Center

    E-MapReduce:Menulis Ulang Jalur Klien Jindo HDFS

    Last Updated:Jun 21, 2026

    SmartData 3.1.x dan versi yang lebih baru mendukung penulisan ulang jalur pada tingkat klien Jindo HDFS, sehingga menyederhanakan perubahan jalur selama migrasi kluster. Sebagai contoh, menulis ulang jalur HDFS ke jalur OSS memungkinkan Anda mengakses data yang telah dimigrasikan ke OSS tanpa mengubah jalur data aplikasi Anda.

    Batasan

    Fitur ini didukung pada Hadoop 2.x, tetapi tidak didukung pada Hadoop 3.x.

    Aktifkan penulisan ulang jalur

    1. Buka layanan SmartData.
      1. Login ke EMR console.
      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Pada halaman Clusters, temukan kluster Anda dan klik Details di kolom Actions.
      5. Di panel navigasi sebelah kiri, pilih Services > SmartData.
    2. Klik tab Configure.
    3. Di bagian Service Configuration, klik tab smartdata-site.
    4. Di pojok kanan atas bagian Service Configuration, klik Custom Configuration.
    5. Di kotak dialog Add Configuration Item, tambahkan item konfigurasi dengan mengatur Key menjadi fs.hdfs.impl dan Value menjadi com.aliyun.emr.fs.hdfs.JindoHdfsShimsFileSystem.
    6. Klik OK.
    7. Simpan konfigurasi.
      1. Di pojok kanan atas, klik Save.
      2. Di kotak dialog Confirm, masukkan alasan di bidang Description dan aktifkan Auto-update Configuration.
      3. Klik OK.

    Konfigurasikan penulisan ulang jalur

    1. Buka layanan SmartData.
      1. Login ke EMR console.
      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Pada halaman Clusters, temukan kluster Anda dan klik Details di kolom Actions.
      5. Di panel navigasi sebelah kiri, pilih Services > SmartData.
    2. Klik tab Configure.
    3. Di bagian Service Configuration, klik tab smartdata-site.
    4. Di pojok kanan atas bagian Service Configuration, klik Custom Configuration.
    5. Di kotak dialog Add Configuration Item, tambahkan dua item konfigurasi berikut.
      Parameter Deskripsi Nilai
      fs.jindo.shim.path-rewrite.<RULE-NAME>.source Jalur sumber yang akan ditulis ulang. Jalur ini berfungsi sebagai titik pemasangan (mount point).
      • Kluster HA

        hdfs://emr-cluster/<osspath>

      • Kluster non-HA

        hdfs://<your_hostname>:9000/<osspath>

        Catatan Untuk mendapatkan hostname Anda, login ke node master menggunakan SSH dan jalankan perintah hostname. Untuk informasi lebih lanjut, lihat Log on to a cluster.
      fs.jindo.shim.path-rewrite.<RULE-NAME>.target Jalur tujuan setelah penulisan ulang. oss://<your_bucket>/<testpath>

      Anda harus menyesuaikan <RULE-NAME>.

    6. Klik OK.
    7. Simpan konfigurasi.
      1. Di pojok kanan atas, klik Save.
      2. Di kotak dialog Confirm, masukkan alasan di bidang Description dan aktifkan Auto-update Configuration.
      3. Klik OK.

    Contoh

    Untuk kluster HA, setelah Anda menambahkan parameter berikut pada tab smartdata-site, permintaan ke hdfs://emr-cluster/osspath akan ditulis ulang menjadi oss://jindo-bucket/<testpath>.
    Parameter Nilai
    fs.jindo.shim.path-rewrite.testrule.source hdfs://emr-cluster/osspath
    fs.jindo.shim.path-rewrite.testrule.target oss://jindo-bucket/<testpath>
    Login ke node master kluster menggunakan SSH dan jalankan perintah berikut untuk memverifikasi konfigurasi:
    hadoop fs -ls /
    Output berikut menunjukkan bahwa osspath telah dipasang ke Direktori root. 
    [root@emr-header-1 ~]# hadoop fs -ls /
Found 7 items
drwxr-xr-x   - hadoop    hadoop          0 2020-11-24 21:12 /apps
drwxrwxrwx   - flowagent hadoop          0 2020-11-24 21:11 /emr-flow
drwxr-x--x   - root      hadoop          0 2020-11-24 21:12 /emr-sparksql-udf
drwxrwxrwx   -                            0 2020-11-25 16:55 /osspath
drwxr-x-x    - hadoop    hadoop          0 2020-11-25 16:56 /spark-history
drwxrwxrwx   - root      hadoop          0 2020-11-25 16:55 /tmp
drwxr-x--t   - hadoop    hadoop          0 2020-11-24 21:14 /user