All Products
Search

This Product

    E-MapReduce:Mode penyimpanan blok JindoFS

    Document Center

    E-MapReduce:Mode penyimpanan blok JindoFS

    Last Updated:Aug 22, 2026

    Dalam mode penyimpanan blok, JindoFS menyediakan akses data berkinerja tinggi dengan menyimpan data sebagai blok di backend penyimpanan OSS dan menggunakan cache lokal untuk akselerasi. Layanan Namespace Jindo lokal mengelola metadata guna mendukung operasi yang cepat dan efisien. Topik ini menjelaskan mode penyimpanan blok JindoFS serta cara menggunakannya.

    Informasi latar belakang

    Mode penyimpanan blok JindoFS memiliki beberapa karakteristik berikut:

    • Menyediakan ruang penyimpanan elastis berskala besar dengan OSS sebagai backend penyimpanan, sehingga kapasitas tidak dibatasi oleh kluster lokal dan memungkinkan penskalaan elastis sesuai kebutuhan.
    • Memungkinkan pemanfaatan sumber daya penyimpanan lokal kluster untuk mempercepat pembacaan data—cocok untuk kluster dengan kemampuan penyimpanan lokal tertentu—dan mampu meningkatkan throughput meskipun kapasitas penyimpanan lokal terbatas, terutama efektif pada skenario tulis sekali dan baca berkali-kali.
    • Memberikan efisiensi operasi metadata yang tinggi, setara dengan HDFS, serta secara efektif menghindari latensi operasi metadata sistem file OSS dan potensi ketidakstabilan akibat akses frekuensi tinggi.
    • Mengoptimalkan lokalisasi data saat menjalankan job, mengurangi beban transmisi jaringan, dan lebih lanjut meningkatkan performa pembacaan.

    Konfigurasi

    1. Buka layanan SmartData.
      1. Masuk ke EMR console.
      2. Di bilah navigasi atas, pilih Wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Pada halaman Clusters, temukan kluster Anda dan klik Details di kolom Actions.
      5. Di panel navigasi kiri, pilih Services > SmartData.
    2. Buka halaman konfigurasi layanan bigboot.
      1. Klik tab Configure.
      2. Klik bigboot .
    3. Konfigurasikan parameter berikut.
      JindoFS mendukung multiple namespace. Topik ini menggunakan test sebagai contoh namespace.
      1. Atur jfs.namespaces menjadi test.
        test adalah contoh nama namespace. Untuk mengonfigurasi multiple namespace, pisahkan nama-namanya dengan koma (,).
      2. Klik Custom Configuration. Di kotak dialog Add Configuration Item, tambahkan parameter berikut lalu klik OK.
        Parameter Description Example
        jfs.namespaces.test.oss.uri Backend penyimpanan OSS untuk namespace test. oss://<oss_bucket>/<oss_dir>/
        Catatan Kami menyarankan Anda menentukan direktori di dalam bucket OSS. JindoFS menyimpan blok data untuk namespace tersebut di direktori ini.
        jfs.namespaces.test.mode Mode penyimpanan untuk namespace test. block
        jfs.namespaces.test.oss.access.key ID AccessKey untuk backend penyimpanan OSS. xxxx
        Catatan Untuk performa dan stabilitas optimal, kami menyarankan menggunakan bucket OSS dalam akun dan Wilayah yang sama dengan kluster E-MapReduce Anda. Dalam kasus ini, kluster E-MapReduce dapat mengakses OSS tanpa kredensial, sehingga Anda tidak perlu mengonfigurasi ID AccessKey dan AccessKey Secret.
        jfs.namespaces.test.oss.access.secret AccessKey Secret untuk backend penyimpanan OSS.
      3. Klik OK.
    4. Di pojok kanan atas, klik Save.
    5. Di pojok kanan atas, pilih Actions > Restart Jindo Namespace Service.
      Setelah layanan direstart, Anda dapat mengakses file di JindoFS menggunakan path jfs://test/<path_of_file>.

    Kontrol watermark disk space

    JindoFS menggunakan OSS sebagai backend penyimpanannya, yang menyediakan kapasitas penyimpanan sangat besar. Namun, ruang disk lokal pada kluster Anda terbatas. Untuk mengelola ruang ini, JindoFS secara otomatis menghapus data dingin dari cache lokal. Anda dapat mengontrol perilaku penghapusan ini melalui parameter storage.watermark.high.ratio dan storage.watermark.low.ratio. Parameter ini menerima nilai desimal antara 0 dan 1 yang merepresentasikan rasio penggunaan ruang disk.

    1. Konfigurasikan watermark disk.
      Di bagian Service Configuration, klik tab storage dan ubah parameter berikut.
      Parameter Description
      storage.watermark.high.ratio Watermark tinggi untuk penggunaan disk. Ketika ruang disk yang digunakan oleh direktori data JindoFS pada data disk mencapai rasio ini, JindoFS memicu proses pembersihan. Nilai default: 0,4.
      storage.watermark.low.ratio Watermark rendah untuk penggunaan disk. Setelah proses pembersihan dipicu, JindoFS menghapus data dingin hingga ruang disk yang digunakan oleh direktori data JindoFS turun ke rasio ini. Nilai default: 0,2.
      Catatan Anda dapat mengatur watermark tinggi untuk mengontrol jumlah ruang disk yang dialokasikan untuk JindoFS. Watermark rendah harus lebih kecil daripada watermark tinggi. Tetapkan nilai yang wajar sesuai workload Anda.
    2. Simpan konfigurasi.
      1. Di pojok kanan atas, klik Save.
      2. Di kotak dialog Confirm, masukkan alasan perubahan, lalu aktifkan Auto-update Configuration.
      3. Klik OK.
    3. Restart Jindo Storage Service agar perubahan diterapkan.
      1. Di pojok kanan atas, pilih Actions > Restart Jindo Storage Service.
      2. Di kotak dialog Cluster Activities, atur parameter yang diperlukan lalu klik OK.
      3. Di kotak dialog Confirm, klik OK.