全部产品
Search

搜索本产品

    E-MapReduce：Gunakan JindoFS dalam mode penyimpanan blok

    文档中心

    E-MapReduce：Gunakan JindoFS dalam mode penyimpanan blok

    更新时间：Jul 02, 2025

    Mode penyimpanan blok memastikan operasi baca dan tulis yang efisien serta aksesibilitas metadata yang tinggi. JindoFS menyimpan data sebagai blok di OSS dan menggunakan disk lokal kluster untuk mempercepat akses data. JindoFS menggunakan Layanan Namespace untuk mengelola metadata dan memastikan aksesibilitas metadata yang tinggi. Topik ini menjelaskan cara menggunakan JindoFS dalam mode penyimpanan blok.

    Informasi latar belakang

    Mode penyimpanan blok JindoFS memiliki fitur-fitur berikut:
    • JindoFS menawarkan kapasitas penyimpanan besar dan dapat diskalakan dengan menggunakan OSS sebagai backend penyimpanan. Kapasitas penyimpanan tidak bergantung pada skala kluster EMR. Kluster lokal dapat diskalakan masuk atau keluar sesuai kebutuhan.
    • JindoFS menyimpan beberapa data cadangan di kluster lokal untuk mempercepat operasi baca. Ini meningkatkan throughput dengan menggunakan kapasitas penyimpanan lokal yang terbatas, terutama untuk solusi Write Once Read Many (WORM).
    • JindoFS menyediakan kueri metadata yang efisien mirip dengan HDFS. Dibandingkan dengan OssFileSystem, JindoFS menghemat banyak waktu dalam kueri metadata. Selain itu, JindoFS menghindari ketidakstabilan sistem saat data dan metadata sering diakses.
    • JindoFS memastikan lokalisasi data maksimal saat pekerjaan dieksekusi di kluster EMR. Ini mengurangi beban pada transmisi jaringan dan meningkatkan performa baca.

    Konfigurasikan mode penyimpanan blok

    1. Buka layanan SmartData.
      1. Masuk ke Konsol Alibaba Cloud EMR.
      2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada. Pilih grup sumber daya sesuai kebutuhan. Secara default, semua sumber daya akun muncul.
      3. Klik tab Cluster Management.
      4. Di halaman Cluster Management, temukan kluster target dan klik Details di kolom Tindakan.
      5. Di panel navigasi sebelah kiri, klik Cluster Service, lalu pilih SmartData.
    2. Buka tab namespace untuk layanan SmartData.
      1. Klik tab Configure.
      2. Klik tab namespace di bagian Konfigurasi Layanan.
        namespace
    3. Konfigurasikan parameter yang diperlukan.
      JindoFS memungkinkan Anda mengonfigurasi beberapa namespace. Sebuah namespace bernama test digunakan dalam topik ini.
      1. Atur jfs.namespaces menjadi test.
        Jika Anda mengonfigurasi beberapa namespace, pisahkan mereka dengan koma (,).
      2. Di sudut kanan atas bagian Konfigurasi Layanan, klik Custom Configuration. Di kotak dialog Add Configuration Item, tambahkan parameter yang dijelaskan dalam tabel berikut.
        ParameterDeskripsiContoh
        jfs.namespaces.test.oss.uriBackend penyimpanan dari namespace test.oss://<oss_bucket>/<oss_dir>/
        Catatan Kami sarankan Anda mengatur parameter ini ke direktori Bucket OSS. Namespace menyimpan blok data di direktori ini.
        jfs.namespaces.test.modeMode penyimpanan dari namespace test. Atur parameter ini menjadi block.block
        jfs.namespaces.test.oss.access.keyID AccessKey dari Bucket OSS yang berfungsi sebagai backend penyimpanan.xxxx
        Catatan Kami sarankan Anda menyimpan data di Bucket OSS yang berada di wilayah yang sama dan di bawah akun yang sama dengan kluster EMR Anda. Ini memastikan performa dan stabilitas yang tinggi. Dalam hal ini, Anda tidak perlu mengonfigurasi ID AccessKey dan Rahasia AccessKey karena Bucket OSS memungkinkan akses tanpa kata sandi dari kluster EMR.
        jfs.namespaces.test.oss.access.secretRahasia AccessKey dari Bucket OSS yang berfungsi sebagai backend penyimpanan.
      3. Klik OK.
    4. Di sudut kanan atas bagian Konfigurasi Layanan, klik Save.
    5. Pilih Restart Jindo Namespace Service dari daftar drop-down Actions di sudut kanan atas.
      Setelah Layanan Namespace di-restart, Anda dapat menggunakan jfs://test/<path_of_file> untuk mengakses file di JindoFS.

    Kontrol penggunaan ruang disk

    JindoFS menggunakan OSS sebagai backend penyimpanan data, yang memungkinkan Anda menyimpan volume data yang besar. Namun, kapasitas disk lokal terbatas. JindoFS secara otomatis menghapus data dingin di disk lokal. Parameter storage.watermark.high.ratio dan storage.watermark.low.ratio digunakan untuk menyesuaikan penggunaan ruang disk lokal. Anda dapat mengatur parameter-parameter tersebut ke angka desimal antara 0 dan 1.

    1. Ubah konfigurasi penggunaan disk.
      Di bagian Service Configuration untuk layanan SmartData, klik tab storage dan konfigurasikan parameter yang dijelaskan dalam tabel berikut.storage
      ParameterDeskripsi
      storage.watermark.high.ratioBatas atas penggunaan disk. Saat penggunaan disk data JindoFS melebihi batas ini, JindoFS secara otomatis menghapus data di disk. Nilai default: 0.4.
      storage.watermark.low.ratioBatas bawah penggunaan disk. Setelah penghapusan data otomatis dipicu, JindoFS mulai menghapus data hingga penggunaan disk data JindoFS dikurangi ke batas ini. Nilai default: 0.2.
      Catatan Anda dapat mengonfigurasi batas atas dan batas bawah untuk menyesuaikan ruang disk yang dialokasikan untuk JindoFS. Pastikan bahwa batas atas lebih besar dari batas bawah.
    2. Simpan konfigurasi.
      1. Di sudut kanan atas bagian Konfigurasi Layanan, klik Save.
      2. Di kotak dialog Confirm Changes, tentukan Deskripsi dan aktifkan Auto-update Configuration.
      3. Klik OK.
    3. Restart Layanan Penyimpanan Jindo untuk menerapkan konfigurasi.
      1. Pilih Actions > Restart Jindo Storage Service di sudut kanan atas.
      2. Di kotak dialog Cluster Activities, tentukan parameter terkait.
      3. Klik OK.
      4. Di pesan Confirm, klik OK.