全部产品
Search

搜索本产品

    E-MapReduce：Gunakan JindoFS dalam mode penyimpanan blok

    文档中心

    E-MapReduce：Gunakan JindoFS dalam mode penyimpanan blok

    更新时间：Jun 24, 2025

    Mode penyimpanan blok memastikan operasi baca/tulis yang efisien dan aksesibilitas metadata yang tinggi. JindoFS menyimpan data sebagai blok di OSS dan menyimpan cache data di disk lokal kluster untuk mempercepat akses data. JindoFS menggunakan Layanan Namespace untuk mengelola metadata dan memastikan aksesibilitas metadata yang tinggi. Topik ini menjelaskan cara menggunakan JindoFS dalam mode penyimpanan blok.

    Informasi latar belakang

    Mode penyimpanan blok JindoFS memiliki fitur-fitur berikut:

    • JindoFS menawarkan kapasitas penyimpanan besar dan dapat diperluas dengan menggunakan OSS sebagai backend penyimpanan. Kapasitas penyimpanan tidak bergantung pada skala kluster EMR. Kluster lokal dapat diperbesar atau diperkecil sesuai kebutuhan.
    • JindoFS menyimpan beberapa data cadangan di kluster lokal untuk mempercepat operasi baca. Ini meningkatkan throughput dengan menggunakan kapasitas penyimpanan lokal yang terbatas, terutama untuk solusi Write Once Read Many (WORM).
    • JindoFS menyediakan kueri metadata yang efisien mirip dengan HDFS. Dibandingkan dengan OssFileSystem, JindoFS menghemat banyak waktu dalam kueri metadata. Selain itu, JindoFS menghindari ketidakstabilan sistem saat data dan metadata sering diakses.
    • JindoFS memastikan lokalisasi data maksimal saat pekerjaan dijalankan di kluster EMR. Ini mengurangi beban pada transmisi jaringan dan meningkatkan kinerja baca.

    Konfigurasikan mode penyimpanan blok

    1. Pergi ke layanan SmartData.
      1. Masuk ke Konsol EMR Alibaba Cloud.
      2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada. Pilih grup sumber daya sesuai kebutuhan. Secara default, semua sumber daya akun muncul.
      3. Klik tab Cluster Management.
      4. Di halaman Cluster Management yang muncul, temukan kluster target dan klik Details di kolom Tindakan.
      5. Di panel navigasi sebelah kiri, klik Cluster Service lalu SmartData.
    2. Konfigurasikan parameter bigboot.
      1. Klik tab Configure.
      2. Klik tab bigboot di bagian Konfigurasi Layanan.
        bigboot
    3. Konfigurasikan parameter yang diperlukan.
      JindoFS memungkinkan Anda mengonfigurasi beberapa namespace. Sebuah namespace bernama test digunakan dalam topik ini.
      1. Atur jfs.namespaces menjadi test.
        Jika Anda mengonfigurasi beberapa namespace, pisahkan mereka dengan koma (,).
      2. Di pojok kanan atas bagian Konfigurasi Layanan, klik Custom Configuration. Di kotak dialog Add Configuration Item, tambahkan parameter yang dijelaskan dalam tabel berikut.
        ParameterDeskripsiContoh
        jfs.namespaces.test.oss.uriBackend penyimpanan namespace test.oss://<oss_bucket>/<oss_dir>/
        null Kami merekomendasikan Anda mengatur parameter ini ke direktori bucket OSS. Namespace menyimpan blok data di direktori ini.
        jfs.namespaces.test.modeMode penyimpanan namespace test. Atur parameter ini menjadi block.block
        jfs.namespaces.test.oss.access.keyID AccessKey dari bucket OSS yang berfungsi sebagai backend penyimpanan.xxxx
        null Kami merekomendasikan Anda menyimpan data di bucket OSS yang berada di wilayah yang sama dan di bawah akun yang sama dengan kluster EMR Anda. Ini memastikan performa dan stabilitas yang tinggi. Dalam kasus ini, Anda tidak perlu mengonfigurasi ID AccessKey dan Rahasia AccessKey karena bucket OSS mengizinkan akses tanpa kata sandi dari kluster EMR.
        jfs.namespaces.test.oss.access.secretRahasia AccessKey dari bucket OSS yang berfungsi sebagai backend penyimpanan.
      3. Klik OK.
    4. Di pojok kanan atas bagian Konfigurasi Layanan, klik Save.
    5. Pilih Restart Jindo Namespace Service dari daftar drop-down Actions di pojok kanan atas.
      Setelah Layanan Namespace dimulai ulang, Anda dapat menggunakan jfs://test/<path_of_file> untuk mengakses file di JindoFS.

    Kontrol penggunaan ruang disk

    JindoFS menggunakan OSS sebagai backend penyimpanan data, yang memungkinkan Anda menyimpan volume data yang besar. Namun, kapasitas disk lokal terbatas. JindoFS secara otomatis menghapus data dingin di disk lokal. Parameter storage.watermark.high.ratio dan storage.watermark.low.ratio digunakan untuk menyesuaikan penggunaan ruang disk lokal. Anda dapat mengatur parameter-parameter tersebut ke angka desimal antara 0 dan 1.

    1. Ubah konfigurasi penggunaan disk.
      Di bagian Service Configuration untuk layanan SmartData, klik tab storage dan konfigurasikan parameter yang dijelaskan dalam tabel berikut.storage
      ParameterDeskripsi
      storage.watermark.high.ratioBatas atas penggunaan disk. Saat penggunaan disk data JindoFS melebihi batas ini, JindoFS secara otomatis menghapus data di disk. Nilai default: 0.4.
      storage.watermark.low.ratioBatas bawah penggunaan disk. Setelah penghapusan data otomatis dipicu, JindoFS mulai menghapus data hingga penggunaan disk data JindoFS dikurangi ke batas ini. Nilai default: 0.2.
      null Anda dapat mengonfigurasi batas atas dan batas bawah untuk menyesuaikan ruang disk yang dialokasikan untuk JindoFS. Pastikan bahwa batas atas lebih besar daripada batas bawah.
    2. Simpan konfigurasi.
      1. Di pojok kanan atas bagian Konfigurasi Layanan, klik Save.
      2. Di kotak dialog Confirm Changes, tentukan Deskripsi dan aktifkan Auto-update Configuration.
      3. Klik OK.
    3. Mulai ulang Layanan Penyimpanan Jindo untuk menerapkan konfigurasi.
      1. Pilih Restart Jindo Storage Service dari daftar drop-down Actions di pojok kanan atas.
      2. Di kotak dialog Cluster Activities, tentukan parameter yang relevan.
      3. Klik OK.
      4. Di pesan Confirm, klik OK.