E-MapReduce:SmartData (E-MapReduce 3.20.0 hingga 3.22.0)

Ikhtisar

JindoFS adalah sistem file cloud-native yang menggabungkan OSS dan penyimpanan lokal. Sebagai sistem penyimpanan generasi berikutnya untuk E-MapReduce, JindoFS menyediakan penyimpanan yang efisien dan andal bagi mesin komputasi.

JindoFS menyediakan dua mode penyimpanan: block storage mode dan cache mode.

JindoFS menggunakan mekanisme multi-backup heterogen yang memanfaatkan penyimpanan lokal dan OSS. Storage Service menggunakan OSS sebagai backend penyimpanan utama untuk keandalan data yang tinggi serta penyimpanan lokal sebagai backup redundan guna mempercepat pembacaan. Metadata dikelola oleh Namespace Service lokal, sehingga memberikan kinerja operasi metadata yang setara dengan HDFS.

应用场景

E-MapReduce saat ini menyediakan tiga sistem penyimpanan big data, yaitu E-MapReduce OssFileSystem, E-MapReduce HDFS, dan E-MapReduce JindoFS. Baik OssFileSystem maupun JindoFS merupakan solusi penyimpanan berbasis cloud. Tabel berikut menunjukkan karakteristik masing-masing sistem penyimpanan tersebut serta OSS open source.

JindoFS block storage mode memiliki beberapa karakteristik berikut:

• Ruang penyimpanan elastis berskala besar, menggunakan OSS sebagai backend penyimpanan sehingga kapasitas penyimpanan tidak dibatasi oleh kluster lokal, dan kluster lokal dapat diskalakan secara elastis.
• Mampu memanfaatkan sumber daya penyimpanan kluster lokal untuk mempercepat pembacaan data, cocok untuk kluster yang memiliki kapasitas penyimpanan lokal tertentu. Dengan memanfaatkan penyimpanan lokal terbatas, throughput dapat ditingkatkan—terutama efektif dalam skenario satu kali tulis dan banyak kali baca (write-once, read-many).
• Efisiensi operasi metadata tinggi, setara dengan HDFS, sehingga mampu menghindari masalah latensi operasi metadata pada sistem file OSS dan ketidakstabilan akibat akses frekuensi tinggi.
• Dapat memaksimalkan data locality saat menjalankan pekerjaan, mengurangi beban transmisi jaringan, dan lebih lanjut meningkatkan kinerja pembacaan.

Prasyarat

• Pilih versi E-MapReduce dari 3.20.0 hingga (namun tidak termasuk) 3.22.0. Di bagian layanan opsional, pilih SmartData dan Bigboot. Untuk informasi lebih lanjut, lihat Create a cluster. Layanan Bigboot menyediakan layanan platform inti seperti manajemen data terdistribusi dan pemantauan komponen. Berdasarkan Bigboot, layanan SmartData menyediakan sistem file JindoFS kepada aplikasi.

  
• Konfigurasi kluster
  Sistem file JindoFS yang disediakan oleh SmartData menggunakan OSS sebagai backend penyimpanan. Sebelum menggunakan JindoFS, konfigurasikan parameter OSS yang diperlukan dengan salah satu dari dua cara berikut: ubah parameter Bigboot setelah pembuatan kluster lalu restart SmartData, atau tambahkan konfigurasi kustom saat pembuatan kluster agar layanan dijalankan dengan parameter yang Anda tentukan.

  • Metode 1: Konfigurasi setelah pembuatan kluster
    • oss.access.bucket menentukan nama bucket OSS.
    • oss.data-dir menentukan direktori yang digunakan JindoFS di dalam bucket OSS. Catatan: Direktori ini berfungsi sebagai backend penyimpanan JindoFS. Jangan mengubah data di dalamnya secara manual, dan pastikan direktori ini hanya digunakan untuk JindoFS. Anda tidak perlu membuat direktori ini di OSS terlebih dahulu; JindoFS akan membuatnya secara otomatis saat pertama kali menulis data.
    • oss.access.endpoint menentukan wilayah tempat bucket berada.
    • oss.access.key menentukan ID AccessKey untuk backend penyimpanan OSS.
    • oss.access.secret menentukan rahasia AccessKey untuk backend penyimpanan OSS.

    Untuk kinerja dan stabilitas optimal, gunakan bucket OSS yang berada di wilayah yang sama dengan kluster E-MapReduce Anda. Hal ini memungkinkan akses tanpa kredensial tanpa perlu mengonfigurasi ID AccessKey atau rahasia AccessKey.

    Semua konfigurasi JindoFS berada di komponen Bigboot. Gambar berikut menyorot item yang diperlukan dengan warna merah.

    
    Catatan JindoFS mendukung multiple namespace. Pada topik ini, namespace bernama test digunakan sebagai contoh.

    Setelah menyelesaikan konfigurasi, simpan dan deploy konfigurasi tersebut. Kemudian, restart semua komponen dalam layanan SmartData untuk mulai menggunakan JindoFS.

    
  • Metode 2: Konfigurasi saat pembuatan kluster
    Anda dapat menambahkan konfigurasi kustom saat membuat kluster E-MapReduce. Misalnya, untuk mengaktifkan akses ke bucket OSS di wilayah yang sama tanpa kredensial, pilih Custom Software Configuration seperti yang ditunjukkan pada gambar, lalu tambahkan JSON berikut untuk mengonfigurasi oss.data-dir dan oss.access.bucket.

    [
        {         
        "ServiceName":"BIGBOOT",
        "FileName":"bigboot",
        "ConfigKey":"oss.data-dir",
        "ConfigValue":"jindoFS-1"
        },
        {
        "ServiceName":"BIGBOOT",
        "FileName":"bigboot",
        "ConfigKey":"oss.access.bucket",
        "ConfigValue":"oss-bucket-name"
        }
    ]

    

Gunakan JindoFS

hadoop fs -ls jfs:///
hadoop fs -mkdir jfs:///test-dir
hadoop fs -put test.log jfs:///test-dir/

Disk space watermark control

JindoFS menggunakan OSS sebagai backend untuk kapasitas penyimpanan besar, meskipun ruang disk lokal terbatas. JindoFS secara otomatis menghapus data dingin berdasarkan dua parameter watermark: node.data-dirs.watermark.high.ratio dan node.data-dirs.watermark.low.ratio. Kedua parameter ini ditetapkan sebagai rasio (desimal antara 0 hingga 1) dari total kapasitas disk. Saat penggunaan disk mencapai high watermark, JindoFS akan menghapus data hingga penggunaannya turun ke low watermark. Nilai low watermark harus lebih rendah daripada high watermark.

Terapkan kebijakan penyimpanan

Jalankan perintah berikut untuk menetapkan kebijakan penyimpanan pada suatu direktori:

jindo dfsadmin -R -setStoragePolicy [path] [policy]

Jalankan perintah berikut untuk memeriksa kebijakan penyimpanan pada suatu direktori:

jindo dfsadmin -getStoragePolicy [path]