Tersedia di E-MapReduce (EMR) V3.30, penyimpanan bertingkat JindoFS memindahkan data antara kelas penyimpanan Object Storage Service (OSS) — Standard, Infrequent Access (IA), Archive, dan Cold Archive — serta cache disk lokal untuk menyeimbangkan kecepatan akses dengan biaya penyimpanan.
Semua perintah penyimpanan bertingkat bersifat asinkron. Setiap perintah memulai tugas latar belakang tanpa menyelesaikan operasi secara langsung. Pantau progres tugas menggunakan perintah status.
Ringkasan perintah
PerintahFungsicacheMenyalin data ke disk lokal agar pembacaan lebih cepatuncacheMenghapus salinan lokal; data tetap tersimpan di OSS StandardarchiveMemindahkan data ke kelas penyimpanan OSS IA, Archive, atau Cold ArchiveunarchiveMemulihkan data yang diarsipkan ke kelas penyimpanan OSS IA atau StandardstatusMenampilkan progres tugas penyimpanan bertingkatls2Mendaftar file beserta kelas penyimpanan saat ini
Untuk melihat bantuan bawaan, jalankan:
jindo jfs -help archiveCache
Salin data di jalur yang ditentukan ke disk lokal. Pembacaan berikutnya dilayani dari disk lokal alih-alih OSS sehingga mengurangi latensi pembacaan untuk data yang sering diakses.
jindo jfs -cache -p <path>Opsi -p melakukan pin pada salinan lokal agar tidak di-evict berdasarkan penggunaan disk.
Gunakan cache untuk dataset yang dibaca berulang kali, seperti tabel fakta dalam kueri bergabung intensif atau kumpulan kerja pekerjaan prioritas tinggi.
Uncache
Hapus salinan di disk lokal. Data tetap dapat diakses dari penyimpanan OSS Standard.
jindo jfs -uncache <path>Jalankan perintah ini ketika dataset tidak lagi diakses secara rutin dan ruang disk lokal perlu dikembalikan.
Archive
Hapus salinan di disk lokal dan pindahkan data ke kelas penyimpanan OSS berbiaya lebih rendah. Gunakan perintah ini untuk data dingin yang jarang atau tidak pernah diakses.
jindo jfs -archive -i|-a|-c <path>OpsiKelas penyimpanan target-iOSS Infrequent Access (IA)-aOSS Archive-cOSS Cold Archive
Untuk penjelasan masing-masing kelas penyimpanan, lihat Ringkasan kelas penyimpanan OSS.
Unarchive
Konversi data dari penyimpanan Archive kembali ke kelas penyimpanan yang lebih mudah diakses. Secara default (tanpa opsi), data dipulihkan ke penyimpanan OSS Standard.
jindo jfs -unarchive -i/-o <path>OpsiPerilaku(tidak ada)Memulihkan data ke penyimpanan OSS Standard-iMemulihkan data ke penyimpanan OSS Infrequent Access (IA)-oMemulihkan sementara data dari penyimpanan OSS Archive; data menjadi dapat dibaca selama satu hari
Status
Tampilkan progres tugas penyimpanan bertingkat untuk jalur yang ditentukan. Secara default, menampilkan jumlah file yang ditargetkan untuk penyimpanan bertingkat dalam direktori serta data yang telah diterapkan penyimpanan bertingkat.
jindo jfs -status -detail/-sync <path>OpsiPerilaku-detailMenampilkan progres penyimpanan per file-syncMenahan eksekusi hingga tugas penyimpanan bertingkat selesai
ls2
Daftar file di jalur yang ditentukan beserta kelas penyimpanan saat ini, memperluas output standar hadoop fs -ls.
hadoop fs -ls2 <path>Contoh output:
drwxrwxrwx - - 0 2020-06-05 04:27 oss://xxxx/warehouse -rw-rw-rw- 1 Archive 1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv -rw-rw-rw- 1 Standard 1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json
Kolom ketiga menunjukkan kelas penyimpanan untuk setiap file.