Gunakan perintah penyimpanan-bertingkat JindoFS - E-MapReduce

Pada E-MapReduce (EMR) V3.30, JindoFS menyediakan fitur penyimpanan bertingkat. Fitur ini memungkinkan Anda menyimpan data dingin dan panas di media penyimpanan yang berbeda, membantu mengurangi biaya penyimpanan data serta mempercepat akses data.

Gunakan jindo jfs

Jalankan perintah berikut untuk mendapatkan informasi bantuan:

jindo jfs -help archive

Perintah penyimpanan-bertingkat dalam JindoFS bersifat asinkron dan hanya memulai tugas terkait.

Perintah umum:

Cache
Uncache
Arsip
Unarsip
Status
ls2

Cache

Gunakan perintah ini untuk mencadangkan data dari jalur tertentu ke disk lokal. Data kemudian dapat dibaca langsung dari disk lokal tanpa harus mengakses Object Storage Service (OSS).

jindo jfs -cache -p <jalur>

-p digunakan untuk memastikan bahwa data lokal tidak dihapus berdasarkan penggunaan disk.

Uncache

Gunakan perintah ini untuk menghapus data cadangan dari disk lokal dan menyimpannya hanya di penyimpanan Standar OSS.

jindo jfs -uncache  <jalur>

Arsip

Gunakan perintah ini untuk menghapus data cadangan dari disk lokal dan menyimpannya di penyimpanan OSS Infrequent Access (IA) atau Arsip. Untuk informasi lebih lanjut tentang kelas-kelas penyimpanan, lihat Kelas-kelas Penyimpanan.

jindo jfs -archive -i|-a|-c <jalur>

Jika Anda menentukan opsi -i, data disimpan ke penyimpanan OSS IA.
Jika Anda menentukan opsi -a, data disimpan ke penyimpanan Arsip OSS.
Jika Anda menentukan opsi -c, data disimpan ke Penyimpanan Arsip Dingin OSS.

Unarsip

Gunakan perintah ini untuk mengubah kelas penyimpanan data dari Arsip menjadi IA atau Standar. Anda juga dapat sementara mengunarsipkan data yang tersimpan di penyimpanan Arsip agar dapat dibaca selama satu hari.

jindo jfs -unarchive -i/-o <jalur>

Secara default, perintah ini menyimpan data ke penyimpanan Standar OSS.

Jika Anda menentukan opsi -i, data disimpan ke penyimpanan OSS IA.
Jika Anda menentukan opsi -o, data yang tersimpan di penyimpanan Arsip dapat sementara di-unarsipkan dan menjadi dapat dibaca.

Status

Gunakan perintah ini untuk melihat detail tugas. Secara default, jumlah file yang menggunakan penyimpanan bertingkat di direktori tertentu dan data yang telah diterapkan penyimpanan bertingkat akan diukur.

jindo jfs -status -detail/-sync <jalur>

Jika Anda menentukan opsi -detail, kemajuan penyimpanan data file dapat dilihat.
Jika Anda menentukan opsi -sync, perintah keluar hanya setelah tugas penyimpanan bertingkat selesai.

ls2

JindoFS menyediakan perintah ls2 yang memungkinkan Anda melihat status penyimpanan file berdasarkan perintah ls Hadoop.

hadoop fs -ls2 <jalur>

Contoh keluaran perintah mencakup kelas penyimpanan file:

drwxrwxrwx  - -         0    2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw-  1 Arsip   1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw-  1 Standar  1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json