E-MapReduce：Panduan Pengguna Jindo CLI

Perintah

Deskripsi

Contoh

Skenario

archive

Mengatur kelas penyimpanan objek Object Storage Service (OSS) ke Infrequent Access (IA), Arsip, atau Penyimpanan Arsip Dingin. Parameter opsional:

• -i: kelas penyimpanan IA.

• -c: kelas Penyimpanan Arsip Dingin.

• jindo fs -archive oss://<bucket>/<dir>

• jindo fs -archive -i oss://<bucket>/<dir>

• jindo fs -archive -c oss://<bucket>/<dir>

OSS

cat

Menampilkan isi teks.

jindo fs -cat oss://<bucket>/<dir>

OSS dan OSS-Hadoop Distributed File System (HDFS)

count

Menampilkan ukuran file dan jumlah file. Parameter opsional: -h: menampilkan unit ukuran file.

jindo fs -count -h oss://<bucket>/<dir>

OSS dan OSS-HDFS

cp

Menyalin file. Parameter opsional: -f: menentukan apakah akan melakukan penimpaan paksa.

jindo fs -cp -f oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

OSS dan OSS-HDFS

checksum

Menghitung checksum CRC32 dari file.

jindo fs -checksum oss://<bucket>/file

OSS-HDFS

chgrp

Mengubah grup tempat file bernaung.

jindo fs -chgrp <groupname> oss://<bucket>/<dir>

OSS-HDFS

chmod

Mengubah izin akses pada file.

jindo fs -chmod <mode> oss://<bucket>/<dir>

OSS-HDFS

chown

Mengubah pemilik file.

jindo fs -chown <username> oss://<bucket>/<dir>

OSS-HDFS

copyFromLocal

Menyalin file dari mesin lokal Anda ke bucket OSS. Parameter opsional: -f: menentukan apakah akan melakukan penimpaan paksa.

jindo fs -copyFromLocal -f <localdir> oss://<bucket>/<targetdir>

OSS dan OSS-HDFS

copyToLocal

Menyalin file dari bucket OSS ke mesin lokal Anda. Parameter opsional: -f: menentukan apakah akan melakukan penimpaan paksa.

jindo fs -copyToLocal -f oss://<bucket>/<targetdir> <localdir>

OSS dan OSS-HDFS

createSnapshot

Membuat snapshot. Anda harus diberi otorisasi untuk menggunakan snapshot sebelum dapat menjalankan perintah ini.

jindo fs -createSnapShot <snapshotDir> [<snapshotName>]

OSS dan OSS-HDFS

checkStoragePolicy

Meminta kebijakan penyimpanan file.

jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

deleteSnapshot

Menghapus snapshot.

jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

OSS-HDFS

du

Meminta ukuran semua file dalam direktori. Parameter opsional:

• -s: menentukan apakah akan menghitung ukuran total folder tujuan.

• -h: menentukan apakah akan menggunakan unit standar.

jindo fs -du oss://<bucket>/<dir>

OSS dan OSS-HDFS

get

Mengunduh file ke mesin lokal Anda. Parameter opsional: -f: menentukan apakah akan melakukan penimpaan paksa.

jindo fs -get -f oss://<bucket>/<dir> <localdst>

OSS dan OSS-HDFS

getfacl

Meminta daftar kontrol akses (ACL) file atau direktori. Parameter opsional: -R: menentukan apakah akan menggunakan tampilan rekursif.

jindo fs -getfacl -R oss://<bucket>/<dir>

OSS-HDFS

getfattr

Meminta nama dan nilai properti ekstensi file atau direktori. Parameter opsional:

• -R: menentukan apakah akan menggunakan tampilan rekursif.

• -n: menentukan apakah akan menampilkan hasil berdasarkan nama.

• -d: menentukan apakah akan menampilkan semua hasil.

jindo fs -getfattr [-R] {-n user.myAttr | -d} oss://<bucket>/<dir>

OSS-HDFS

getStoragePolicy

Meminta kebijakan penyimpanan.

jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

ls

Menampilkan semua file dalam direktori. Parameter opsional: -R: menentukan apakah akan menggunakan tampilan rekursif.

jindo fs -ls [-R] oss://<bucket>/<dir>

OSS dan OSS-HDFS

listPolicies

Menampilkan kebijakan penyimpanan yang didukung.

jindo fs -listPolicies

OSS-HDFS

load

Mencache data yang disimpan di jalur tertentu ke disk lokal kluster. Kemudian, Anda dapat membaca data dari disk lokal tanpa perlu membaca data dari sistem penyimpanan backend seperti OSS. Parameter opsional:

• -s: menentukan apakah proses caching data dilakukan dalam mode sinkron. Jika parameter ini dikonfigurasi, kemajuan dan informasi eksekusi proses caching data ditampilkan. Kami merekomendasikan Anda untuk mengonfigurasi parameter ini.

• -replica: jumlah replika yang akan dicache. Secara default, hanya satu replika yang dicache.

• -R: menentukan apakah akan secara rekursif mencantumkan semua file dalam folder. Jika nilai parameter jalur adalah folder, Anda perlu mengonfigurasi parameter ini.

jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica value] oss://<bucket>/<dir>

Tidak ada

mkdir

Membuat folder.

jindo fs -mkdir oss://<bucket>/<dir>

OSS dan OSS-HDFS

mv

Memindahkan file.

jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

OSS dan OSS-HDFS

moveFromLocal

Memindahkan file dari mesin lokal Anda ke jalur remote. Setelah file berhasil dipindahkan, file lokal dihapus.

jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

OSS dan OSS-HDFS

moveToLocal

Memindahkan file dari jalur remote ke mesin lokal Anda. Setelah file berhasil dipindahkan, file di bucket OSS dihapus.

jindo fs -moveToLocal oss://<bucket>/<srcdir> <localdst>

OSS dan OSS-HDFS

metaDiff

Meminta status sinkronisasi antara metadata lokal dan metadata remote setelah sistem percepatan berbasis cache digunakan.

jindo fs -metaDiff oss://<bucket>/<srcdir>

OSS dan OSS-HDFS

put

Menyalin file dari mesin lokal Anda ke direktori remote. Parameter opsional: -f: menentukan apakah akan melakukan penimpaan paksa.

jindo fs -put -f <localsrc> oss://<bucket>/<targetdir>

OSS dan OSS-HDFS

rm

Menghapus file dari jalur remote. Parameter opsional:

• -f: menentukan apakah akan melakukan penghapusan paksa.

• -r/-rmr/-R: menentukan apakah akan melakukan penghapusan rekursif.

• jindo fs -rm -f oss://<bucket>/<dir>

• jindo fs -rm -R oss://<bucket>/<dir>

OSS dan OSS-HDFS

rmdir

Menghapus folder.

jindo fs -rmdir oss://<bucket>/<dir>

OSS dan OSS-HDFS

test

Menguji fitur dasar. Parameter opsional:

• -d: menentukan apakah folder digunakan.

• -e: menentukan apakah jalur ada.

• -f: menentukan apakah file digunakan.

• -s: menentukan apakah folder kosong.

• -z: menentukan apakah panjang file adalah 0.

jindo fs -test -d oss://<bucket>/<dir>/file

OSS dan OSS-HDFS

renameSnapshot

Mengganti nama snapshot.

jindo fs -renameSnapshot oss://<bucket>/<dir> <oldName> <newName>

OSS-HDFS

restore

Memulihkan file dari status Arsip atau Penyimpanan Arsip Dingin. Anda harus memulihkan file dalam status Penyimpanan Arsip Dingin atau Arsip sebelum Anda mengekstrak file tersebut. Parameter opsional: -days: jumlah hari selama file dipulihkan.

jindo fs -restore -days value oss://<bucket>/<dir>

OSS

stat

Meminta status file.

jindo fs -stat oss://<bucket>/<dir>

OSS dan OSS-HDFS

setStoragePolicy

Menentukan kebijakan penyimpanan untuk data di jalur.

• -path: menentukan jalur tempat file atau direktori berada.

• -policy: menentukan kebijakan penyimpanan. Nilai valid:

  • CLOUD_STD: kelas penyimpanan Standar.

  • CLOUD_IA: kelas penyimpanan IA.

  • CLOUD_AR: kelas penyimpanan Arsip.

  • CLOUD_COLD_AR: kelas Penyimpanan Arsip Dingin.

jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

OSS-HDFS

setfacl

Mengonfigurasi kebijakan akses file. Parameter opsional:

• -b: menentukan apakah akan menghapus semua kebijakan akses.

• -k: menentukan apakah akan menghapus kebijakan akses default.

• -m: menentukan apakah akan memodifikasi kebijakan akses berdasarkan nama.

• -x: menentukan apakah akan menghapus kebijakan akses berdasarkan nama.

• -set: menentukan apakah akan mengonfigurasi kebijakan akses.

• jindo fs -setfacl -b oss://<bucket>/<dir>

• jindo fs -setfacl -k oss://<bucket>/<dir>

• jindo fs -setfacl -m user:<username>:<acl> oss://<bucket>/<dir> jindo fs -setfacl -m user:<username>:<acl> oss://<bucke

• jindo fs -setfacl -x user:<username> oss://<bucket>/<dir>

• jindo fs -setfacl -set user::<acl> oss://<bucket>/<dir>

OSS-HDFS

setfattr

Mengonfigurasi nama dan nilai properti ekstensi file atau direktori. Parameter opsional:

• -n: menentukan apakah akan mengonfigurasi properti berdasarkan nama.

• -v: menentukan apakah akan mengonfigurasi nilai properti.

• -x: menentukan apakah akan menghapus properti berdasarkan nama.

jindo fs -setfattr {-n name [-v value] | -x name} oss://<bucket>/<dir>

OSS-HDFS

sync

Mengunggah file dari mesin lokal Anda ke jalur remote. Parameter opsional:

• -update: menentukan apakah akan menggunakan unggah yang dapat dilanjutkan.

• -thread: menentukan apakah akan menggunakan beberapa thread.

jindo fs -sync [-update] [-thread thread_num] <localsrc> oss://<bucket>/<dir>

OSS dan OSS-HDFS

touchz

Membuat file dengan ukuran 0 byte.

jindo fs -touchz oss://<bucket>/<dir>

OSS dan OSS-HDFS

truncate

Memotong file menjadi ukuran tertentu.

jindo fs -truncate <length> oss://<bucket>/<dir>

OSS-HDFS

unarchive

Memulihkan file ke file standar. Operasi ini didedikasikan untuk file yang diarsipkan dan kode yang diarsipkan.

jindo fs -unarchive oss://<bucket>/<dir>

OSS

uncache

Menghapus file yang dicache dari sistem cache.

jindo fs -uncache oss://<bucket>/<dir>

OSS dan OSS-HDFS

unsetStoragePolicy

Menonaktifkan kebijakan penyimpanan.

jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

Perintah

Deskripsi

Contoh

Skenario

mount

Memasang jalur OSS atau OSS-HDFS.

jindo admin -mount <localdir> oss://<Bucket>/<dir>

OSS dan OSS-HDFS

report

Meminta informasi tentang sistem percepatan penyimpanan JindoFSx, seperti ukuran cache dan kapasitas cache.

jindo admin -report

OSS dan OSS-HDFS

reportMetrics

Meminta metrik sistem percepatan penyimpanan JindoFSx.

jindo admin -reportMetrics

OSS dan OSS-HDFS

umount

Melepas jalur OSS atau OSS-HDFS.

jindo fsxadmin -unmount <localdir>

OSS dan OSS-HDFS

addProxyUser

Menambahkan pengguna proxy.

jindo dlsadmin -addProxyUser -dlsUri oss://<bucket> -proxyUser <value> -users|-groups <value> -hosts <value>]

OSS-HDFS

allowSnapshot

Mengizinkan penggunaan snapshot.

jindo admin -allowSnapshot -dlsUri oss://<bucket>/<dir>

OSS-HDFS

addUserGroupsMapping

Menambahkan pemetaan antara pengguna dan grup pengguna.

jindo admin -addUserGroupsMapping -dlsUri oss://<bucket> <path> -user <value> -groups <value>

OSS-HDFS

disallowSnapshot

Tidak mengizinkan penggunaan snapshot.

jindo admin -disallowSnapshot -dlsUri oss://<bucket>/<dir>

OSS-HDFS

deleteProxyUser

Menghapus pengguna proxy.

jindo admin -deleteProxyUser -dlsUri oss://<bucket>/<dir> -proxyUser <value> -users|-groups <value> -hosts <value>]

OSS-HDFS

deleteUserGroupsMapping

Menghapus pemetaan antara pengguna dan grup pengguna.

jindo admin -deleteUserGroupsMapping -dlsUri oss://<bucket> -user <value>

OSS-HDFS

dumpFile

Meminta informasi penyimpanan detail tentang file.

jindo dlsadmin -dumpFile -dlsUri oss://<bucket>/<dir>

OSS-HDFS

dumpInventory

Mengekspor metadata file.

jindo dlsadmin -dumpInventory -dlsUri oss://<bucket>/<dir>

OSS-HDFS

dumpBlockFiles

Mengunduh semua file dalam folder yang ditentukan ke direktori lokal.

jindo dlsadmin -dumpBlockFiles -in oss://<bucket>/<dir> -out <localdir>

OSS-HDFS

listProxyUsers

Menampilkan daftar pengguna proxy.

jindo admin -listProxyUsers -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

OSS-HDFS

listUserGroupsMappings

Menampilkan pemetaan antara semua pengguna dan semua grup pengguna.

jindo admin -listUserGroupsMappings -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

OSS-HDFS

snapshotDiff

Meminta perbedaan antara snapshot.

jindo admin -snapshotDiff -dlsUri oss://<bucket>/<dir> -fromSnapshot <value> -toSnapshot <value>

OSS-HDFS

setRootPolicy

Mengonfigurasi jalur akses dengan awalan kustom untuk bucket.

jindo admin -setRootPolicy <dlsRootPath> <accessRootPath>

OSS-HDFS

unsetRootPolicy

Menghapus jalur akses dengan awalan kustom untuk bucket.

jindo admin -unsetRootPolicy <dlsRootPath> <accessRootPath>

OSS-HDFS

listAccessPolicies

Meminta semua jalur akses yang didukung oleh bucket.

jindo admin -listAccessPolicies <dlsRootPath>

OSS-HDFS