Anda dapat mengekspor metadata objek di OSS-HDFS ke jalur tertentu sebagai file JSON untuk memudahkan pengelolaan dan analisis.
Prasyarat
Gunakan versi terbaru JindoSDK. Untuk informasi lebih lanjut, kunjungi GitHub.
Pasangan AccessKey yang valid telah dikonfigurasi untuk mengakses bucket tempat OSS-HDFS diaktifkan.
Untuk informasi lebih lanjut, lihat Gunakan perintah CLI Jindo untuk mengakses OSS atau OSS-HDFS.
Prosedur
Ekspor metadata objek
Masuk ke Konsol OSS.
Di panel navigasi kiri, klik Buckets. Di halaman Buckets, temukan dan klik bucket yang diinginkan.
Di pohon navigasi di sebelah kiri, pilih .
Di bagian Object Metadata, klik Export.
Waktu yang diperlukan untuk mengekspor metadata objek berkisar dari beberapa menit hingga beberapa jam, bergantung pada jumlah metadata. Secara default, file metadata diekspor ke jalur
oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/. Jalur keluaran kustom tidak didukung.PentingDirektori
.sysinfo/inventory/tidak dapat dihapus. Anda dapat mengakses dan menghapus file metadata di direktori ini.
Unduh file metadata.
Jalankan perintah berikut untuk mengunduh file metadata:
jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** /tmp/Jalankan perintah vi atau vim untuk membuka file metadata.
Contoh file metadata:
{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":1666581702921,"mtime":1666581702933,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702923,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":166658170293325,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702930,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702931,"mtime":1660895613953,"permission":511}Tabel berikut menjelaskan bidang dalam file metadata.
Bidang
Deskripsi
id
ID objek atau direktori.
path
Jalur ke objek atau direktori.
type
Jenis sumber daya. Nilai yang valid:
directory
file
size
Ukuran data dalam byte.
Jika nilai bidang type adalah file, nilai bidang size adalah ukuran objek.
Jika nilai bidang type adalah directory, nilai bidang size adalah 0.
user
Pemilik objek atau direktori.
group
Grup pengguna tempat objek atau direktori tersebut milik.
atime
Waktu ketika objek atau direktori diakses. Nilainya adalah timestamp.
mtime
Waktu ketika objek atau direktori dimodifikasi. Nilainya adalah timestamp.
permission
Izin pada objek atau direktori.
(Opsional) Hapus file metadata.
File metadata OSS-HDFS mengonsumsi ruang penyimpanan dan menimbulkan biaya penyimpanan. Jika file metadata tidak lagi diperlukan, kami sarankan Anda menghapus file metadata menggunakan perintah HDFS.
PentingSaat menghapus file metadata, pastikan Anda menentukan jalur yang benar ke file metadata untuk menghindari penghapusan data sistem di jalur .dlsdata dan .sysinfo. Sebagai contoh, untuk menghapus file metadata yang diekspor di Langkah 1, tentukan jalur tepat ke file metadata.
Perintah berikut memberikan contoh cara menghapus file metadata:
jindo fs -rm -skipTrash oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d****