OSS-HDFS menyimpan data dan metadata tambahan di direktori .dlsdata/ bucket OSS Anda. Anda dikenai biaya berdasarkan kapasitas penyimpanan yang digunakan.
Jika kapasitas penyimpanan yang ditagihkan melebihi hasil laporan perintah hdfs du, selisih tersebut berasal dari satu atau beberapa kategori berikut.
Kategori penyimpanan sekilas
| Kategori | Ditagihkan sebagai penyimpanan OSS | Tampak melalui hdfs du | Ukuran tipikal |
|---|---|---|---|
| Blok data | Ya | Ya | Bagian terbesar |
| Data checksum | Ya | Tidak | ~0,78% dari data untuk file besar; lebih tinggi untuk file kecil |
| File holes | Ya | Tidak | Bervariasi; hanya terjadi saat menggunakan JindoFuse dengan penulisan delta |
| Log audit | Ya | Ya | Tergantung aktivitas baca/tulis |
| Daftar inventaris | Ya | Ya | Tergantung frekuensi ekspor |
| Tempat sampah | Ya | Ya | Tergantung periode retensi |
| Data internal | Ya | Tidak | Kurang dari 1 GB |
Blok data
Blok data merupakan komponen utama penyimpanan OSS-HDFS. Semua blok data disimpan di bucket OSS Anda dan dihitung dalam kapasitas penyimpanan Anda.
Jalankan perintah hdfs du untuk memeriksa penyimpanan blok data.
Data checksum
OSS-HDFS mendukung fitur checksum Hadoop Distributed File System (HDFS). Setiap operasi tulis secara otomatis menghasilkan data checksum tambahan.
Secara default, OSS-HDFS menghasilkan 4 byte checksum untuk setiap 512 byte data. Untuk file kecil atau blok data kecil, rasio checksum terhadap data lebih tinggi; hal ini merupakan perilaku normal.
Berbeda dengan HDFS open source, di mana data checksum menempati kapasitas disk pada node data, data checksum OSS-HDFS menempati kapasitas penyimpanan bucket OSS.
Data checksum dihitung dalam penggunaan kapasitas penyimpanan bucket Standard. Perintah hdfs du tidak melaporkan penyimpanan checksum.
File holes
Saat Anda menggunakan client JindoFuse untuk menimpa atau memodifikasi objek secara acak, OSS-HDFS menulis perubahan dalam mode delta karena blok data tidak dapat dimodifikasi langsung di tempatnya. Proses penulisan delta ini dapat menghasilkan file holes—yaitu wilayah berisi nol yang tidak secara eksplisit ditulis ke file—yang menempati kapasitas penyimpanan tambahan.
File holes hanya terjadi pada penulisan file delta melalui JindoFuse.
Penyimpanan file holes dihitung dalam penggunaan kapasitas penyimpanan bucket Standard. Perintah hdfs du tidak melaporkan penyimpanan file holes.
Log audit
OSS-HDFS mencatat semua operasi baca dan tulis pada objek sebagai Log audit. Log audit disimpan di direktori /.sysinfo dan menempati kapasitas penyimpanan bucket.
Jalankan perintah hdfs du /.sysinfo untuk memeriksa penyimpanan Log audit.
Daftar inventaris
OSS-HDFS mendukung ekspor Daftar inventaris. Daftar yang diekspor disimpan di direktori /.sysinfo dan menempati kapasitas penyimpanan bucket.
Jalankan perintah hdfs du /.sysinfo untuk memeriksa penyimpanan Daftar inventaris.
Tempat sampah
Objek yang dipindahkan ke tempat sampah OSS-HDFS tetap berada di bucket hingga periode retensi berakhir. Objek di tempat sampah menempati kapasitas penyimpanan selama periode tersebut.
Jalankan perintah hdfs du pada direktori tempat sampah untuk memeriksa penggunaan penyimpanannya.
Data internal
OSS-HDFS menyimpan sementara data internal di bucket OSS Anda—misalnya, informasi tugas asinkron. Data ini menempati kurang dari 1 GB kapasitas penyimpanan.
Data internal dihitung dalam penggunaan kapasitas penyimpanan bucket Standard. Perintah hdfs du tidak melaporkan penyimpanan data internal.