Reclaim fragmen disk MongoDB untuk meningkatkan penggunaan disk - ApsaraDB for MongoDB

Operasi insert, update, dan delete data menghasilkan fragmen disk seiring waktu. Gunakan perintah compact untuk mereclaim fragmen tersebut dari node primary dan secondary serta meningkatkan pemanfaatan disk.

Kami menyarankan menggunakan fitur storage analysis untuk mereclaim fragmen disk. Fitur ini lebih sederhana dan berdampak lebih kecil terhadap layanan. Storage analysis hanya mereclaim fragmen dari node hidden. Untuk mereclaim fragmen dari node primary dan secondary, lakukan terlebih dahulu primary/secondary failover.

Storage analysis tersedia untuk versi MongoDB berikut:

MongoDB 8.0: semua versi minor.
MongoDB 7.0: semua versi minor.
MongoDB 6.0: semua versi minor.
MongoDB 5.0: semua versi minor.
MongoDB 4.4: 5.0.7 atau yang lebih baru.
MongoDB 4.2: 4.0.23 atau yang lebih baru.

Prasyarat

Instans harus menggunakan mesin penyimpanan WiredTiger.

Catatan penggunaan

Backup data: Backup database Anda sebelum mereclaim fragmen.
Dampak perintah compact:

Perintah <a data-link-href-cangjie="https://www.mongodb.com/docs/manual/reference/command/compact/#dbcmd.compact" href="https://www.mongodb.com/docs/manual/reference/command/compact/#dbcmd.compact" id="xref_8b5_xj7_jq4" rel="noopener noreferrer" target="_blank">compact</a> menulis ulang dan mendefragmentasi semua data dan indeks dalam sebuah collection untuk memulihkan ruang yang tidak terpakai.
- Pemblokiran baca/tulis dan dampak performa
  - Pada versi sebelum MongoDB 4.4, perintah compact mengunci database dan memblokir semua operasi baca dan tulis. Koleksi yang sangat terfragmentasi dapat menyebabkan perintah compact berjalan lama dan meningkatkan latensi replikasi pada node hidden. Lakukan operasi ini selama jam sepi, tingkatkan ukuran oplog, atau upgrade versi utama ke MongoDB 4.4 atau yang lebih baru sebelum mereclaim fragmen.
  - Pada MongoDB 4.4 dan yang lebih baru, perintah compact tidak memblokir operasi baca dan tulis tetapi tetap dapat memengaruhi performa. Lakukan operasi ini selama jam sepi.
- Pembangunan ulang node
  - Untuk MongoDB 3.4, 4.0, 4.2 (4.0.22 atau lebih lama), atau 4.4 (5.0.6 atau lebih lama), node yang menjalankan compact masuk ke status RECOVERING. Jika operasi berlangsung terlalu lama, pemeriksaan kesehatan mungkin menganggap node tidak sehat dan memicu node rebuilding. Lihat catatan rilis versi minor MongoDB.
  - Pada versi MongoDB yang lebih baru, node yang menjalankan compact tetap berada dalam status SECONDARY dan tidak memicu pembangunan ulang node.
Perintah compact tidak efektif:

Perintah compact mungkin tidak efektif dalam skenario berikut (block_compact):
- Ukuran penyimpanan fisik koleksi kurang dari 1 MB.
- Laju fragmentasi kurang dari 20%.
- Ruang bebas kurang dari 20% pada 80% pertama file data, atau ruang bebas kurang dari 10% pada 90% pertama file data.

Waktu reclaim: Waktu eksekusi compact bergantung pada volume data dan beban sistem.
Catatan lainnya:
- Ruang yang direclaim oleh compact mungkin lebih kecil daripada total ruang bebas. Pastikan operasi compact sebelumnya telah selesai sebelum memulai yang baru.
- Perintah compact dapat dijalankan meskipun instans terkunci akibat disk space penuh.

Informasi latar belakang

Mengapa fragmen disk terjadi?

Pembentukan: Saat data dihapus, ruang penyimpanan ditandai sebagai bebas. Data baru dapat menggunakan kembali ruang ini atau ditambahkan di akhir file. Hal ini menciptakan kantong-kantong ruang yang tidak terpakai yang dikenal sebagai fragmen disk.
Dampak: Semakin banyak fragmen berarti pemanfaatan disk efektif semakin rendah. Misalnya, pada disk 100 GB dengan 20 GB fragmen dan 60 GB data aktif, pemanfaatan yang dilaporkan adalah 80% (80 GB/100 GB), tetapi pemanfaatan efektif hanya 60% (60 GB/100 GB).

Kapan harus mereclaim fragmen disk

Setelah Anda menghapus volume data yang besar

Saat Anda menghapus sejumlah besar dokumen, ruang yang dibebaskan tidak dikembalikan ke sistem operasi tetapi disimpan untuk penulisan di masa depan. Hal ini dapat meninggalkan ruang terfragmentasi yang signifikan pada disk.

Penting
Baik penghapusan manual maupun kedaluwarsa TTL tidak secara otomatis mereclaim fragmen disk. Anda harus mereclaim ruang tersebut secara manual.
Setelah beban kerja tulis tinggi berkepanjangan

Beban kerja tulis tinggi berkelanjutan (insert, update, dan delete yang sering) secara bertahap mengumpulkan ruang terfragmentasi di seluruh disk.
Saat ruang disk hampir habis dan fragmentasi melebihi 20%

Saat pemanfaatan disk mencapai 85% hingga 90% atau lebih, mereclaim fragmen dapat membebaskan ruang dan mengurangi tekanan penyimpanan.

Lihat ruang penyimpanan disk

Lihat status penyimpanan koleksi

Jalankan perintah db.runCommand({collStats: <collection_name>}) untuk melihat status penyimpanan. Bidang output utama:

size: Ukuran penyimpanan logis koleksi.
storageSize: Ukuran penyimpanan fisik koleksi.
freeStorageSize: Ruang bebas yang dapat direclaim dalam koleksi. Tersedia di MongoDB 4.4 dan yang lebih baru.

Setelah menghapus dokumen dengan perintah remove, nilai size berkurang tetapi storageSize mungkin tidak berubah. Rasio freeStorageSize terhadap storageSize yang tinggi menunjukkan fragmentasi tinggi.

Catatan

Bidang-bidang ini (size, storageSize, freeStorageSize) didokumentasikan dalam collStats-Output.

Perkirakan ruang yang dapat direclaim

Hubungkan ke instans ApsaraDB for MongoDB Anda menggunakan mongo shell. Untuk instans replica set, hubungkan ke node secondary untuk meminimalkan dampak terhadap layanan. Instruksi koneksi:
Beralih ke database yang berisi koleksi tersebut.
Sintaks:
```
use <database_name>
```
Deskripsi parameter: <database_name> adalah nama database yang berisi koleksi tersebut.

Catatan
Anda dapat menjalankan perintah show dbs untuk menampilkan daftar database yang ada.

Contoh:
Beralih ke database test_database.
```
use test_database
```
Periksa jumlah ruang fragmen disk yang dapat direclaim untuk koleksi tersebut.
Sintaks:
```
db.<collection_name>.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
```
Deskripsi parameter: <collection_name> adalah nama koleksi tersebut.

Catatan
Anda dapat menjalankan perintah show tables untuk menampilkan daftar koleksi yang ada.
Contoh:
```
db.test_database_collection.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
```
Hasil berikut dikembalikan:
```
207806464
```
Output ini menunjukkan bahwa perkiraan ruang yang dapat direclaim adalah 207.806.464 byte.