Penggunaan disk tinggi dan indeks hanya-baca - Elasticsearch

Jika penggunaan disk pada kluster Elasticsearch Alibaba Cloud Anda melebihi 85%, kluster atau Kibana mungkin tidak dapat memberikan layanan. Topik ini menjelaskan cara menyelesaikan masalah tersebut.

Penting Penafian: Topik ini mungkin berisi informasi tentang produk pihak ketiga. Informasi tersebut hanya untuk referensi. Alibaba Cloud tidak memberikan jaminan, baik tersurat maupun tersirat, terkait kinerja dan keandalan produk pihak ketiga, serta dampak potensial dari operasi pada produk-produk tersebut.

Deskripsi masalah

Setelah sistem menerima permintaan indeks, ia mengembalikan pesan kesalahan yang mirip dengan index read_only, seperti FORBIDDEN/12/index read-only / allow delete (api)];].
Kluster berada dalam keadaan yang ditunjukkan oleh warna merah. Dalam kasus parah, beberapa node tidak bergabung dengan kluster. Anda dapat menjalankan perintah GET _cat/nodes? untuk melihat node dalam kluster. Selain itu, beberapa shard tidak dialokasikan ke node. Anda dapat menjalankan perintah GET _cat/allocation?v untuk melihat alokasi shard.
Catatan Jika kluster berada dalam keadaan yang ditunjukkan oleh warna merah, shard utama kluster tidak tersedia, dan data pada kluster mungkin hilang.
Saat pipeline dibuat atau Beat didaftarkan di konsol Kibana, pesan internal server error dikembalikan.
Di halaman Pemantauan Kluster kluster atau halaman Pemantauan di konsol Kibana kluster, penggunaan disk telah mencapai 100% baru-baru ini.

Penyebab

Masalah-masalah di atas disebabkan oleh penggunaan disk yang tinggi. Penggunaan disk pada node memiliki ambang batas berikut:

85%: Jika penggunaan disk pada node melebihi 85%, sistem tidak lagi mengalokasikan shard baru ke node tersebut.
90%: Jika penggunaan disk pada node melebihi 90%, sistem akan memindahkan shard pada node tersebut ke node data lain dengan penggunaan disk rendah.
95%: Jika penggunaan disk pada node melebihi 95%, sistem secara paksa menambahkan atribut read_only_allow_delete ke semua indeks dalam kluster. Akibatnya, data tidak dapat ditulis ke indeks, dan Anda hanya dapat membaca data dari indeks atau menghapus indeks.

Solusi

Jalankan perintah berikut untuk menghapus data:
Peringatan Data yang dihapus tidak dapat dipulihkan. Lanjutkan dengan hati-hati. Anda juga dapat menyimpan data, tetapi Anda harus menambah ukuran disk. Untuk informasi lebih lanjut, lihat Tingkatkan Konfigurasi Kluster.
```
curl -u <username>:<password> -XDELETE  http://<host>:<port>/<index-name>
```
- Atur <host> ke endpoint internal atau publik kluster. Kami sarankan Anda mengonfigurasi daftar putih terkait sebelum menjalankan perintah ini.
- Jika kluster tidak merespons setelah Anda menjalankan perintah di atas, kami sarankan Anda memicu restart paksa dan mencoba menjalankan perintah ini selama restart.
Periksa apakah indeks masih hanya-baca. Jika iya, jalankan perintah berikut untuk mengatur atribut index.blocks.read_only_allow_delete menjadi null untuk semua indeks agar memastikan bahwa semua indeks pada kluster tidak hanya-baca:
```
PUT _settings
{  
   "index.blocks.read_only_allow_delete": null
}
```
Periksa apakah kluster masih dalam keadaan yang ditunjukkan oleh warna merah. Jika iya, jalankan perintah _cat/allocation?v untuk memeriksa apakah kluster berisi shard yang tidak dialokasikan.
Jika kluster berisi shard yang tidak dialokasikan, jalankan perintah GET _cluster/allocation/explain untuk melihat alasannya. Jika alasan tersebut mirip dengan yang ditunjukkan pada gambar berikut, jalankan perintah POST /_cluster/reroute?retry_failed=true.
Setelah shard dialokasikan, lihat status kluster. Jika kluster masih dalam keadaan yang ditunjukkan oleh warna merah, hubungi insinyur dukungan teknis Alibaba Cloud.

Informasi tambahan

Untuk menghindari dampak penggunaan disk tinggi pada Alibaba Cloud Elasticsearch, kami sarankan Anda mengaktifkan pemantauan dan peringatan penggunaan disk. Selain itu, Anda harus melihat pesan teks peringatan tepat waktu dan mengambil tindakan yang sesuai sebelumnya. Untuk informasi lebih lanjut, lihat Konfigurasikan Peringatan Kluster.