Snapshot cadangan dan pemulihan otomatis Alibaba Cloud Elasticsearch - Elasticsearch

Setelah Anda mengaktifkan cadangan otomatis untuk Alibaba Cloud Elasticsearch, sistem akan mencadangkan data indeks sesuai interval yang dikonfigurasi. Cadangan ini dapat digunakan untuk memulihkan data akibat penghapusan tidak disengaja atau kesalahan logika aplikasi.

Catatan Penggunaan

Pencadangan dan pemulihan data bergantung pada plugin elasticsearch-repository-oss, yang telah dipra-instal pada semua instans Alibaba Cloud Elasticsearch dan tidak dapat dihapus. elasticsearch-repository-oss.

Snapshot hanya menyimpan data indeks — bukan data pemantauan (indeks awalan .monitoring atau .security_audit), metadata, translog, konfigurasi, paket, plugin, atau log. Cadangan otomatis hanya menyimpan snapshot selama 7 hari terakhir. Setelah 7 hari, sistem secara otomatis menghapus snapshot yang kedaluwarsa dan membersihkan penyimpanan dasarnya. Data yang dihapus tidak dapat dipulihkan. Jika Anda perlu menyimpan data cadangan lebih dari 7 hari, ekspor atau migrasikan snapshot secara manual sebelum kedaluwarsa dengan menggunakan Cadangan dan pemulihan manual atau Mencadangkan snapshot secara otomatis ke bucket OSS lokal. Snapshot cadangan otomatis hanya dapat dipulihkan ke kluster asal. Untuk memulihkan data ke kluster berbeda, gunakan cadangan dan pemulihan manual.
Metadata indeks untuk cadangan otomatis tidak boleh melebihi 100 MB. Jika melebihi, tugas cadangan mungkin gagal. Gunakan cadangan dan pemulihan manual sebagai gantinya.
Snapshot pertama merupakan salinan lengkap data dan dapat memakan waktu lama. Gunakan cadangan dan pemulihan manual untuk pencadangan awal.
Mengaktifkan cadangan otomatis dan membuat repositori snapshot (aliyun_auto_snapshot) tidak dikenai biaya. Namun, data snapshot cadangan otomatis disimpan di Object Storage Service (OSS), sehingga dikenai biaya penyimpanan OSS. Biaya pencadangan bergantung pada volume data snapshot dan durasi penyimpanan di OSS.

Aktifkan cadangan otomatis dan konfigurasi alert kluster

Aktifkan cadangan otomatis

Login ke Konsol Alibaba Cloud Elasticsearch.
Pada panel navigasi kiri, klik Elasticsearch Clusters.
Pada bilah menu atas, pilih kelompok sumber daya dan wilayah.
Pada halaman Elasticsearch Clusters, klik ID instans target.
Pada panel navigasi kiri, klik Data Backup.
Pada area Snapshots (Free Trial), aktifkan sakelar Auto Snapshot.
Klik Set di samping Auto Snapshot Period.

Untuk instans Edisi Enhanced, waktu cadangan otomatis dihasilkan oleh sistem dan tidak dapat diubah.

Pada panel Auto Snapshot Configuration, pilih Frequency (saat cadangan otomatis dijalankan).

Siklus cadangan	Deskripsi
Setiap 30 menit	Mencadangkan setiap 30 menit.
Harian	Mencadangkan setiap hari pada waktu yang dapat dikustomisasi.
Kustom	Siklus dan waktu cadangan kustom.

Waktu cadangan otomatis mengikuti zona waktu lokal wilayah instans.

Klik OK.

Konfigurasi alert kluster

Setelah mengaktifkan cadangan otomatis, konfigurasikan alert kluster untuk memantau status cadangan snapshot. Nilai snapshot status (value) sebesar 2 pada halaman pemantauan menunjukkan tugas snapshot gagal.

Jalankan /_cat/snapshots/aliyun_auto_snapshot?format=json untuk memeriksa status snapshot terbaru. Lakukan cadangan manual jika diperlukan.

Status snapshot dapat berupa salah satu berikut:

SUCCESS: Semua shard berhasil dicadangkan.
PARTIAL: Beberapa shard gagal dicadangkan.
FAILED: Tugas cadangan gagal.

Jika tidak ada snapshot baru-baru ini, berarti cadangan tidak dipicu. Pengecualian pada tingkat kluster atau node dapat mencegah pencadangan otomatis.

Lihat snapshot cadangan

Setelah mengaktifkan cadangan otomatis, gunakan API _snapshot di Konsol Kibana untuk melihat snapshot. Terhubung ke kluster melalui Kibana.

Lihat repositori snapshot.

GET _snapshot

Contoh respons:

{
  "aliyun_auto_snapshot" : {
    "type" : "oss",
    "settings" : {
      "compress" : "true",
      "base_path" : "cf95b9-185320276651****/es-cn-09k2053us0003****",
      "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com"
    }
  }
}

Parameter	Deskripsi
aliyun_auto_snapshot	Repositori snapshot otomatis, dibuat saat snapshot pertama. Selalu bernama `aliyun_auto_snapshot`. Repositori menyimpan beberapa snapshot, masing-masing berisi data cadangan untuk semua, sebagian, atau satu indeks.
type	Media penyimpanan. `oss` menunjukkan Object Storage Service (OSS).
compress	Apakah file metadata snapshot (pemetaan dan pengaturan indeks) dikompresi. Tidak memengaruhi file data. Default: `false`.
base_path	Jalur penyimpanan di OSS.
endpoint	Titik akhir bucket OSS untuk wilayah instans.

Lihat informasi semua snapshot dalam repositori aliyun_auto_snapshot.

GET _snapshot/aliyun_auto_snapshot/_all

Contoh respons:

{
  "snapshots": [
    {
      "snapshot": "es-cn-09k2053us0003****_20210117030003",
      "uuid": "vIdSCkthTeGa0nSj4D****",
      "version_id": 5050399,
      "version": "5.5.3",
      "indices": [
        ".kibana"
      ],
      "state": "SUCCESS",
      "start_time": "2018-06-28T01:22:39.609Z",
      "start_time_in_millis": 1530148959609,
      "end_time": "2018-06-28T01:22:39.923Z",
      "end_time_in_millis": 1530148959923,
      "duration_in_millis": 314,

      "failures": [ ],

      "shards": {
        "total": 1,
        "failed": 0,
        "successful": 1
      }
    },
    {
      "snapshot": "es-cn-09k2053us0003****_20210118030004",
      "uuid": "XKO_Uwz_Qu6mZrU3Am****",
      "version_id": 5050399,
      "version": "5.5.3",
      "indices": [
        ".kibana"
      ],
      "state": "SUCCESS",
      "start_time": "2018-06-28T01:25:00.764Z",
      "start_time_in_millis": 1530149100764,
      "end_time": "2018-06-28T01:25:01.482Z",
      "end_time_in_millis": 1530149101482,
      "duration_in_millis": 718,

      "failures": [ ],

      "shards": {
        "total": 1,
        "failed": 0,
        "successful": 1
      }
    }
  ]
}

Cadangan otomatis dijadwalkan berdasarkan waktu lokal wilayah instans, tetapi respons API mengembalikan timestamp dalam UTC. Waktu Standar Tiongkok (UTC+8) adalah 8 jam lebih cepat daripada UTC.

Field state menunjukkan status snapshot:

Status snapshot	Deskripsi
IN_PROGRESS	Snapshot sedang berlangsung.
SUCCESS	Snapshot selesai. Semua data shard tersimpan.
FAILED	Snapshot gagal.
PARTIAL	Berhasil sebagian. Setidaknya satu shard tidak tersimpan.
INCOMPATIBLE	Snapshot tidak kompatibel dengan versi instans Alibaba Cloud Elasticsearch.

Snapshot cadangan otomatis memiliki parameter default tambahan berikut:

Parameter	Deskripsi
max_snapshot_bytes_per_sec	Throughput maksimum snapshot per node. Default: 40 MB/s.
max_restore_bytes_per_sec	Throughput maksimum pemulihan per node. Default: 40 MB/s.
chunk_size	Ukuran chunk untuk memisahkan file besar selama snapshot (misalnya, `1g`, `10m`, `5k`). Default: `null` (tanpa batas).

Lihat informasi detail snapshot tertentu dalam repositori aliyun_auto_snapshot.

GET _snapshot/aliyun_auto_snapshot/<snapshot>/_status

<snapshot>: Nama snapshot cadangan otomatis (dari perintah all-snapshots di atas). Contoh: es-cn-09k2053us0003****_20210118030004.

Contoh respons:

{
  "snapshots": [
    {
      "snapshot": "es-cn-09k2053us0003****_20210118030004",
      "repository": "aliyun_auto_snapshot",
      "uuid": "XKO_Uwz_Qu6mZrU3Am****",
      "state": "SUCCESS",
      "shards_stats": {
        "initializing": 0,
        "started": 0,
        "finalizing": 0,
        "done": 1,
        "failed": 0,
        "total": 1
      },
      "stats": {
        "number_of_files": 4,
        "processed_files": 4,
        "total_size_in_bytes": 3296,
        "processed_size_in_bytes": 3296,
        "start_time_in_millis": 1530148959688,
        "time_in_millis": 77
      },
      "indices": {
        ".kibana": {
          "shards_stats": {
            "initializing": 0,
            "started": 0,
            "finalizing": 0,
            "done": 1,
            "failed": 0,
            "total": 1
          },
          "stats": {
            "number_of_files": 4,
            "processed_files": 4,
            "total_size_in_bytes": 3296,
            "processed_size_in_bytes": 3296,
            "start_time_in_millis": 1530148959688,
            "time_in_millis": 77
          },
          "shards": {
            "0": {
              "stage": "DONE",
              "stats": {
                "number_of_files": 4,
                "processed_files": 4,
                "total_size_in_bytes": 3296,
                "processed_size_in_bytes": 3296,
                "start_time_in_millis": 1530148959688,
                "time_in_millis": 77
              }
            }
          }
        }
      }
    }
  ]
}

Pulihkan data dari cadangan otomatis

Memulihkan indeks sistem (awalan .) dapat menyebabkan Kibana tidak dapat diakses. Jangan pulihkan indeks sistem.

Di Konsol Kibana, jalankan perintah berikut untuk memulihkan data indeks dari snapshot:

Pulihkan semua indeks dari snapshot tertentu (berjalan di latar belakang).
```
POST _snapshot/aliyun_auto_snapshot/<snapshot>/_restore
```
<snapshot>: Nama snapshot cadangan otomatis, contohnya es-cn-abcdefghij****_20180627091600.
Pulihkan semua indeks dari snapshot tertentu dan tunggu hingga tugas selesai.

API _restore bersifat asinkron. Tambahkan wait_for_completion untuk menunggu hingga selesai:
```
POST _snapshot/aliyun_auto_snapshot/<snapshot>/_restore?wait_for_completion=true
```
<snapshot>: Nama snapshot cadangan otomatis, contohnya es-cn-abcdefghij****_20180627091600.

Pulihkan indeks tertentu dari snapshot dan ubah namanya selama proses (berjalan di latar belakang).

POST _snapshot/aliyun_auto_snapshot/<snapshot>/_restore
{
"indices": "index_1",
"rename_pattern": "index_(.+)",
"rename_replacement": "restored_index_$1"
}

Parameter	Deskripsi
<snapshot>	Nama snapshot cadangan otomatis, contohnya `es-cn-abcdefghij****_20180627091600`.
indices	Nama indeks yang akan dipulihkan.
rename_pattern	Opsional. Ekspresi reguler untuk mencocokkan nama indeks yang ingin dipulihkan.
rename_replacement	Opsional. Pola pengganti untuk mengubah nama indeks yang cocok.

Nonaktifkan cadangan otomatis

Login ke Konsol Alibaba Cloud Elasticsearch.
Pada panel navigasi kiri, klik Elasticsearch Clusters.
Pada bilah menu atas, pilih kelompok sumber daya dan wilayah.
Pada halaman Elasticsearch Clusters, klik ID instans target.
Pada panel navigasi kiri, klik Data Backup.
Pada area Snapshots (Free Trial), nonaktifkan sakelar Auto Snapshot.

FAQ

Mengapa cadangan otomatis gagal atau mengapa snapshot inkremental memakan waktu sama lama seperti snapshot lengkap?

Saat cadangan otomatis menulis data snapshot ke OSS, pencadangan mungkin gagal atau snapshot inkremental memakan waktu sama lama seperti snapshot lengkap jika batas permintaan per detik (QPS) OSS terlampaui. Dalam kasus ini, error QpsLimitExceeded dilaporkan. Masalah ini lebih umum terjadi pada jam sibuk, seperti antara pukul 00.00–02.00, ketika Pembatasan kecepatan OSS lebih mungkin terjadi.

Untuk mengatasi masalah ini:

Atur ulang jadwal cadangan otomatis ke jam sepi, seperti antara pukul 03.00–04.00, untuk mengurangi kemungkinan terjadinya Pembatasan kecepatan QPS OSS.
Jika pencadangan gagal, tunggu dan coba lagi nanti. Masalah ini biasanya bersifat sementara dan tidak memengaruhi operasi kluster normal atau beban kerja bisnis.

Bagaimana cara melihat snapshot cadangan otomatis di konsol?

Untuk instans PaaS cloud-native Elasticsearch, konsol tidak menyediakan titik akses langsung untuk melihat snapshot cadangan otomatis. Untuk melihat snapshot cadangan otomatis pada instans PaaS, gunakan salah satu metode berikut:

Kibana: Login ke Konsol Kibana untuk kluster Anda, lalu buka Management > Snapshot and Restore untuk melihat snapshot yang tersedia.
API: Jalankan perintah berikut di Konsol Dev Tools Kibana atau panggil API Elasticsearch secara langsung:
```
GET _snapshot/aliyun_auto_snapshot/_all
```
Perintah ini mengembalikan semua snapshot dalam repositori aliyun_auto_snapshot, termasuk nama snapshot, status, waktu mulai, dan informasi indeks.