Elasticsearch：Pencadangan dan pemulihan otomatis

Informasi latar belakang

Pencadangan dan pemulihan data untuk instans ES bergantung pada plugin elasticsearch-repository-oss. Plugin ini diinstal secara default pada instans ES Alibaba Cloud dan tidak dapat diuninstall. Untuk informasi selengkapnya, lihat elasticsearch-repository-oss.

Perhatian

• Ukuran metadata indeks untuk pencadangan otomatis tidak boleh melebihi 100 MB. Jika batas ini dilampaui, tugas pencadangan otomatis mungkin gagal. Dalam kasus tersebut, lakukan pencadangan manual.

• Snapshot pertama sebuah kluster merupakan salinan lengkap data kluster tersebut. Snapshot berikutnya hanya menyinkronkan data inkremental sejak snapshot sebelumnya. Snapshot pertama biasanya berukuran besar dan memerlukan waktu lama untuk dibuat. Untuk mencegah kegagalan sinkronisasi, lakukan pencadangan manual untuk snapshot pertama.

• Snapshot hanya menyimpan data indeks. Snapshot tidak menyimpan data pemantauan instans ES, seperti indeks yang diawali dengan .monitoring dan .security_audit. Snapshot juga tidak menyimpan metadata, Translog, konfigurasi instans, paket perangkat lunak ES, plugin bawaan maupun kustom, atau log ES.

• Pencadangan otomatis hanya menyimpan data snapshot dari tujuh hari terakhir. Snapshot tersebut berisi data lengkap.

• Data dari pencadangan otomatis hanya dapat dipulihkan ke kluster aslinya. Untuk memulihkan data lintas kluster, lihat Pencadangan dan pemulihan manual atau Menyiapkan repositori OSS lintas kluster.

• Saat Anda menonaktifkan pencadangan otomatis, sistem akan melakukan satu kali pencadangan data terakhir. Memperbarui waktu mulai pencadangan otomatis tidak memicu pencadangan data.

• Untuk instans OpenStore Indexing Service, layanan penyimpanan dasar menjamin ketersediaan tinggi (HA) data kluster. Oleh karena itu, fitur pencadangan otomatis tidak didukung.

Mengaktifkan pencadangan otomatis dan alarm pemantauan

Menampilkan snapshot cadangan

Setelah mengaktifkan fitur pencadangan otomatis, Anda dapat masuk ke konsol Kibana. Di konsol Kibana instans Alibaba Cloud Elasticsearch yang sesuai, gunakan API _snapshot untuk melihat informasi tentang snapshot pencadangan otomatis:

• Lihat repositori snapshot.

  GET _snapshot

  Permintaan yang berhasil mengembalikan tanggapan serupa contoh berikut.

  {
    "aliyun_auto_snapshot" : {
      "type" : "oss",
      "settings" : {
        "compress" : "true",
        "base_path" : "cf95b9-185320276651****/es-cn-09k2053us0003****",
        "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com"
      }
    }
  }
                              

  Parameter	Deskripsi
  aliyun_auto_snapshot	Repositori snapshot otomatis dibuat saat snapshot pertama diambil. Nama repositori yang menyimpan snapshot pencadangan otomatis untuk Alibaba Cloud Elasticsearch tetap sebagai aliyun_auto_snapshot. Catatan Sebuah repositori dapat menyimpan beberapa snapshot. Setiap snapshot dapat berisi data cadangan dari semua, sebagian, atau satu indeks saja.
  type	Media penyimpanan untuk snapshot. oss menunjukkan bahwa media penyimpanannya adalah Object Storage Service (OSS).
  compress	Menentukan apakah kompresi diaktifkan untuk file snapshot: true: Mengaktifkan kompresi. Ini hanya berlaku untuk file metadata, yang mencakup pemetaan dan pengaturan indeks. false (default): Menonaktifkan kompresi. File data tidak dikompresi.
  base_path	Lokasi penyimpanan snapshot di OSS.
  endpoint	Informasi mengenai wilayah tempat OSS berada.

• Lihat informasi semua snapshot dalam repositori aliyun_auto_snapshot.

  GET _snapshot/aliyun_auto_snapshot/_all

  Permintaan yang berhasil mengembalikan tanggapan serupa contoh berikut.

  {
    "snapshots": [
      {
        "snapshot": "es-cn-09k2053us0003****_20210117030003",
        "uuid": "vIdSCkthTeGa0nSj4D****",
        "version_id": 5050399,
        "version": "5.5.3",
        "indices": [
          ".kibana"
        ],
        "state": "SUCCESS",
        "start_time": "2018-06-28T01:22:39.609Z",
        "start_time_in_millis": 1530148959609,
        "end_time": "2018-06-28T01:22:39.923Z",
        "end_time_in_millis": 1530148959923,
        "duration_in_millis": 314,
        "failures": [],
        "shards": {
          "total": 1,
          "failed": 0,
          "successful": 1
        }
      },
      {
        "snapshot": "es-cn-09k2053us0003****_20210118030004",
        "uuid": "XKO_Uwz_Qu6mZrU3Am****",
        "version_id": 5050399,
        "version": "5.5.3",
        "indices": [
          ".kibana"
        ],
        "state": "SUCCESS",
        "start_time": "2018-06-28T01:25:00.764Z",
        "start_time_in_millis": 1530149100764,
        "end_time": "2018-06-28T01:25:01.482Z",
        "end_time_in_millis": 1530149101482,
        "duration_in_millis": 718,
        "failures": [],
        "shards": {
          "total": 1,
          "failed": 0,
          "successful": 1
        }
      }
    ]
  }

  Penting

  Waktu pencadangan menggunakan waktu lokal wilayah tempat instans berada. Namun, waktu dalam tanggapan yang dikembalikan menggunakan Coordinated Universal Time (UTC). Terdapat perbedaan zona waktu antara keduanya. Anda dapat mengonversi waktu berdasarkan perbedaan ini. Misalnya, perbedaan zona waktu untuk UTC+8 adalah 8 jam. Oleh karena itu, UTC+8 = UTC + 0800.

  Parameter state menunjukkan status snapshot. Snapshot untuk instans Alibaba Cloud Elasticsearch dapat memiliki salah satu dari lima status berikut.

  Status snapshot	Deskripsi
  IN_PROGRESS	Snapshot sedang berlangsung.
  SUCCESS	Proses snapshot selesai, dan semua data dari semua shard berhasil disimpan.
  FAILED	Proses snapshot selesai, tetapi data dari beberapa indeks tidak berhasil disimpan.
  PARTIAL	Beberapa data berhasil disimpan, tetapi data dari setidaknya satu shard tidak disimpan.
  INCOMPATIBLE	Snapshot tidak kompatibel dengan versi instans Alibaba Cloud Elasticsearch.

  Snapshot pencadangan otomatis juga memiliki parameter default berikut yang tidak ditampilkan.

  Parameter	Deskripsi
  max_snapshot_bytes_per_sec	Kecepatan maksimum pencadangan data pada satu node. Nilai default-nya adalah 40mb per detik.
  max_restore_bytes_per_sec	Kecepatan maksimum pemulihan data pada satu node. Nilai default-nya adalah 40mb per detik.
  chunk_size	Saat membuat snapshot, file besar dibagi menjadi potongan-potongan kecil. Parameter ini mengatur ukuran potongan tersebut, misalnya 1g, 10m, atau 5k. Nilai default-nya adalah null, yang berarti tidak ada batasan.

• Lihat informasi detail snapshot tertentu dalam repositori aliyun_auto_snapshot.

  GET _snapshot/aliyun_auto_snapshot/<snapshot>/_status

  <snapshot>: Nama snapshot pencadangan otomatis. Anda dapat memperoleh nama ini dengan menjalankan perintah untuk melihat semua snapshot. Contohnya: es-cn-09k2053us0003****_20210118030004.

  Permintaan yang berhasil mengembalikan tanggapan serupa contoh berikut.

  {
    "snapshots": [
      {
        "snapshot": "es-cn-09k2053us0003****_20210118030004",
        "repository": "aliyun_auto_snapshot",
        "uuid": "XKO_Uwz_Qu6mZrU3Am****",
        "state": "SUCCESS",
        "shards_stats": {
          "initializing": 0,
          "started": 0,
          "finalizing": 0,
          "done": 1,
          "failed": 0,
          "total": 1
        },
        "stats": {
          "number_of_files": 4,
          "processed_files": 4,
          "total_size_in_bytes": 3296,
          "processed_size_in_bytes": 3296,
          "start_time_in_millis": 1530148959688,
          "time_in_millis": 77
        },
        "indices": {
          ".kibana": {
            "shards_stats": {
              "initializing": 0,
              "started": 0,
              "finalizing": 0,
              "done": 1,
              "failed": 0,
              "total": 1
            },
            "stats": {
              "number_of_files": 4,
              "processed_files": 4,
              "total_size_in_bytes": 3296,
              "processed_size_in_bytes": 3296,
              "start_time_in_millis": 1530148959688,
              "time_in_millis": 77
            },
            "shards": {
              "0": {
                "stage": "DONE",
                "stats": {
                  "number_of_files": 4,
                  "processed_files": 4,
                  "total_size_in_bytes": 3296,
                  "processed_size_in_bytes": 3296,
                  "start_time_in_millis": 1530148959688,
                  "time_in_millis": 77
                }
              }
            }
          }
        }
      }
    ]
  }

Memulihkan data dari pencadangan otomatis

Menonaktifkan pencadangan otomatis

1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

2. Di panel navigasi sebelah kiri, klik Elasticsearch Clusters.

3. Navigasi ke kluster yang diinginkan.

   1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster berada dan wilayah tempat kluster tersebut berlokasi.

   2. Di halaman Elasticsearch Clusters, temukan kluster tersebut dan klik ID-nya.

4. Di panel navigasi sebelah kiri, klik Data Backup.

5. Di bagian Snapshots (Free Trial), matikan Auto Snapshot.

Referensi

• Pencadangan dan pemulihan manual

• Mencadangkan snapshot secara otomatis ke repositori OSS lokal

• Masuk ke konsol Kibana