：Migrasi data dari kluster Elasticsearch yang dikelola sendiri ke kluster Alibaba Cloud Elasticsearch menggunakan OSS

Prosedur

1. Langkah 1: Lakukan persiapan

   Persiapkan kluster Elasticsearch yang dikelola sendiri, serta buat bucket OSS dan kluster Alibaba Cloud Elasticsearch.

2. Langkah 2: Instal plug-in elasticsearch-repository-oss

   Instal plug-in elasticsearch-repository-oss pada setiap node kluster Elasticsearch yang dikelola sendiri. Anda hanya dapat membuat repositori OSS untuk kluster Elasticsearch yang dikelola sendiri setelah plug-in terinstal.

3. Langkah 3: Buat repositori snapshot untuk kluster Elasticsearch yang dikelola sendiri

   Panggil API snapshot untuk membuat repositori snapshot bagi kluster Elasticsearch yang dikelola sendiri.

4. Langkah 4: Buat snapshot untuk indeks tertentu

   Buat snapshot untuk indeks yang ingin Anda migrasikan dan simpan snapshot tersebut di repositori snapshot yang telah dibuat.

5. Langkah 5: Buat repositori snapshot yang sama untuk kluster Alibaba Cloud Elasticsearch

   Di konsol Kibana kluster Alibaba Cloud Elasticsearch, panggil API snapshot untuk membuat repositori snapshot bagi kluster tersebut. Nama repositori snapshot harus sama dengan nama repositori snapshot untuk kluster Elasticsearch yang dikelola sendiri.

6. Langkah 6: Pulihkan data ke kluster Alibaba Cloud Elasticsearch dari snapshot yang dibuat

   Pulihkan data dari snapshot dalam repositori snapshot kluster Elasticsearch yang dikelola sendiri ke kluster Alibaba Cloud Elasticsearch.

7. Langkah 7: Lihat hasil pemulihan

   Lihat indeks yang telah dipulihkan beserta datanya.

Langkah 1: Lakukan persiapan

1. Persiapkan kluster Elasticsearch yang dikelola sendiri.

   Kami menyarankan agar Anda menerapkan kluster Elasticsearch pada instance Elastic Compute Service (ECS) Alibaba Cloud. Untuk informasi selengkapnya, lihat Menginstal dan Menjalankan Elasticsearch.

   Catatan

   Kami menyarankan agar Anda menggunakan instance ECS Alibaba Cloud dalam virtual private cloud (VPC) yang sama dengan kluster Alibaba Cloud Elasticsearch untuk menerapkan kluster Elasticsearch yang dikelola sendiri. Jika Anda menggunakan server yang dikelola sendiri untuk menerapkan kluster, masalah konektivitas jaringan mungkin terjadi.

   Dalam contoh ini, digunakan kluster Elasticsearch V6.7.0 ber-node tunggal. Dalam produksi sesungguhnya, Anda dapat membeli beberapa instance ECS yang berada dalam VPC yang sama untuk menerapkan kluster Elasticsearch multi-node. Untuk informasi lebih lanjut tentang cara membeli instance ECS, lihat Buat instance di tab Peluncuran Kustom.

2. Aktifkan OSS, dan buat bucket di wilayah tempat instance ECS yang menjalankan kluster Elasticsearch yang dikelola sendiri berada.

   Untuk informasi selengkapnya, lihat Aktifkan OSS dan Buat bucket.

   Penting

   Kelas penyimpanan bucket harus Jenis Penyimpanan Standar. Elasticsearch tidak mendukung kelas penyimpanan Archive.

3. Buat kluster Alibaba Cloud Elasticsearch di wilayah tempat bucket yang dibuat berada.

   Untuk informasi selengkapnya, lihat Buat kluster Alibaba Cloud Elasticsearch.

Langkah 2: Instal plug-in elasticsearch-repository-oss

1. Sambungkan ke instance ECS yang menjalankan kluster Elasticsearch yang dikelola sendiri.

   Untuk informasi selengkapnya, lihat Sambungkan ke instance Linux menggunakan sandi atau kunci.

   Catatan

   Dalam contoh ini, digunakan pengguna biasa.

2. Unduh paket instalasi plug-in elasticsearch-repository-oss.

   Dalam contoh ini, versi plug-in adalah V6.7.0, yang memerlukan JDK 11.0 atau lebih baru.

   wget https://github.com/aliyun/elasticsearch-repository-oss/releases/download/v6.7.0/elasticsearch-repository-oss-6.7.0.zip

   Catatan

   Untuk informasi selengkapnya tentang cara memperoleh paket instalasi plug-in elasticsearch-repository-oss versi lain, lihat FAQ.

3. Ekstrak paket instalasi ke folder plugins di jalur instalasi kluster Elasticsearch yang dikelola sendiri pada instance ECS.

   sudo unzip -d /usr/local/elasticsearch-6.7.0/plugins/elasticsearch-repository-oss elasticsearch-repository-oss-6.7.0.zip

   Anda juga dapat menggunakan perintah untuk menginstal plug-in.

   sudo ./bin/elasticsearch-plugin install file:///usr/local/elasticsearch-repository-oss-6.7.0.zip

4. Jalankan setiap node dalam kluster Elasticsearch yang dikelola sendiri.

   cd /usr/local/elasticsearch-6.7.0
   ./bin/elasticsearch -d

Langkah 3: Buat repositori snapshot untuk kluster Elasticsearch yang dikelola sendiri

Sambungkan ke instance ECS yang menjalankan kluster Elasticsearch yang dikelola sendiri dan jalankan perintah berikut untuk membuat repositori snapshot:

sudo curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",  "access_key_id": "<yourAccesskeyId>",  "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'

Tanggapan sukses mencakup "acknowledge":true.

Langkah 4: Buat snapshot untuk indeks tertentu

curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'

<yourBackupName> adalah nama repositori yang Anda buat di Langkah 3: Buat repositori di kluster Elasticsearch yang dikelola sendiri. index1 dan index2 adalah nama indeks yang ingin Anda cadangkan. Tanggapan sukses mencakup "accepted" : true .

Saat snapshot sedang dibuat, Anda dapat menjalankan perintah GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status untuk melihat status snapshot. Snapshot selesai ketika parameter state dalam tanggapan bernilai SUCCESS.

Langkah 5: Buat repositori snapshot yang sama untuk kluster Alibaba Cloud Elasticsearch

1. Masuk ke konsol Kibana kluster Elasticsearch Anda dan buka halaman utama konsol Kibana sesuai petunjuk.

   Untuk informasi selengkapnya tentang cara masuk ke konsol Kibana, lihat Masuk ke konsol Kibana.

   Catatan

   Dalam contoh ini, digunakan kluster Elasticsearch V6.7.0. Operasi pada kluster versi lain mungkin berbeda. Ikuti operasi aktual di konsol.

2. Di panel navigasi sebelah kiri halaman yang muncul, klik Dev Tools.

3. Di tab Console halaman yang muncul, jalankan perintah berikut untuk membuat repositori snapshot yang memiliki nama sama dengan repositori snapshot untuk kluster Elasticsearch yang dikelola sendiri.

   PUT _snapshot/<yourBackupName>
   {
       "type": "oss",
       "settings": {
           "endpoint": "oss-cn-hangzhou-internal.aliyuncs.com",
           "access_key_id": "<yourAccesskeyId>",
           "secret_access_key": "<yourAccesskeySecret>",
           "bucket": "<yourBucketName>",
           "compress": true
       }
   }

   Ganti <yourBackupName> dan <yourBucketName> dengan nama repositori dan nama bucket yang Anda tentukan di Langkah 3: Buat repositori snapshot untuk kluster Elasticsearch yang dikelola sendiri.

Langkah 6: Pulihkan data ke kluster Alibaba Cloud Elasticsearch dari snapshot yang dibuat

PUT _cluster/settings
{
  "persistent": {
    "cluster.restore.ignore_revision.enable": true
  }
}

POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}

Tanggapan sukses mencakup "accepted" : true.

POST _snapshot/es_backup/snapshot_1/_restore
{
  "indices":"index1",
  "rename_pattern": "index(.+)",
  "rename_replacement": "restored_index_$1"
}

Langkah 7: Lihat hasil pemulihan

FAQ

T: Bagaimana cara memperoleh paket instalasi plug-in elasticsearch-repository-oss versi lain?