Elasticsearch：Migrasi indeks Elasticsearch dari Amazon OpenSearch Service ke Alibaba Cloud

Ikhtisar migrasi

Migrasi ini mentransfer data indeks melalui snapshot Elasticsearch dengan menggunakan Amazon Simple Storage Service (Amazon S3) dan Object Storage Service (OSS) sebagai penyimpanan perantara. Langkah-langkah utamanya adalah:

1. Buat repositori snapshot pada domain Amazon OpenSearch Service dan ambil snapshot lengkap dari indeks Anda.

2. Transfer snapshot dari bucket S3 ke bucket OSS menggunakan ossimport atau Data Online Migration.

3. Daftarkan repositori snapshot pada kluster Alibaba Cloud Elasticsearch yang mengarah ke bucket OSS tersebut.

4. Pulihkan snapshot ke kluster Alibaba Cloud Elasticsearch.

5. Sinkronkan perubahan inkremental dengan mengulangi siklus snapshot-transfer-restore hingga cutover.

6. Lakukan cutover akhir dengan menghentikan penulisan data, mengambil snapshot terakhir, lalu mengalihkan traffic ke Alibaba Cloud Elasticsearch.

Kompatibilitas versi

Versi kluster Elasticsearch tujuan harus sama atau lebih baru daripada versi kluster sumber. Snapshot hanya kompatibel maju sebanyak satu versi utama:

Untuk detail lengkap, lihat Snapshot restore version compatibility.

Prasyarat

Langkah 1: Siapkan izin IAM AWS

Sebelum mendaftarkan repositori snapshot, konfigurasikan IAM untuk memberikan akses Amazon OpenSearch Service ke bucket S3 Anda.

Langkah 2: Daftarkan repositori snapshot pada Amazon OpenSearch Service

Amazon OpenSearch Service memerlukan penandatanganan permintaan AWS untuk pendaftaran repositori snapshot, sehingga Anda tidak dapat menggunakan perintah cURL. Gunakan client Python yang disediakan sebagai gantinya.

1. Unduh skrip register_snapshot_repository.py.

2. Perbarui parameter skrip:

   Untuk mengaktifkan enkripsi sisi server dengan kunci yang dikelola S3, tambahkan "server_side_encryption": true ke JSON settings. Jika bucket S3 berada di wilayah ap-southeast-1, ganti "region": "ap-southeast-1" dengan "endpoint": "s3.amazonaws.com".

   Parameter	Deskripsi
   region	Wilayah AWS dari domain Amazon OpenSearch Service
   host	Titik akhir domain Amazon OpenSearch Service
   aws_access_key_id	ID kredensial IAM Anda
   aws_secret_access_key	Kunci kredensial IAM Anda
   path	Jalur repositori snapshot
   data	Nama bucket S3 dan ARN peran IAM

3. Instal library Python yang diperlukan:

      pip install requests requests-aws4auth

4. Jalankan skrip untuk mendaftarkan repositori snapshot:

      python register_snapshot_repository.py

5. Verifikasi pendaftaran. Masuk ke Konsol Kibana domain Amazon OpenSearch Service, klik Dev Tools di panel navigasi kiri, lalu jalankan perintah berikut di tab Console: Tanggapan akan menampilkan daftar repositori snapshot yang telah didaftarkan.

      GET _snapshot/<repository>/snapshot_1

Langkah 3: Buat snapshot lengkap

Jalankan perintah berikut di Konsol Dev Tools Kibana atau menggunakan cURL dari command line.

1. Buat snapshot. Ganti <repository> dengan nama repositori snapshot Anda dan <index> dengan indeks yang akan dimigrasikan: Contoh dengan indeks movies:

      PUT _snapshot/<repository>/snapshot_1
      {
        "indices": "<index>"
      }

      PUT _snapshot/eric-snapshot-repository/snapshot_movies_1
      {
        "indices": "movies"
      }

2. Periksa status snapshot: Tunggu hingga bidang state menunjukkan SUCCESS. Catat nilai start_time_in_millis dan end_time_in_millis untuk transfer snapshot inkremental nanti.

      GET _snapshot/<repository>/snapshot_1

3. Verifikasi bahwa objek snapshot muncul di Konsol S3.

Langkah 4: Transfer snapshot dari S3 ke OSS

Transfer objek snapshot dari bucket S3 ke bucket OSS. Untuk petunjuk lengkap, lihat Migrate data from Amazon S3 to Alibaba Cloud OSS.

Setelah transfer selesai, verifikasi bahwa objek snapshot muncul di Konsol OSS.

Langkah 5: Pulihkan snapshot pada Alibaba Cloud Elasticsearch

1. Masuk ke Konsol Kibana kluster Alibaba Cloud Elasticsearch Anda. Untuk informasi selengkapnya, lihat Log on to the Kibana console.

2. Klik Dev Tools di panel navigasi kiri dan buka tab Console.

3. Daftarkan repositori snapshot yang mengarah ke bucket OSS. Nama repositori harus sama dengan yang didaftarkan pada Amazon OpenSearch Service. Ganti nilai placeholder: Contoh:

      PUT _snapshot/<repository>
      {
        "type": "oss",
        "settings": {
          "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
          "access_key_id": "<your-AccessKey-ID>",
          "secret_access_key": "<your-AccessKey-secret>",
          "bucket": "<your-oss-bucket>",
          "base_path": "<snapshot-directory-path>",
          "compress": true
        }
      }

      PUT _snapshot/eric-snapshot-repository
      {
        "type": "oss",
        "settings": {
          "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",
          "access_key_id": "your AccessKeyID",
          "secret_access_key": "your AccessKeySecret",
          "bucket": "eric-oss-aws-es-snapshot-s3",
          "base_path": "my/snapshot/directory",
          "compress": true
        }
      }

4. Verifikasi bahwa snapshot dapat diakses:

      GET _snapshot/<repository>/snapshot_1

5. Pulihkan snapshot:

      POST _snapshot/<repository>/snapshot_1/_restore
      {
        "indices": "<index>"
      }

6. Verifikasi bahwa pemulihan berhasil:

      GET <index>/_recovery

Langkah 6: Migrasi perubahan inkremental

Setelah memulihkan snapshot garis dasar, ulangi siklus snapshot-transfer-restore untuk menyinkronkan perubahan inkremental. Dalam contoh ini, indeks movies awalnya berisi 3 dokumen. Setelah menambahkan 2 dokumen lagi pada domain sumber, snapshot inkremental menangkap perubahan tersebut.

Langkah 7: Lakukan cutover akhir

1. Hentikan semua layanan yang menulis ke indeks sumber pada domain Amazon OpenSearch Service.

2. Buat snapshot terakhir pada domain Amazon OpenSearch Service:

      PUT _snapshot/<repository>/snapshot_final
      {
        "indices": "<index>"
      }

3. Transfer snapshot terakhir ke OSS dan pulihkan ke kluster Alibaba Cloud Elasticsearch. Ikuti langkah-langkah yang dijelaskan di Langkah 6: Migrasi perubahan inkremental.

4. Alihkan traffic aplikasi ke titik akhir kluster Alibaba Cloud Elasticsearch.

Verifikasi hasil migrasi

Setelah pemulihan, pastikan data lengkap dan benar:

1. Periksa jumlah dokumen. Bandingkan jumlah dokumen pada kedua kluster:

      GET <index>/_count

2. Periksa kesehatan indeks. Pastikan status indeks adalah green:

      GET _cluster/health/<index>

3. Periksa status pemulihan. Pastikan semua shard telah sepenuhnya dipulihkan:

      GET <index>/_recovery

4. Periksa sampel data. Kueri beberapa dokumen untuk memastikan integritas data:

      GET <index>/_search
      {
        "size": 5
      }

FAQ

Mengapa pemulihan gagal dengan error tentang objek snapshot di OSS?

Hal ini biasanya terjadi ketika nama objek snapshot di OSS mengandung karakter khusus seperti garis miring (/). Gunakan ossbrowser untuk memindahkan objek snapshot yang terpengaruh ke folder biasa, lalu coba lagi pemulihan tersebut.

Dapatkah saya menggunakan cURL untuk mendaftarkan repositori snapshot pada Amazon OpenSearch Service?

Tidak. Amazon OpenSearch Service memerlukan penandatanganan permintaan AWS, yang tidak didukung oleh cURL. Gunakan client Python dengan library requests dan requests-aws4auth sebagai gantinya.

Apakah saya perlu menutup indeks sebelum setiap pemulihan?

Hanya untuk pemulihan inkremental. Saat memulihkan ke indeks yang sudah ada dan sedang terbuka, tutup terlebih dahulu dengan POST /<index>/_close, lalu buka kembali dengan POST /<index>/_open setelah pemulihan selesai.

Topik terkait

• Create manual snapshots and restore data from manual snapshots

• Migrate data from Amazon S3 to Alibaba Cloud OSS

• ossimport description and configuration

• Elasticsearch snapshot and restore

• Working with Amazon OpenSearch Service index snapshots