Pilih solusi migrasi data Elasticsearch - Elasticsearch

Anda dapat menggunakan Logstash, API reindex, atau Object Storage Service (OSS) untuk memigrasikan data antar kluster Elasticsearch Alibaba Cloud, dari kluster Elasticsearch yang dikelola sendiri ke kluster Elasticsearch Alibaba Cloud, atau dari sumber Elasticsearch pihak ketiga ke kluster Elasticsearch Alibaba Cloud. Topik ini menjelaskan skenario penggunaan dan batasan setiap solusi migrasi data. Anda dapat memilih solusi berdasarkan kebutuhan bisnis Anda.

Penting

Arsitektur jaringan Alibaba Cloud Elasticsearch disesuaikan pada Oktober 2020. Kluster Elasticsearch yang dibuat sebelum Oktober 2020 diterapkan dalam arsitektur jaringan lama. Kluster Elasticsearch yang dibuat pada atau setelah Oktober 2020 diterapkan dalam arsitektur jaringan baru. Operasi lintas kluster seperti reindex, pencarian, atau replikasi tidak diizinkan antara kluster yang menggunakan arsitektur jaringan lama dan baru. Jika ingin melakukan operasi ini, pastikan kedua kluster berada dalam arsitektur jaringan yang sama. Penyesuaian arsitektur jaringan di wilayah China (Zhangjiakou) dan wilayah internasional belum ditentukan. Untuk operasi lintas kluster di wilayah tersebut, ajukan tiket untuk menghubungi dukungan teknis Alibaba Cloud guna memeriksa kemungkinan koneksi antar kluster.
Hindari migrasi indeks sistem dengan nama yang dimulai dengan titik (.), seperti indeks .monitoring, .kibana, dan .security. Migrasi indeks ini dapat menyebabkan kegagalan Kibana.

Migrasi data antar kluster Elasticsearch Alibaba Cloud

Solusi Migrasi	Skema Penggunaan	Catatan Penggunaan	Contoh
Snapshot OSS	Sumber menyimpan data dalam ukuran gigabyte, terabyte, atau petabyte. Gunakan snapshot untuk memigrasikan data antar kluster Elasticsearch Alibaba Cloud yang termasuk dalam akun Alibaba Cloud yang sama atau berbeda, serta berada di wilayah yang sama atau berbeda. Catatan Untuk migrasi lintas wilayah, gunakan perintah Elasticsearch untuk membuat snapshot dan memulihkan data bersama dengan fitur replikasi lintas wilayah (CRR) yang disediakan oleh OSS.	Untuk migrasi data tambahan, Anda mungkin perlu menghentikan layanan Elasticsearch dan menonaktifkan indeks tujuan sebelum migrasi. Sebelum mengonfigurasi repositori OSS bersama, pastikan kluster Elasticsearch sumber dan tujuan memenuhi persyaratan berikut: Kluster berada di wilayah yang sama. Kluster milik akun Alibaba Cloud yang sama atau pengguna RAM. Versi kluster sumber lebih awal atau sama dengan versi kluster tujuan. Untuk informasi lebih lanjut tentang kompatibilitas versi, lihat Kompatibilitas Versi Pemulihan Data dari Snapshot. Jika menggunakan akun Alibaba Cloud berbeda, gunakan pasangan AccessKey yang sama untuk kluster tersebut. Ini berarti Anda harus menentukan pasangan AccessKey dari akun tempat Bucket OSS berada saat mengonfigurasi repositori OSS bersama.	Migrasikan data dalam snapshot otomatis (Konfigurasikan Repositori OSS Bersama) Migrasikan data dalam snapshot manual (Buat Snapshot Manual dan Pulihkan Data dari Snapshot Manual)
Logstash	Gunakan Logstash untuk migrasi data penuh atau tambahan tanpa persyaratan tinggi untuk kinerja real-time. Penting Untuk migrasi lintas akun dan wilayah, konfigurasikan gateway NAT untuk kluster Logstash jika kluster Elasticsearch dan Logstash berada di VPC berbeda. Gunakan gateway tersebut untuk menghubungkan kluster melalui Internet Migrasikan hanya hasil kueri. Filter data yang ingin dimigrasikan. Migrasikan data antar kluster versi utama berbeda, misalnya dari kluster V5.X ke V6.X atau V7.X. Untuk informasi lebih lanjut tentang kompatibilitas versi, lihat Matriks Kompatibilitas.	Kluster Elasticsearch sumber, Logstash, dan tujuan harus berada di VPC yang sama. Jika berbeda, konfigurasikan gateway NAT untuk kluster Logstash. Lihat Konfigurasikan Gateway NAT untuk Transmisi Data Melalui Internet. Versi kluster Elasticsearch sumber, Logstash, dan tujuan harus memenuhi persyaratan kompatibilitas. Lihat Matriks Kompatibilitas. Untuk migrasi data tambahan, pastikan ID indeks sumber sama dengan ID indeks tujuan dan konfigurasikan tugas migrasi terjadwal.	Migrasikan Data Antar Kluster Elasticsearch Alibaba Cloud Gunakan API Reindex untuk Memigrasikan Data dalam Indeks Multi-Tipe Versi Sebelumnya
API Reindex	Sumber menyimpan volume data kecil, tanpa persyaratan tinggi untuk kecepatan migrasi. Migrasikan hanya hasil kueri yang diperoleh melalui konsol Kibana.	Kluster Elasticsearch sumber dan tujuan harus diterapkan dalam arsitektur jaringan yang sama. Lihat Gunakan API Reindex untuk Memigrasikan Data dalam Indeks Multi-Tipe Versi Sebelumnya.	Gunakan API Reindex untuk Memigrasikan Data
elasticsearch-dump	Migrasikan volume data kecil dalam skenario dengan sejumlah kecil indeks.	Pastikan koneksi jaringan tersedia antara kluster Elasticsearch sumber, tujuan, dan server tempat alat elasticsearch-dump diinstal.	Gunakan elasticsearch-dump untuk Memigrasikan Data
Snapshot OSS dan API Reindex	Migrasikan data penuh dan tambahan. Migrasikan data antar kluster Elasticsearch Alibaba Cloud versi utama berbeda. Format data mungkin tidak kompatibel jika hanya menggunakan snapshot OSS. Contohnya, untuk migrasi dari kluster V6.X ke V8.X, gunakan snapshot kluster V6.X untuk migrasi ke V7.X, panggil API reindex di V7.X untuk mengindeks ulang data, lalu gunakan snapshot V7.X untuk migrasi ke V8.X.	Kluster versi perantara harus kompatibel dengan kluster sumber dan tujuan. Lihat Perubahan Versi Elastic dan Kompatibilitas.	Migrasikan data dalam snapshot manual (Buat Snapshot Manual dan Pulihkan Data dari Snapshot Manual) Gunakan API Reindex untuk Memigrasikan Data

Migrasi data dari kluster Elasticsearch mandiri ke kluster Elasticsearch Alibaba Cloud

Solusi Migrasi	Skema Penggunaan	Catatan Penggunaan	Contoh
Snapshot OSS	Sumber menyimpan data dalam ukuran gigabyte, terabyte, atau petabyte. Migrasikan data dalam snapshot antara kluster Elasticsearch mandiri dan kluster Elasticsearch Alibaba Cloud yang termasuk dalam akun Alibaba Cloud yang sama atau berbeda, serta berada di wilayah yang sama atau berbeda.	Plugin elasticsearch-repository-oss harus diinstal di setiap node kluster Elasticsearch Alibaba Cloud. Versi plugin harus sama dengan versi plugin yang diinstal di setiap node kluster Elasticsearch mandiri. Untuk migrasi data tambahan, Anda mungkin perlu menghentikan layanan Elasticsearch dan menonaktifkan indeks tujuan sebelum migrasi.	Gunakan OSS untuk Memigrasikan Data dari Kluster Elasticsearch Mandiri ke Kluster Elasticsearch Alibaba Cloud
Logstash	Tidak ada persyaratan tinggi untuk kinerja real-time migrasi data. Migrasikan hanya hasil kueri. Filter data yang ingin dimigrasikan. Migrasikan data antar kluster versi utama berbeda, misalnya dari kluster 5.x ke V6.X atau V7.X. Lihat Matriks Kompatibilitas.	Kluster Elasticsearch sumber, Logstash, dan tujuan harus berada di VPC yang sama. Jika berbeda, konfigurasikan gateway NAT untuk kluster Logstash. Lihat Konfigurasikan Gateway NAT untuk Transmisi Data Melalui Internet. Versi kluster Elasticsearch sumber, Logstash, dan tujuan harus memenuhi persyaratan kompatibilitas. Lihat Matriks Kompatibilitas. Untuk migrasi data tambahan, pastikan ID indeks sumber sama dengan ID indeks tujuan dan konfigurasikan tugas migrasi terjadwal.	Gunakan Logstash Alibaba Cloud untuk Memigrasikan Data dari Kluster Elasticsearch Mandiri ke Kluster Elasticsearch Alibaba Cloud Gunakan API Reindex untuk Memigrasikan Data dalam Indeks Multi-Tipe Versi Sebelumnya
API Reindex	Sumber menyimpan volume data kecil, tanpa persyaratan tinggi untuk kecepatan migrasi. Migrasikan hanya hasil kueri yang diperoleh melalui konsol Kibana. Migrasikan data dari kluster Elasticsearch mandiri versi sebelumnya (seperti 6.x) ke kluster Elasticsearch Alibaba Cloud versi lebih baru (seperti V8.X). Gunakan PrivateLink untuk menetapkan koneksi privat antara VPC tempat kluster berada, lalu gunakan API reindex untuk memigrasikan data.	Kluster Elasticsearch sumber dan tujuan harus diterapkan dalam arsitektur jaringan yang sama. Lihat Gunakan API Reindex untuk Memigrasikan Data dalam Indeks Multi-Tipe Versi Sebelumnya.	Gunakan API Reindex untuk Memigrasikan Data dari Kluster Elasticsearch Mandiri ke Kluster Elasticsearch Alibaba Cloud
elasticsearch-dump	Migrasikan volume data kecil dalam skenario dengan sejumlah kecil indeks.	Pastikan koneksi jaringan tersedia antara kluster Elasticsearch sumber, tujuan, dan server tempat alat elasticsearch-dump diinstal.	Gunakan elasticsearch-dump untuk Memigrasikan Data

Migrasi data dari sumber Elasticsearch pihak ketiga ke kluster Elasticsearch Alibaba Cloud

Solusi migrasi	Skema penggunaan	Catatan penggunaan	Contoh
Snapshot OSS	Sumber menyimpan data dalam ukuran gigabyte, terabyte, atau petabyte.	Jika Anda ingin menggunakan solusi ini untuk memigrasikan data tambahan, Anda mungkin perlu menghentikan layanan Elasticsearch Anda dan harus menonaktifkan indeks tujuan sebelum migrasi data.	Migrasikan data indeks Elasticsearch dari Amazon OpenSearch Service ke Alibaba Cloud Elasticsearch Catatan Solusi ini tidak terbatas pada penyedia layanan cloud tetapi bergantung pada mekanisme snapshot Elasticsearch. Sebagai contoh, Anda dapat menggunakan Layanan Migrasi Data Online yang disediakan oleh Alibaba Cloud untuk memigrasikan data Elasticsearch dalam snapshot dari Bucket COS (Tencent Cloud Object Storage) ke Bucket OSS Alibaba Cloud. Kemudian, pulihkan data ke kluster tujuan. Untuk informasi tentang cara memigrasikan data dari Bucket COS ke Bucket OSS Alibaba Cloud, lihat Migrasikan data. Untuk informasi tentang cara memulihkan data dalam snapshot, lihat Buat snapshot manual dan pulihkan data dari snapshot manual. Versi kluster Elasticsearch tujuan harus sama dengan atau lebih baru daripada objek Elasticsearch sumber. Untuk informasi tentang kompatibilitas versi, lihat Kompatibilitas versi pemulihan data dari snapshot.
elasticsearch-dump	Anda ingin memigrasikan volume data kecil dalam skenario dengan sejumlah kecil indeks.	Koneksi jaringan harus dibuat di antara objek Elasticsearch sumber, kluster Elasticsearch tujuan, dan server tempat alat elasticsearch-dump diinstal.	Gunakan elasticsearch-dump untuk memigrasikan data