Pemilihan metode migrasi Elasticsearch - Elasticsearch - Alibaba Cloud Documentation Center

Alibaba Cloud Elasticsearch mendukung berbagai metode migrasi data, termasuk Logstash, reindex, Object Storage Service (OSS), dan Data Online Migration. Anda dapat melakukan migrasi data antar instans Alibaba Cloud Elasticsearch, memigrasikan data dari kluster Elasticsearch yang dikelola sendiri, atau memigrasikan data dari layanan Elasticsearch pihak ketiga. Topik ini membandingkan skenario penggunaan dan keterbatasan masing-masing metode untuk membantu Anda memilih opsi terbaik.

Penting

Pada Oktober 2020, Alibaba Cloud Elasticsearch melakukan peningkatan arsitektur jaringannya. Instans yang dibuat sebelum tanggal tersebut menggunakan arsitektur jaringan lama, sedangkan instans yang dibuat pada atau setelah Oktober 2020 menggunakan arsitektur jaringan baru. Operasi antar kluster, seperti remote reindex, cross-cluster search, dan cross-cluster replication, tidak didukung antara instans dengan arsitektur jaringan baru dan lama. Untuk menjalankan operasi tersebut, pastikan kedua instans menggunakan arsitektur jaringan yang sama. Untuk instans di wilayah China (Zhangjiakou) dan wilayah luar negeri, waktu tepat peningkatan arsitektur jaringan bervariasi. Untuk memverifikasi konektivitas jaringan guna operasi antar kluster, submit a ticket untuk menghubungi dukungan teknis Alibaba Cloud Elasticsearch. Untuk memeriksa arsitektur jaringan suatu instans, login ke Konsol Alibaba Cloud Elasticsearch dan temukan bagian Basic Information pada halaman Control Architecture Type. Cloud-native Control Architecture (v3) menunjukkan arsitektur jaringan baru, dan Basic Control Architecture (v2) menunjukkan arsitektur jaringan lama.
Jangan memigrasikan indeks sistem. Indeks ini diawali dengan titik (.), seperti .monitoring, .kibana, atau .security. Memigrasikan indeks ini dapat menyebabkan Kibana gagal berfungsi.
Data Transmission Service (DTS) tidak mendukung sinkronisasi data antara dua instans Elasticsearch.
Durasi migrasi bergantung pada volume data yang akan dimigrasikan, jumlah indeks, dan beban pada kluster sumber dan target. Durasi pasti tidak dapat diprediksi sebelumnya. Untuk volume data yang sama, snapshot OSS biasanya lebih cepat dibandingkan metode migrasi lainnya. Sebelum melakukan migrasi sesungguhnya, jalankan migrasi percobaan dengan jumlah indeks kecil untuk memperkirakan jendela migrasi secara keseluruhan.

Migrasi antar instans Alibaba Cloud Elasticsearch

Metode migrasi	Skenario penggunaan	Keterbatasan	Contoh
OSS snapshot	Memigrasikan dataset besar (skala GB, TB, atau PB). Memigrasikan data snapshot antar instans dalam akun Alibaba Cloud yang sama atau berbeda, baik dalam wilayah yang sama maupun lintas wilayah. Catatan Untuk migrasi data lintas wilayah, Anda dapat menggunakan perintah snapshot dan restore Elasticsearch bersama fitur cross-region replication (CRR) OSS.	Memigrasikan data lengkap menggunakan snapshot OSS tidak memerlukan downtime layanan. Namun, migrasi data inkremental mungkin mengharuskan Anda menghentikan operasi tulis pada instans sumber. Saat memulihkan data inkremental pada kluster baru, Anda harus menutup indeks tersebut. Untuk menggunakan fitur repositori OSS antar kluster Alibaba Cloud Elasticsearch, instans sumber dan target harus memenuhi persyaratan berikut: Berlokasi di wilayah yang sama. Milik akun Alibaba Cloud atau Pengguna RAM yang sama. Versi instans sumber harus lebih awal dari atau sama dengan versi instans target. Untuk informasi selengkapnya tentang kompatibilitas versi, lihat Compatibility matrixes. Saat menggunakan API untuk memigrasikan data snapshot lintas akun, Anda harus menggunakan AccessKey yang sama untuk sumber dan target. Secara spesifik, saat menambahkan repositori, gunakan AccessKey dari akun pemilik bucket Object Storage Service (OSS). Kelayakan metode snapshot OSS tergantung terutama pada wilayah bucket OSS, bukan pada akun pemilik instans. Persyaratan wilayah dan akun yang sama hanya berlaku untuk fitur repositori OSS antar kluster di Konsol. Untuk skenario lintas akun, Anda dapat menambahkan repositori melalui API menggunakan AccessKey dari akun pemilik bucket. Jika instans berada di wilayah yang sama dan volume datanya besar, gunakan snapshot OSS. Untuk skenario lintas wilayah, pertama-tama gunakan fitur cross-region replication (CRR) OSS untuk mereplikasi snapshot ke bucket di wilayah tujuan, lalu pulihkan data pada instans target. Misalnya, Anda dapat membuat snapshot instans di wilayah China (Shanghai) ke bucket di wilayah China (Shanghai), mereplikasi snapshot tersebut ke bucket di wilayah China (Beijing) menggunakan CRR, lalu memulihkan data ke instans di wilayah China (Beijing).	Back up and restore data by using a cross-cluster OSS repository (untuk snapshot otomatis) Create manual snapshots and restore data from manual snapshots (untuk snapshot manual)
Logstash	Memigrasikan data lengkap atau menyinkronkan data inkremental ketika performa real-time tidak menjadi prioritas utama. Penting Untuk migrasi lintas akun dan lintas wilayah di mana instans Elasticsearch dan Logstash tidak berada dalam VPC yang sama, Anda harus mengonfigurasi NAT gateway untuk instans Logstash agar dapat mentransmisikan data melalui jaringan publik. Memigrasikan hanya hasil kueri. Menyaring data sebelum migrasi. Memigrasikan data lintas versi utama, misalnya dari 5.x ke 6.x atau 7.x. Untuk informasi selengkapnya tentang kompatibilitas versi, lihat Compatibility matrixes.	Instans Elasticsearch sumber, instans Logstash, dan instans Elasticsearch target harus berada dalam VPC yang sama. Jika tidak, Anda harus mengonfigurasi NAT gateway untuk mengaktifkan konektivitas jaringan publik. Untuk informasi selengkapnya, lihat Configure a NAT gateway for data transmission over the Internet. Versi instans Elasticsearch sumber, Logstash, dan Elasticsearch target harus kompatibel. Untuk informasi selengkapnya, lihat Compatibility matrixes. Untuk menyinkronkan data inkremental, pastikan ID data konsisten antara sumber dan target, serta konfigurasikan tugas terjadwal.	Migrate data between Alibaba Cloud Elasticsearch clusters Use the reindex API to migrate data in a multi-type index of an earlier version
reindex	Memigrasikan dataset kecil di mana kecepatan migrasi bukan prioritas utama. Memigrasikan hanya hasil kueri (hasil dari pernyataan kueri yang dijalankan di Kibana).	Kedua kluster Elasticsearch harus menggunakan arsitektur jaringan yang sama. Untuk informasi selengkapnya, lihat catatan di awal topik ini.	Use the reindex API to migrate data
elasticsearch-dump tool	Memigrasikan dataset kecil dengan jumlah indeks terbatas.	Kluster sumber, kluster target, dan server tempat alat elasticsearch-dump diinstal harus memiliki konektivitas jaringan.	Use elasticsearch-dump to migrate data
OSS snapshot dan reindex	Memigrasikan data lengkap dan inkremental. Memigrasikan lintas versi utama di mana format file mungkin tidak kompatibel dan pemulihan snapshot langsung tidak didukung. Sebagai contoh, untuk migrasi dari 6.x ke 8.x, Anda dapat terlebih dahulu memulihkan snapshot ke instans 7.x, melakukan reindex data pada instans 7.x, lalu memulihkan snapshot dari instans 7.x ke instans 8.x.	Versi perantara harus kompatibel dengan versi sumber dan target. Untuk informasi selengkapnya, lihat Elastic version changes and compatibility.	Create manual snapshots and restore data from manual snapshots (untuk snapshot manual) Use the reindex API to migrate data
Data Online Migration	Peningkatan tanpa downtime dari Alibaba Cloud Elasticsearch V2 ke V3, dengan migrasi data dan pelestarian endpoint.		Upgrade instance architecture

Migrasi dari Elasticsearch yang dikelola sendiri ke Alibaba Cloud Elasticsearch

Metode migrasi	Skenario penggunaan	Keterbatasan	Contoh
Data Online Migration	Memigrasikan data dari kluster Elasticsearch yang dikelola sendiri yang di-deploy pada instans ECS di dalam IDC. Migrasi mulus, highly available, dan tanpa downtime dari kluster Elasticsearch yang dikelola sendiri.	Migrasi data lintas wilayah dan lintas-VPC tidak didukung. Migrasi lintas versi utama tidak didukung (misalnya, dari 7.x ke 8.x). Indeks di kluster Elasticsearch yang dikelola sendiri harus memiliki setidaknya satu replica.	Migrate data from a self-managed Elasticsearch cluster to Alibaba Cloud Elasticsearch
OSS snapshot	Memigrasikan dataset besar (skala GB, TB, atau PB). Memigrasikan data snapshot dalam akun Alibaba Cloud yang sama atau berbeda, baik dalam wilayah yang sama maupun lintas wilayah.	Anda harus mendapatkan plug-in elasticsearch-repository-oss yang sesuai dengan versi Elasticsearch sumber. Memigrasikan data inkremental menggunakan snapshot OSS mungkin memerlukan downtime layanan. Saat memulihkan data inkremental pada kluster baru, Anda harus menutup indeks tersebut.	Use OSS to migrate data from a self-managed Elasticsearch cluster to an Alibaba Cloud Elasticsearch cluster
Logstash	Migrasi data di mana performa real-time tidak menjadi prioritas utama. Memigrasikan hanya hasil kueri. Menyaring data sebelum migrasi. Memigrasikan data lintas versi utama, misalnya dari 5.x ke 6.x atau 7.x. Untuk informasi selengkapnya tentang kompatibilitas versi, lihat Compatibility matrixes.	Instans Elasticsearch sumber, instans Logstash, dan instans Elasticsearch target harus berada dalam VPC yang sama. Jika tidak, Anda harus mengonfigurasi NAT gateway untuk mengaktifkan konektivitas jaringan publik. Untuk informasi selengkapnya, lihat Configure a NAT gateway for data transmission over the Internet. Versi instans Elasticsearch sumber, Logstash, dan Elasticsearch target harus kompatibel. Untuk informasi selengkapnya, lihat Compatibility matrixes. Untuk menyinkronkan data inkremental, pastikan ID data konsisten antara sumber dan target, serta konfigurasikan tugas terjadwal.	Use Alibaba Cloud Logstash to migrate data from a self-managed Elasticsearch cluster to an Alibaba Cloud Elasticsearch cluster Use the reindex API to migrate data in a multi-type index of an earlier version
reindex	Memigrasikan dataset kecil di mana kecepatan migrasi bukan prioritas utama. Memigrasikan hanya hasil kueri (hasil dari pernyataan kueri yang dijalankan di Kibana). Memigrasikan dari kluster Elasticsearch yang dikelola sendiri versi lama ke kluster Alibaba Cloud Elasticsearch versi baru, misalnya dari 6.x ke 8.x. Hal ini memerlukan penggunaan PrivateLink untuk membangun konektivitas jaringan guna remote reindexing.	Kedua kluster Elasticsearch harus menggunakan arsitektur jaringan yang sama. Untuk informasi selengkapnya, lihat catatan di awal topik ini.	Use the reindex API to migrate data from a self-managed Elasticsearch cluster to an Alibaba Cloud Elasticsearch cluster
elasticsearch-dump tool	Memigrasikan dataset kecil dengan jumlah indeks terbatas.	Kluster sumber, kluster target, dan server tempat alat elasticsearch-dump diinstal harus memiliki konektivitas jaringan.	Use elasticsearch-dump to migrate data

Migrasi dari pihak ketiga ke Alibaba Cloud Elasticsearch

Metode migrasi	Skenario penggunaan	Keterbatasan	Contoh
OSS snapshot	Memigrasikan dataset besar (skala GB, TB, atau PB).	Memigrasikan data inkremental menggunakan snapshot OSS mungkin memerlukan service downtime. Saat memulihkan data inkremental pada kluster baru, Anda harus menutup indeks tersebut.	Migrate Elasticsearch index data from Amazon OpenSearch Service to Alibaba Cloud Elasticsearch Catatan Metode ini tidak terbatas pada vendor cloud tertentu dan mengandalkan mekanisme snapshot Elasticsearch. Sebagai contoh, Anda dapat menggunakan Alibaba Cloud Data Online Migration (Migrate data) untuk memigrasikan data snapshot Elasticsearch dari Tencent Cloud COS ke Alibaba Cloud OSS, lalu memulihkan data dari repositori OSS. Untuk informasi selengkapnya, lihat Create manual snapshots and restore data from manual snapshots. Migrasi snapshot Elasticsearch hanya mendukung pemulihan data ke versi yang sama atau lebih baru. Untuk informasi selengkapnya, lihat Version compatibility of data restoration from snapshots.
elasticsearch-dump tool	Memigrasikan dataset kecil dengan jumlah indeks terbatas.	Kluster sumber, kluster target, dan server tempat alat elasticsearch-dump diinstal harus memiliki konektivitas jaringan.	Use elasticsearch-dump to migrate data