Solusi migrasi data Elasticsearch - Elasticsearch - Alibaba Cloud Documentation Center

Anda dapat menggunakan berbagai metode—seperti Logstash, reindex, Object Storage Service (OSS), dan alat migrasi online—untuk melakukan migrasi data. Skenario mencakup migrasi data antar kluster Alibaba Cloud Elasticsearch, dari kluster Elasticsearch yang dikelola sendiri ke kluster Alibaba Cloud Elasticsearch, atau dari kluster Elasticsearch pihak ketiga ke kluster Alibaba Cloud Elasticsearch. Topik ini menjelaskan solusi migrasi yang tersedia, kasus penggunaannya, serta keterbatasannya untuk membantu Anda memilih solusi yang tepat sesuai kebutuhan.

Penting

Pada Oktober 2020, Alibaba Cloud Elasticsearch memperbarui arsitektur jaringannya. Kluster yang dibuat sebelum Oktober 2020 menggunakan arsitektur jaringan asli, sedangkan kluster yang dibuat pada atau setelah Oktober 2020 menggunakan arsitektur jaringan baru. Operasi seperti reindex, cross-cluster search, dan cross-cluster replication tidak didukung antara kluster dengan arsitektur jaringan yang berbeda. Untuk melakukan operasi tersebut, pastikan kedua kluster menggunakan arsitektur jaringan yang sama. Untuk kluster di wilayah China (Zhangjiakou) dan wilayah luar Tiongkok daratan, waktu penyesuaian arsitektur jaringan belum pasti. Untuk memverifikasi konektivitas jaringan di wilayah-wilayah tersebut, submit a ticket ke dukungan teknis Alibaba Cloud Elasticsearch. Masuk ke Konsol Alibaba Cloud Elasticsearch dan buka halaman Basic Information kluster. Di bagian Deployment Mode, periksa arsitektur jaringannya. Cloud Native Control (v3) menunjukkan arsitektur jaringan baru, sedangkan Basic Control (v2) menunjukkan arsitektur jaringan asli.
Anda tidak boleh memigrasikan indeks sistem yang diawali dengan ., seperti .monitoring, .kibana, atau .security. Jika dilakukan, Kibana mungkin mengalami gangguan fungsi.

Skenario: Migrasi data antar kluster Alibaba Cloud Elasticsearch

Migration solution	Use cases	Limitations	Examples
OSS snapshot	Migrasi data skala besar (GB, TB, atau PB). Migrasi snapshot antar kluster dalam akun Alibaba Cloud yang sama atau berbeda, di wilayah yang sama atau berbeda. Catatan Untuk migrasi lintas wilayah, Anda dapat menggunakan perintah snapshot dan restore Elasticsearch bersama fitur cross-region replication OSS.	Migrasi data inkremental menggunakan snapshot OSS mungkin mengharuskan Anda menghentikan layanan, dan Anda juga harus menonaktifkan indeks saat memulihkan data inkremental di kluster baru. Saat mengonfigurasi repositori OSS bersama, kluster sumber dan tujuan harus memenuhi persyaratan berikut: Berlokasi di wilayah yang sama. Termasuk dalam akun Alibaba Cloud atau Pengguna RAM yang sama. Versi kluster sumber harus sama dengan atau lebih lama dari versi kluster tujuan. Untuk informasi selengkapnya, lihat Version compatibility. Untuk migrasi API lintas akun, Anda harus menggunakan Pasangan Kunci Akses dari akun pemilik bucket OSS untuk menambahkan repositori ke kedua kluster (sumber dan tujuan).	Back up and restore data by using a shared OSS repository (untuk Snapshot otomatis) Back up and restore data manually (untuk snapshot manual)
Logstash	Migrasi penuh atau sinkronisasi inkremental ketika kinerja real-time tinggi tidak diperlukan. Penting Untuk migrasi lintas akun atau lintas wilayah, kluster Elasticsearch dan Logstash mungkin tidak berada dalam VPC yang sama. Jika demikian, Anda harus mengonfigurasi gerbang NAT untuk Logstash agar transfer data melalui internet dapat dilakukan. Hanya memigrasikan hasil kueri. Memfilter data sebelum migrasi. Migrasi data lintas versi utama, misalnya dari 5.x ke 6.x atau 7.x. Untuk informasi selengkapnya, lihat Product compatibility.	Kluster sumber, kluster Logstash, dan kluster tujuan harus berada dalam VPC yang sama. Jika tidak, Anda harus mengonfigurasi gerbang NAT untuk akses jaringan publik. Untuk informasi selengkapnya, lihat Configure a NAT gateway for public data transfer. Versi kluster Elasticsearch sumber, kluster Logstash, dan kluster Elasticsearch tujuan harus kompatibel. Untuk informasi selengkapnya, lihat Product compatibility. Jika Anda perlu menyinkronkan data inkremental, pastikan ID data sumber dan tujuan cocok, serta konfigurasikan Tugas terjadwal.	Synchronize data between Alibaba Cloud Elasticsearch clusters Use reindex to migrate data from multiple types in an earlier version
reindex	Set data kecil di mana kecepatan migrasi tidak menjadi prioritas utama. Hanya memigrasikan hasil kueri yang diperoleh dengan menjalankan pernyataan pencarian di Kibana.	Kedua kluster Elasticsearch harus menggunakan arsitektur jaringan yang sama. Untuk informasi selengkapnya, lihat Notes.	Use cross-cluster reindex between Alibaba Cloud ES clusters
elasticsearch-dump tool	Set data kecil dengan jumlah indeks yang sedikit.	Diperlukan konektivitas jaringan antara kluster Elasticsearch sumber, kluster Elasticsearch tujuan, dan server tempat tool elasticsearch-dump diinstal.	Use the elasticsearch-dump tool to migrate data
OSS snapshot and reindex	Migrasi data penuh dan inkremental. Gunakan ketika pemulihan snapshot langsung tidak memungkinkan karena ketidakcocokan versi utama. Contohnya, untuk memigrasikan data dari 6.x ke 8.x, Anda dapat terlebih dahulu memulihkan snapshot ke kluster 7.x, melakukan reindex data di kluster 7.x, lalu memulihkan snapshot dari kluster 7.x ke kluster 8.x.	Versi perantara harus kompatibel dengan versi sumber dan tujuan. Untuk informasi selengkapnya, lihat Elastic Stack upgrade and migration guide.	Back up and restore data manually (untuk snapshot manual) Use cross-cluster reindex between Alibaba Cloud ES clusters
online migration tool	Untuk upgrade arsitektur kluster dari V2 ke V3 yang lancar, berdaya tinggi, dan tanpa downtime. Data dimigrasikan secara otomatis, dan Titik akhir kluster tetap tidak berubah.		Upgrade cluster architecture

Skenario: Migrasi Elasticsearch yang dikelola sendiri ke Alibaba Cloud

Migration solution	Use cases	Limitations	Examples
online migration tool	Migrasi data dari kluster Elasticsearch yang dikelola sendiri, baik yang di-deploy on-premises maupun pada Instance ECS. Untuk migrasi data yang lancar, berdaya tinggi, dan tanpa downtime dari kluster Elasticsearch yang dikelola sendiri.	Migrasi data lintas wilayah dan lintas VPC tidak didukung. Migrasi lintas versi utama, seperti dari 7.x ke 8.x, tidak didukung. Indeks sumber harus memiliki replika.	Migrate data from a self-managed Elasticsearch cluster to Alibaba Cloud
OSS snapshot	Migrasi data skala besar (GB, TB, atau PB). Migrasi snapshot antar kluster dalam akun yang sama atau berbeda, di wilayah yang sama atau berbeda.	Anda harus menginstal plugin elasticsearch-repository-oss yang kompatibel dengan versi Elasticsearch sumber Anda. Migrasi data inkremental melalui snapshot OSS mungkin mengharuskan Anda menghentikan layanan. Selain itu, Anda perlu menutup indeks saat memulihkan data inkremental di kluster baru.	Advanced: Use OSS to migrate a self-managed ES cluster to Alibaba Cloud ES
Logstash	Migrasi data ketika kinerja real-time tinggi tidak diperlukan. Hanya memigrasikan hasil kueri. Memfilter data sebelum migrasi. Migrasi data lintas versi utama, seperti dari 5.x ke 6.x atau 7.x. Untuk informasi selengkapnya, lihat Product compatibility.	Kluster sumber, kluster Logstash, dan kluster tujuan harus berada dalam VPC yang sama. Jika tidak, Anda harus mengonfigurasi gerbang NAT untuk akses jaringan publik. Untuk informasi selengkapnya, lihat Configure a NAT gateway for public data transfer. Versi kluster Elasticsearch sumber, kluster Logstash, dan kluster Elasticsearch tujuan harus kompatibel. Untuk informasi selengkapnya, lihat Product compatibility. Jika Anda perlu menyinkronkan data inkremental, pastikan ID data sumber dan tujuan identik, serta konfigurasikan Tugas terjadwal.	Use Alibaba Cloud Logstash to migrate data from a self-managed Elasticsearch cluster to Alibaba Cloud Use reindex to migrate data from multiple types in an earlier version
reindex	Set data kecil di mana kecepatan migrasi tidak menjadi prioritas utama. Hanya memigrasikan hasil kueri yang diperoleh dengan menjalankan pernyataan pencarian di Kibana. Migrasi lintas versi utama (misalnya, dari 6.x yang dikelola sendiri ke 8.x Alibaba Cloud). Dalam kasus ini, gunakan PrivateLink untuk membuat konektivitas jaringan guna melakukan remote reindexing.	Kedua kluster Elasticsearch harus menggunakan arsitektur jaringan yang sama. Untuk informasi selengkapnya, lihat Notes.	Use reindex to migrate data from a self-managed ES cluster to Alibaba Cloud
elasticsearch-dump tool	Set data kecil dengan jumlah indeks yang sedikit.	Kluster Elasticsearch sumber, kluster Elasticsearch tujuan, dan server tempat tool `elasticsearch-dump` diinstal harus memiliki konektivitas jaringan satu sama lain.	Use the elasticsearch-dump tool to migrate data

Skenario: Migrasi Elasticsearch pihak ketiga ke Alibaba Cloud

Migration solution	Use cases	Limitations	Examples
OSS snapshot	Migrasi data skala besar (GB, TB, atau PB).	Migrasi data inkremental menggunakan snapshot OSS mungkin mengharuskan Anda menghentikan layanan. Selain itu, Anda harus menonaktifkan indeks saat memulihkan data inkremental di kluster baru.	Migrate indexes from Amazon OpenSearch Service to Alibaba Cloud ES Catatan Solusi ini mengandalkan mekanisme snapshot Elasticsearch standar dan tidak terbatas pada penyedia cloud tertentu. Misalnya, Anda dapat menggunakan online migration tool Alibaba Cloud untuk mentransfer data snapshot Elasticsearch dari Tencent Cloud Object Storage (COS) ke Alibaba Cloud OSS, lalu memulihkan data dari repositori OSS ke kluster Alibaba Cloud Elasticsearch Anda. Untuk petunjuknya, lihat Back up and restore data manually. Anda hanya dapat memulihkan snapshot ke kluster dengan versi yang sama atau lebih baru. Untuk informasi selengkapnya, lihat Snapshot and restore compatibility.
elasticsearch-dump tool	Set data kecil dengan jumlah indeks yang sedikit.	Kluster Elasticsearch sumber, kluster Elasticsearch tujuan, dan server tempat tool elasticsearch-dump diinstal harus dapat saling berkomunikasi melalui jaringan.	Use the elasticsearch-dump tool to migrate data