Pilih solusi migrasi data
Alibaba Cloud Elasticsearch mendukung empat alat migrasi: snapshot OSS, Logstash, API reindex, dan elasticsearch-dump. Masing-masing cocok untuk volume data, topologi jaringan, dan kebutuhan versi yang berbeda. Gunakan tabel berikut untuk mencocokkan skenario Anda dengan solusi yang tepat.
Penting
Arsitektur jaringan Alibaba Cloud Elasticsearch berubah pada Oktober 2020. Kluster yang dibuat sebelum Oktober 2020 berjalan pada arsitektur asli; kluster yang dibuat pada Oktober 2020 atau setelahnya berjalan pada arsitektur baru. Operasi antar-kluster—reindex, pencarian, dan replikasi—tidak didukung antara kluster dengan arsitektur berbeda. Pastikan kedua kluster menggunakan arsitektur yang sama sebelum melakukan operasi tersebut. Tanggal penyesuaian untuk wilayah China (Zhangjiakou) dan wilayah di luar China belum pasti. Jika Anda perlu menjalankan operasi antar-kluster antara kluster yang dibuat sebelum Oktober 2020 dan kluster yang dibuat pada Oktober 2020 atau setelahnya di wilayah-wilayah tersebut, submit a ticket untuk memverifikasi apakah kluster tersebut dapat terhubung.
Kami menyarankan agar Anda tidak melakukan migrasi indeks sistem yang namanya diawali titik (.), seperti.monitoring,.kibana, dan.security. Migrasi indeks-indeks ini dapat menyebabkan Kibana gagal berfungsi.
Pilih solusi
Masing-masing alat memiliki peran yang berbeda:
| Alat | Fungsinya | Paling cocok untuk |
|---|---|---|
| Snapshot OSS | Mengalirkan data indeks melalui mekanisme snapshot Elasticsearch | Data berskala GB, TB, atau PB; migrasi dalam akun yang sama atau cross-account |
| Logstash | Mengalirkan data antar-kluster dengan dukungan pemfilteran | Migrasi inkremental atau terfilter tanpa persyaratan real-time yang ketat |
| API reindex | Melakukan migrasi data antar-kluster menggunakan API reindex | Set data kecil; migrasi hasil kueri dari Konsol Kibana |
| elasticsearch-dump | Mengekspor dan mengimpor data indeks melalui alat mandiri | Set data kecil dengan jumlah indeks yang sedikit |
| Snapshot OSS + API reindex | Menggabungkan pemulihan snapshot dan reindex melalui kluster versi perantara | Migrasi lintas versi utama di mana snapshot saja tidak kompatibel |
Migrasi antar kluster Alibaba Cloud Elasticsearch
| Solusi | Paling cocok saat | Batasan | Contoh |
|---|---|---|---|
| Snapshot OSS | Sumber menyimpan data dalam skala GB, TB, atau PB. | Untuk migrasi inkremental, Anda mungkin perlu menghentikan layanan Elasticsearch dan harus menonaktifkan indeks tujuan sebelum migrasi. Untuk repositori OSS bersama, kluster harus berada di wilayah yang sama, di bawah Akun Alibaba Cloud atau Pengguna RAM yang sama, dan versi sumber harus ≤ versi tujuan. Untuk informasi lebih lanjut tentang kompatibilitas versi, lihat Kompatibilitas versi pemulihan data dari snapshot. Untuk migrasi cross-account, kedua kluster harus menggunakan Pasangan Kunci Akses dari akun pemilik bucket OSS. | Konfigurasikan repositori OSS bersama / Buat snapshot manual dan pulihkan data |
| Logstash | Migrasi penuh atau inkremental tanpa kebutuhan performa real-time yang kritis. Migrasikan hanya hasil kueri atau data yang telah difilter. Lakukan migrasi antar kluster dengan versi utama berbeda, misalnya V5.X ke V6.X atau V7.X. | Kluster sumber, kluster Logstash, dan kluster tujuan harus berada dalam Virtual Private Cloud (VPC) yang sama. Jika berada di VPC berbeda, konfigurasikan Gateway NAT untuk kluster Logstash agar dapat mengarahkan traffic melalui Internet. Kompatibilitas versi harus terpenuhi di ketiga kluster. Untuk migrasi inkremental, ID indeks sumber harus sesuai dengan ID indeks tujuan, dan diperlukan tugas migrasi terjadwal. Migrasi cross-account dan cross-region dengan VPC berbeda juga memerlukan Gateway NAT. | Migrasikan data antar kluster Alibaba Cloud Elasticsearch / Gunakan API reindex untuk migrasi data dalam indeks multi-tipe versi lama |
| API reindex | Volume data kecil tanpa persyaratan kecepatan ketat. Migrasikan hanya hasil kueri dari Konsol Kibana. | Kedua kluster harus menggunakan arsitektur jaringan yang sama. Lihat Gunakan API reindex untuk migrasi data dalam indeks multi-tipe versi lama. | Gunakan API reindex untuk migrasi data |
| elasticsearch-dump | Volume data kecil dengan jumlah indeks yang sedikit. | Harus terdapat konektivitas jaringan antara kluster Elasticsearch sumber, kluster tujuan, dan server yang menjalankan alat elasticsearch-dump. | Gunakan elasticsearch-dump untuk migrasi data |
| Snapshot OSS + API reindex | Migrasi penuh dan inkremental lintas versi utama di mana snapshot saja tidak kompatibel—misalnya, V6.X ke V8.X. | Kluster perantara harus kompatibel dengan versi sumber dan tujuan. Untuk detail kompatibilitas versi, lihat Perubahan dan kompatibilitas versi Elastic. Contoh: Untuk migrasi dari V6.X ke V8.X: pulihkan snapshot V6.X ke kluster V7.X, lakukan reindex dalam V7.X, lalu pulihkan snapshot V7.X ke V8.X. | Buat snapshot manual dan pulihkan data / Gunakan API reindex untuk migrasi data |
Untuk migrasi data antar kluster di wilayah berbeda, gunakan perintah snapshot dan restore Elasticsearch bersama fitur replikasi lintas wilayah (CRR) yang disediakan oleh Object Storage Service (OSS).
Migrasi dari kluster Elasticsearch self-managed
| Solusi | Paling cocok saat | Batasan | Contoh |
|---|---|---|---|
| Snapshot OSS | Sumber menyimpan data dalam skala GB, TB, atau PB. Migrasikan snapshot antara kluster self-managed dan kluster Alibaba Cloud Elasticsearch, baik di wilayah dan akun yang sama maupun berbeda. | Plugin elasticsearch-repository-oss harus diinstal pada setiap node kluster Alibaba Cloud Elasticsearch, dengan versi yang sama seperti plugin pada kluster self-managed. Untuk migrasi inkremental, Anda mungkin perlu menghentikan layanan Elasticsearch dan harus menonaktifkan indeks tujuan sebelum migrasi. | Gunakan OSS untuk migrasi data dari kluster Elasticsearch self-managed ke kluster Alibaba Cloud Elasticsearch |
| Logstash | Migrasi penuh atau inkremental tanpa kebutuhan performa real-time yang kritis. Migrasikan hanya hasil kueri atau data yang telah difilter. Lakukan migrasi antar kluster dengan versi utama berbeda, misalnya kluster 5.x ke V6.X atau V7.X. | Kluster sumber, kluster Logstash, dan kluster tujuan harus berada dalam VPC yang sama. Jika berada di VPC berbeda, konfigurasikan Gateway NAT untuk kluster Logstash agar dapat mengarahkan traffic melalui Internet. Kompatibilitas versi harus terpenuhi di ketiga kluster. Untuk migrasi inkremental, ID indeks sumber harus sesuai dengan ID indeks tujuan, dan diperlukan tugas migrasi terjadwal. | Gunakan Alibaba Cloud Logstash untuk migrasi data dari kluster Elasticsearch self-managed ke kluster Alibaba Cloud Elasticsearch / Gunakan API reindex untuk migrasi data dalam indeks multi-tipe versi lama |
| API reindex | Volume data kecil tanpa persyaratan kecepatan ketat. Migrasikan hanya hasil kueri dari Konsol Kibana. Saat melakukan migrasi dari versi self-managed lama (misalnya 6.x) ke versi Alibaba Cloud Elasticsearch yang lebih baru (misalnya V8.X), buat koneksi privat antar-VPC menggunakan PrivateLink sebelum menjalankan operasi reindex. | Kedua kluster harus menggunakan arsitektur jaringan yang sama. Lihat Gunakan API reindex untuk migrasi data dalam indeks multi-tipe versi lama. | Gunakan API reindex untuk migrasi data dari kluster Elasticsearch self-managed ke kluster Alibaba Cloud Elasticsearch |
| elasticsearch-dump | Volume data kecil dengan jumlah indeks yang sedikit. | Harus terdapat konektivitas jaringan antara kluster Elasticsearch sumber, kluster tujuan, dan server yang menjalankan alat elasticsearch-dump. | Gunakan elasticsearch-dump untuk migrasi data |
Migrasi dari sumber Elasticsearch pihak ketiga
| Solusi | Paling cocok saat | Batasan | Contoh |
|---|---|---|---|
| Snapshot OSS | Sumber menyimpan data dalam skala GB, TB, atau PB. Solusi ini tidak terbatas pada penyedia layanan cloud, tetapi bergantung pada mekanisme snapshot Elasticsearch—misalnya, Anda dapat menggunakannya untuk migrasi dari Amazon OpenSearch Service atau penyedia lainnya. | Untuk migrasi inkremental, Anda mungkin perlu menghentikan layanan Elasticsearch dan harus menonaktifkan indeks tujuan sebelum migrasi. Versi kluster tujuan harus sama dengan atau lebih baru daripada versi sumber. Untuk kompatibilitas versi, lihat Kompatibilitas versi pemulihan data dari snapshot. | Migrasikan data indeks Elasticsearch dari Amazon OpenSearch Service ke Alibaba Cloud Elasticsearch |
| elasticsearch-dump | Volume data kecil dengan jumlah indeks yang sedikit. | Harus terdapat konektivitas jaringan antara kluster Elasticsearch sumber, kluster tujuan, dan server yang menjalankan alat elasticsearch-dump. | Gunakan elasticsearch-dump untuk migrasi data |
Untuk migrasi data Elasticsearch dari bucket Tencent Cloud Object Storage (COS) ke Alibaba Cloud Elasticsearch, gunakan layanan Migrasi Data Online untuk memindahkan snapshot dari bucket COS ke bucket OSS Alibaba Cloud, lalu pulihkan snapshot tersebut ke kluster tujuan. Untuk langkah-langkah migrasi, lihat Migrasikan data. Untuk pemulihan snapshot, lihat Buat snapshot manual dan pulihkan data dari snapshot manual.