Anda dapat menggunakan layanan migrasi data Milvus Alibaba Cloud untuk memindahkan data ke Milvus Alibaba Cloud. Layanan ini mendukung migrasi data dari database Milvus yang dikelola sendiri—baik yang berlokasi di pusat data lokal, platform cloud lain, maupun instans ECS Alibaba Cloud—serta migrasi antar instans Milvus Alibaba Cloud yang berbeda. Mekanisme migrasi penuh dan inkremental digunakan untuk memastikan sinkronisasi data yang lengkap. Topik ini menggunakan contoh instans Milvus yang dikelola sendiri pada instans ECS untuk menunjukkan cara memigrasikan data ke Milvus Alibaba Cloud secara aman dan efisien.
Batasan dan persyaratan konfigurasi
Persiapan sebelum migrasi (wajib)
Kontrol status operasi
Jenis kluster
Persyaratan
Deskripsi
Source cluster
Hentikan semua operasi modifikasi data
Ini mencakup operasi write, delete, dan update. Pastikan kluster berada dalam status read-only untuk mencegah inkonsistensi data selama migrasi.
Destination cluster
Jeda semua operasi data
Ini mencakup operasi query, write, delete, dan update. Jaga agar kluster tidak tersedia guna menghindari konflik data dengan proses migrasi.
Kompatibilitas versi
Persyaratan
Spesifikasi
Versi source cluster
Harus lebih baru dari 2.3.6 (≥ v2.3.7)
Versi destination cluster
Harus sama dengan atau lebih baru dari versi source cluster
Batasan tugas migrasi
Manajemen tugas
Batas konkurensi: Hanya satu tugas migrasi yang dapat berjalan dalam satu waktu.
Cakupan data
Batas database: Setiap tugas migrasi hanya dapat memigrasikan koleksi dari satu database.
Batas koleksi: Setiap tugas migrasi mendukung maksimal lima koleksi.
Ukuran total data: Jumlah total entitas di seluruh koleksi tidak boleh melebihi 500 juta.
Status data
Persyaratan instans sumber: Koleksi yang akan dimigrasikan harus berada dalam status loaded.
Persyaratan instans tujuan: Instans tujuan harus kosong dan tidak boleh berisi data entitas apa pun.
Konfigurasi keamanan jaringan
Layanan migrasi data menggunakan alamat IP tetap untuk membaca data dari Milvus sumber dan mentransfernya ke Milvus tujuan. Untuk memastikan migrasi data berhasil, Milvus sumber harus mengizinkan koneksi inbound dari rentang alamat IP (CIDR) tersebut. Konfigurasikan rentang IP yang sesuai di firewall database, security group, atau access control list (ACL) berdasarkan wilayah tujuan. Misalnya, jika wilayah tujuan adalah China (Hangzhou), tambahkan rentang alamat IP untuk wilayah China (Hangzhou) ke security group instans ECS.
Wilayah | Rentang alamat IP (CIDR) |
China (Beijing) |
|
China (Shenzhen) |
|
China (Shanghai) |
|
China (Hong Kong) |
|
China (Hangzhou) |
|
Ulanqab |
|
Singapore |
|
Germany (Frankfurt) |
|
Langkah-langkah migrasi
Langkah 1: Konfigurasikan daftar putih firewall
Pada security group server tempat layanan Milvus sumber di-deploy, buka port default 19530. Kemudian, konfigurasikan aturan masuk untuk hanya mengizinkan akses dari rentang alamat IP tetap (CIDR) layanan migrasi data.
Untuk instans Milvus yang dikelola sendiri dan berjalan pada instans ECS, terapkan aturan security group berikut pada instans ECS tersebut:
Langkah 2: Mulai tugas migrasi data
Login ke Konsol Milvus Alibaba Cloud, klik Data Migration, lalu klik Milvus (Migrate via Endpoint).
Konfigurasikan informasi koneksi untuk Source Cluster, pilih kluster target, lalu klik Next.
Jika source cluster adalah instans Milvus yang dikelola sendiri dan berjalan pada instans ECS:
Source Cluster Endpoint: http://<ECS_Public_IP>:9091
Username dan Password: Username dan password untuk instans Milvus yang dikelola sendiri.
Pilih Database sumber yang ingin dimigrasikan, tambahkan ke daftar Database tujuan, lalu klik Next.
Periksa dan konfigurasikan pemetaan bidang, lalu klik Confirm untuk memulai tugas migrasi.
Langkah 3: Pantau dan validasi
Lihat progres migrasi dan log error di konsol.
Setelah migrasi selesai, verifikasi volume data dan konsistensi pengambilan di koleksi tujuan.