Migrasi data antar instans Milvus - Vector Retrieval Service for Milvus

Anda dapat menggunakan layanan migrasi data untuk memindahkan data dari database Milvus yang dikelola sendiri ke Vector Retrieval Service for Milvus. Database yang dikelola sendiri tersebut dapat berada di pusat data lokal, platform cloud lain, atau instans ECS Alibaba Cloud. Layanan ini juga mendukung migrasi data antara dua instans Milvus dan menggunakan mekanisme migrasi penuh serta inkremental untuk memastikan sinkronisasi data yang lengkap. Topik ini menjelaskan cara melakukan migrasi data ke Milvus secara aman dan efisien, dengan contoh migrasi antara dua instans Milvus.

Batasan dan persyaratan konfigurasi

Persiapan sebelum migrasi (wajib)

Kontrol status operasi

Jenis kluster	Persyaratan	Deskripsi
Source cluster	Hentikan semua operasi modifikasi data	Ini mencakup operasi write, delete, dan update. Pastikan kluster berada dalam status read-only untuk mencegah inkonsistensi data selama migrasi.
Destination cluster	Jeda semua operasi data	Ini mencakup operasi query, write, delete, dan update. Jaga agar kluster tidak tersedia guna menghindari konflik data dengan proses migrasi.

Kompatibilitas versi
Persyaratan
Spesifikasi
Versi source cluster
Harus lebih baru dari 2.3.6 (≥ v2.3.7)
Versi destination cluster
Harus sama dengan atau lebih baru dari versi source cluster

Batasan tugas migrasi

Manajemen tugas
- Batas konkurensi: Hanya satu tugas migrasi yang dapat dijalankan dalam satu waktu.
Cakupan data
- Batas database: Setiap tugas migrasi hanya dapat memindahkan koleksi dari satu database.
- Batas koleksi: Setiap tugas migrasi mendukung maksimal lima koleksi.
- Ukuran total data: Jumlah total entitas di seluruh koleksi tidak boleh melebihi 500 juta.
Status data
- Persyaratan instans sumber: Koleksi yang akan dimigrasikan harus berada dalam status loaded.
- Persyaratan instans tujuan: Instans tujuan harus kosong dan tidak boleh berisi data entitas apa pun.

Persyaratan jaringan

Jika kedua instans Milvus berada di wilayah yang sama, hubungkan menggunakan alamat jaringan pribadi mereka. Metode ini tidak memerlukan konfigurasi daftar putih atau grup keamanan dan menyediakan transmisi data yang lebih cepat.

Jika kedua instans Milvus berada di wilayah berbeda, hubungkan menggunakan alamat jaringan publik mereka. Anda harus menambahkan rentang alamat IP publik wilayah instans target ke daftar putih publik instans sumber.

Wilayah instans target	Rentang alamat IP (CIDR)
North China 2 (Beijing)	`39.105.32.0/24`
South China 1 (Shenzhen)	`120.77.174.0/24`
East China 2 (Shanghai)	`47.117.185.0/24`
China (Hong Kong)	`8.217.170.0/24`
China (Hangzhou)	`115.29.196.0/24`
Ulanqab	`121.89.83.0/24`
Singapore	`45.113.192.0/24`
Germany (Frankfurt)	`47.245.133.0/24`

Langkah-langkah migrasi

Masuk ke Konsol Milvus Alibaba Cloud. Klik Data Migration, lalu klik Milvus (Migrate via Endpoint).
Konfigurasikan informasi koneksi untuk Source Cluster dan pilih kluster target. Kemudian, klik Next.
- Source Cluster Endpoint: http://<alamat internal kluster Milvus>.
- Username dan Password: Username dan password instans Milvus.
Pilih Database sumber yang akan dimigrasikan dan tambahkan ke Database target. Lalu, klik Next.
Periksa dan konfigurasikan pemetaan bidang. Kemudian, klik Confirm untuk memulai tugas migrasi.

Monitoring dan validasi

Anda dapat melihat progres migrasi dan log error di konsol.
Setelah migrasi selesai, Anda dapat memvalidasi volume data dan konsistensi retrieval pada koleksi target.

Persyaratan	Spesifikasi
Versi source cluster	Harus lebih baru dari 2.3.6 (≥ v2.3.7)
Versi destination cluster	Harus sama dengan atau lebih baru dari versi source cluster