Migrasi data antar instans Alibaba Cloud Milvus - Vector Retrieval Service for Milvus

Anda dapat menggunakan layanan migrasi data Alibaba Cloud Milvus untuk memindahkan data dari database Milvus yang dikelola sendiri—yang berlokasi di lingkungan on-premises, platform cloud lain, atau instans ECS Alibaba Cloud—ke layanan Alibaba Cloud Milvus terkelola. Layanan ini juga mendukung migrasi data antara dua instans Alibaba Cloud Milvus, baik dalam satu akun maupun lintas akun (cross-account). Mekanisme migrasi penuh digunakan untuk memastikan sinkronisasi data yang lengkap. Topik ini menggunakan contoh migrasi instans-ke-instans untuk menunjukkan cara menggunakan layanan migrasi data guna memindahkan data ke Alibaba Cloud Milvus secara aman dan efisien.

Batasan dan persyaratan

Persiapan sebelum migrasi (wajib)

Kontrol status operasional

Cluster type	Requirement	Description
Source cluster	Stop all data modification operations.	Hentikan semua operasi write, delete, dan update untuk memastikan kluster berada dalam keadaan read-only. Hal ini mencegah inkonsistensi data selama migrasi.
Target cluster	Pause all data operations.	Hentikan semua operasi query, write, delete, dan update. Jaga agar instans tidak tersedia guna mencegah konflik dengan data masuk.

Kompatibilitas versi

Requirement

Specification

Source cluster version

Must be v2.3.7 or later (≥ v2.3.7).

Target cluster version

Must be the same as or later than the source cluster version.

Batasan tugas migrasi

Manajemen tugas
- Batas konkurensi: Hanya satu tugas migrasi yang dapat berjalan dalam satu waktu.
Cakupan data
- Batas database: Setiap tugas migrasi hanya dapat memindahkan koleksi dari satu database.
- Batas koleksi: Setiap tugas migrasi mendukung maksimal lima koleksi.
- Ukuran total data: Jumlah total entitas di seluruh koleksi tidak boleh melebihi 500 juta.
Status data
- Persyaratan instans sumber: Koleksi yang akan dimigrasikan harus dalam keadaan loaded.
- Persyaratan instans tujuan: Instans tujuan harus kosong dan tidak mengandung data entitas yang sudah ada.

Persyaratan jaringan

Instances in the same region: Hubungkan instans menggunakan alamat privat mereka. Metode ini memberikan transfer data lebih cepat dan tidak memerlukan konfigurasi allowlist atau security group.

Instances in different regions: Hubungkan instans menggunakan alamat publik mereka. Anda harus menambahkan blok CIDR IP publik wilayah instans target ke allowlist publik instans sumber.

Target region	CIDR block
China (Beijing)	`39.105.32.0/24`
China (Shenzhen)	`120.77.174.0/24`
China (Shanghai)	`47.117.185.0/24`
China (Hong Kong)	`8.217.170.0/24`
China (Hangzhou)	`115.29.196.0/24`
China (Ulanqab)	`121.89.83.0/24`
Singapore	`45.113.192.0/24`
Germany (Frankfurt)	`47.245.133.0/24`

Cross-account migration: Kolom Source Cluster Endpoint menerima alamat koneksi instans Milvus apa pun, termasuk yang berada di bawah akun Alibaba Cloud lain. Untuk migrasi lintas akun, pastikan instans target dapat mengakses alamat endpoint instans sumber melalui jaringan. Jika instans berada di VPC yang berbeda, Anda harus terlebih dahulu menghubungkan kedua jaringan tersebut menggunakan layanan seperti Cloud Enterprise Network (CEN). Jika menggunakan alamat publik, tambahkan blok CIDR IP publik dari wilayah instans target ke daftar izin (allowlist) publik instans sumber.

Prosedur

Login ke Alibaba Cloud Milvus console. Di panel navigasi sebelah kiri, klik Data Migration. Pada halaman yang muncul, klik Milvus (via Endpoint).
Konfigurasikan informasi koneksi untuk Source Cluster, pilih Target Cluster, lalu klik Next.
- Source Cluster Endpoint: Masukkan alamat koneksi kluster Milvus sumber. Untuk migrasi dalam satu akun dan satu wilayah, gunakan alamat privat. Untuk migrasi cross-account atau cross-region, gunakan alamat publik atau alamat privat yang dapat diakses.
- Username dan Password: Masukkan kredensial untuk instans Milvus sumber. Untuk migrasi cross-account, berikan informasi otentikasi untuk instans Milvus di akun sumber.
Pilih Database sumber yang ingin dimigrasikan, petakan ke Database target, lalu klik Next.
Tinjau dan konfigurasikan pemetaan bidang, lalu klik OK untuk memulai tugas migrasi.

Monitor dan verifikasi

Monitor progres migrasi dan periksa log error di Konsol.
Setelah migrasi selesai, verifikasi bahwa jumlah entitas dan hasil recall pada koleksi target sesuai dengan yang ada di sumber.

Requirement	Specification
Source cluster version	Must be v2.3.7 or later (≥ v2.3.7).
Target cluster version	Must be the same as or later than the source cluster version.