Anda dapat menggunakan layanan migrasi data untuk memindahkan data dari database Milvus yang dikelola sendiri ke Vector Retrieval Service for Milvus. Database sumber dapat berada di pusat data on-premises, platform cloud lain, atau instans ECS Alibaba Cloud. Layanan ini juga mendukung migrasi data antar instans Vector Retrieval Service for Milvus yang berbeda. Mekanisme migrasi penuh dan inkremental digunakan untuk memastikan sinkronisasi data yang lengkap. Panduan ini menjelaskan cara memigrasikan data Anda secara aman dan efisien ke Vector Retrieval Service for Milvus dari Milvus yang dikelola sendiri pada instans ECS.
Batasan dan persyaratan
Persiapan sebelum migrasi (wajib)
-
Kontrol status operasi
Jenis kluster
Persyaratan
Deskripsi
Kluster sumber
Hentikan semua operasi modifikasi data
Mencakup operasi write, delete, dan update. Kluster harus dalam keadaan read-only untuk mencegah inkonsistensi data selama migrasi.
Kluster tujuan
Jeda semua operasi data
Mencakup operasi query, write, delete, dan update. Kluster harus tidak tersedia untuk menghindari konflik data selama migrasi.
-
Kompatibilitas versi
Persyaratan
Spesifikasi
Versi kluster sumber
Harus lebih baru dari 2.3.6 (≥ v2.3.7)
Versi kluster tujuan
Harus sama dengan atau lebih baru dari versi kluster sumber
Batasan tugas migrasi
-
Manajemen tugas
-
Batas konkurensi: Hanya satu tugas migrasi yang dapat berjalan dalam satu waktu.
-
-
Cakupan data
-
Batas database: Setiap tugas migrasi hanya dapat memindahkan koleksi dari satu database.
-
Batas koleksi: Setiap tugas migrasi mendukung maksimal lima koleksi.
-
Ukuran total data: Jumlah total entitas di semua koleksi tidak boleh melebihi 500 juta.
-
-
Status data
-
Persyaratan instans sumber: Koleksi yang akan dimigrasikan harus dalam status loaded.
-
Persyaratan instans tujuan: Instans tujuan harus kosong tanpa data entitas yang sudah ada.
-
Vector Retrieval Service for Milvus 2.6 kompatibel mundur dengan versi 2.5. Jika kluster sumber Anda menjalankan versi 2.5.x, seperti 2.5.12, Anda dapat langsung memigrasikan datanya ke instans tujuan versi 2.6 tanpa perlu mengonversi format data.
Konfigurasi keamanan jaringan
Layanan migrasi data membaca data dari kluster sumber Anda dan mentransfernya ke kluster tujuan menggunakan sekumpulan alamat IP tetap. Untuk memastikan migrasi berhasil, kluster sumber Anda harus mengizinkan koneksi inbound dari rentang alamat IP tersebut (CIDR). Berdasarkan wilayah instans tujuan Anda, konfigurasikan firewall database, security group, atau access control list (ACL) agar menerima lalu lintas dari rentang IP yang sesuai. Sebagai contoh, jika instans tujuan Anda berada di wilayah China (Hangzhou), Anda harus menambahkan rentang alamat IP untuk Hangzhou ke security group ECS Anda.
|
Wilayah |
Rentang alamat IP (CIDR) |
|
China (Beijing) |
|
|
China (Shenzhen) |
|
|
China (Shanghai) |
|
|
China (Hong Kong) |
|
|
China (Hangzhou) |
|
|
China (Ulanqab) |
|
|
Singapore |
|
|
Germany (Frankfurt) |
|
Prosedur migrasi
Langkah 1: Konfigurasikan daftar izin firewall
Pada security group server tempat kluster sumber Anda di-deploy, buka port default 19530 dan tambahkan aturan inbound untuk mengizinkan akses hanya dari rentang alamat IP tetap (CIDR) layanan migrasi data.
Untuk Milvus yang dikelola sendiri pada instans ECS, konfigurasikan aturan security group berikut:
Atur Authorization Policy menjadi Allow, atur Priority menjadi 1, dan atur Protocol menjadi Custom TCP. Pada bidang Source, masukkan CIDR layanan migrasi data, misalnya 115.29.196.0/24. Pada bidang port Destination (this instance), masukkan 19530. Klik Submit.
Langkah 2: Mulai migrasi data
-
Login ke Konsol Vector Retrieval Service for Milvus, klik Data Migration, lalu klik Milvus (via Endpoint).
-
Konfigurasikan informasi koneksi untuk Source Cluster, pilih Target Cluster, lalu klik Next.
Jika kluster sumber adalah Milvus yang dikelola sendiri pada instans ECS:
-
Source Cluster Endpoint: http://ECS_Public_IP:9091
-
Username dan Password: Username dan password untuk Milvus yang dikelola sendiri Anda pada ECS.
Sebuah prompt di bagian atas halaman konfigurasi menyatakan persyaratan berikut: kluster sumber harus versi 2.3.7 atau lebih baru, pengaturan jaringan harus dikonfigurasi terlebih dahulu, Anda dapat menggunakan tool VTS untuk memecahkan masalah konektivitas jaringan, dan migrasi ke versi yang lebih lama tidak didukung. Setelah Anda memasukkan informasi yang diperlukan, klik Next.
Saat menggunakan tool migrasi pihak ketiga seperti Milvus Migration Tool untuk terhubung ke instans Milvus Alibaba Cloud, format parameter Token adalah
username:password(misalnya,root:YourPassword123). Username administrator default adalah root, yang ditentukan saat instans dibuat dan tidak dapat diubah. Password adalah kata sandi logon yang Anda tetapkan saat membuat instans. Untuk mengatur ulang password, pada halaman Details, klik tab Security Configuration, lalu pada bagian Cluster Configuration, klik Reset Root Password. -
-
Pilih Database sumber yang akan dimigrasikan dan tambahkan ke Database tujuan. Lalu, klik Next.
Pastikan koleksi yang ingin Anda migrasikan di kluster sumber berada dalam status loaded. Pada panel Migration Source, pilih database dan koleksinya, lalu gunakan tombol panah untuk menambahkannya ke panel Migration Target di sebelah kanan.
-
Tinjau dan konfigurasikan pemetaan bidang, lalu klik OK untuk memulai tugas migrasi.
Pada halaman pemetaan bidang, baik koleksi sumber maupun tujuan diberi nama minimal_vectors. Bidang-bidangnya mencakup id (Int64, Primary Key, Auto ID) dan vector (FloatVector). Toggle Dynamic Column diaktifkan, dan nilai Shard adalah 2.
Klik ikon roda gigi di sebelah kanan bidang pada koleksi tujuan untuk mengonfigurasi opsi lanjutan pada panel pop-up. Opsi tersebut mencakup Auto ID (toggle pembuatan ID otomatis), Default Value, dan Partition Key. Partition Key mendukung tipe INT64 atau VARCHAR. Anda dapat memilih paling banyak satu bidang sebagai partition key, dan tidak boleh diatur untuk mengizinkan nilai null.
Langkah 3: Pantau dan verifikasi
-
Lihat progres migrasi dan log error apa pun di konsol.
Setelah tugas migrasi selesai, Status-nya menampilkan Succeeded, dan bilah Progress berwarna hijau penuh pada halaman Data Migration.
-
Setelah migrasi, verifikasi volume data dan konsistensi recall pada koleksi tujuan.