Vector Retrieval Service for Milvus：Migrasi data ke Alibaba Cloud Milvus menggunakan tool berbasis gambar

Persyaratan jaringan

Jaringan tempat kontainer dideploy harus menyediakan akses ke instans Milvus sumber dan instans Alibaba Cloud Milvus tujuan. Untuk performa optimal, deploy kontainer di VPC yang sama dengan instans tujuan.

1. Jalankan kontainer di latar belakang.

   docker run -d -it \
     --name milvus-migration \
     registry.cn-hangzhou.aliyuncs.com/taihao-executor/taihao-executor:release_2.22.0-ali \
     /bin/bash

2. Lihat ID kontainer dan akses kontainer tersebut.

   # Cari kontainer
   docker ps
   
   # Masuk ke kontainer (ganti dengan ID kontainer Anda)
   docker exec -it <container_id> bash

   Contoh:

   docker exec -it 55ac98f3b054 bash

Templat konfigurasi

hoconenv {
  parallelism = 1           # Konkurensi. Atur nilai awal ke 1.
  job.mode = "BATCH"        # Mode batch.
}

source {
  Milvus {
    url = "http://<source_instance_address>:19530"       # Alamat jaringan internal didukung.
    token = "<username>:<password>"                 # Contoh: root:Test123456@
    database = "default"                    # Default-nya adalah "default". Anda dapat menjalankan list_databases untuk mencari database lain.
    collections = ["col_a", "col_b"]        # Daftar koleksi yang akan dimigrasikan.
    batch_size = 10000                      # Jumlah entri yang dibaca sekaligus. Anda dapat menaikkan nilai ini untuk tabel besar.
  }
}

sink {
  Milvus {
    url = "http://<destination_alibaba_cloud_milvus_address>:19530"
    token = "<destination_instance_token>"
    database = "default"
    batch_size = 1000
    enable_auto_id = false                 # Jika koleksi sumber memiliki ID auto-increment, atur ke false. Jika tidak, atur ke true.
  }
}

Catatan

• Load koleksi sumber: Anda harus memuat semua koleksi yang ingin dimigrasikan menggunakan metode load(). Jika tidak, terjadi error.

• Untuk memigrasikan semua koleksi: Hapus baris collections dari file konfigurasi agar semua koleksi yang telah diload disinkronkan secara otomatis.

• Gunakan alamat jaringan internal: Jika kontainer dan instans tujuan berada di wilayah yang sama, gunakan titik akhir jaringan internal instans tujuan untuk meningkatkan kecepatan transfer data.

Metode 1: Mode lokal (operasi single-machine)

nohup ./bin/seatunnel.sh --config ./migration.conf -m local > migration.log 2>&1 &

-Xms4g
-Xmx8g

Metode 2: Mode kluster (Direkomendasikan untuk performa tinggi)

Cocok untuk memigrasikan volume data besar:

# Buat direktori log
mkdir -p ./logs

# Jalankan layanan kluster
./bin/seatunnel-cluster.sh -d

# Kirim tugas
nohup ./bin/seatunnel.sh --config ./migration.conf > migration.log 2>&1 &

1. Buat indeks.

   milvus_client = milvus.prepare_index_params()
   index_params.add_index(
           field_name="vector",  # Nama bidang vektor yang akan diindeks
           index_type="HNSW",  # Jenis indeks yang akan dibuat
           index_name="vector_index",  # Nama indeks yang akan dibuat
           metric_type="L2",  # Jenis metrik yang digunakan untuk mengukur kemiripan
           params={
               "M": 64,  # Jumlah maksimum tetangga yang dapat dihubungkan setiap node dalam graf
               "efConstruction": 100  # Jumlah tetangga kandidat yang dipertimbangkan saat pembuatan indeks
           }  # Parameter pembuatan indeks
       )
   milvus_client.create_index("collectionName", index_params)

2. Muat koleksi ke dalam memori.

   milvus_client.load_collection()

   Buat indeks sebelum memuat koleksi. Jika tidak, pengambilan data yang dipercepat tidak dapat diaktifkan. Parameter utama:

   Parameter	Cara memperoleh
   url	Login ke Konsol Alibaba Cloud Milvus. Pada tab Security Configuration, lihat alamat jaringan publik atau internal. Kami merekomendasikan penggunaan alamat jaringan internal untuk performa lebih baik.
   token	Formatnya adalah username:password, contohnya root:YourPassword123@. Login ke Konsol Alibaba Cloud Milvus. Pada tab Security Configuration, lihat password untuk akun root.
   database	Default-nya adalah `default`. Jika Anda menggunakan fitur multi-database, Anda dapat mencari database lain menggunakan API list_databases().

   Konfigurasi lengkap:

   env {
     parallelism = 1
     job.mode = "BATCH"
   }
   
   source {
     Milvus {
       url = "http://xx.xx.xx.xx:19530"
       token = "root:SourcePass123@"
       database = "default"
       collections = ["medium_articles"]
       batch_size = 10000
     }
   }
   
   sink {
     Milvus {
       url = "http://proxy-bj.vpc.milvus.aliyuncs.com:19530"
       token = "root:TargetPass123@"
       database = "default"
       batch_size = 10000
       enable_auto_id = false
     }
   }

Q1: Terjadi error "Collection not loaded" selama migrasi. Apa yang harus saya lakukan?

A: Pastikan semua koleksi sumber untuk migrasi telah dimuat ke memori menggunakan metode .load().

Q2: Apakah saya bisa hanya memigrasikan bidang tertentu?

A: Tidak, Anda tidak bisa. Versi saat ini hanya mendukung migrasi seluruh koleksi. Pemfilteran bidang tidak didukung.

Q3: Bagaimana cara memantau progres migrasi?

A: Anda dapat memeriksa output di file migration.log. Anda juga dapat memantau perubahan jumlah baris di koleksi tujuan menggunakan Attu.