Vector Retrieval Service for Milvus:Migrasi data ke Alibaba Cloud Milvus dengan tool berbasis gambar

Persyaratan jaringan

Kontainer harus memiliki akses jaringan ke instans Alibaba Cloud Milvus sumber dan target. Untuk performa optimal, deploy kontainer di VPC yang sama dengan instans target.

1. Mulai kontainer dalam mode detached.

   docker run -d -it \
     --name milvus-migration \
     registry.cn-hangzhou.aliyuncs.com/taihao-executor/taihao-executor:release_2.22.0-ali \
     /bin/bash

2. Cari ID kontainer dan masuk ke kontainer tersebut.

   # Cari kontainer
   docker ps
   
   # Masuk ke kontainer (ganti dengan ID kontainer aktual Anda)
   docker exec -it <container_id> bash

   Contoh:

   docker exec -it 55ac98f3b054 bash

Templat konfigurasi

env {
  parallelism = 1           # Tingkat konkurensi. Kami menyarankan mengatur nilai ini ke 1 pada awalnya.
  job.mode = "BATCH"        # Mode pemrosesan batch.
}

source {
  Milvus {
    url = "http://<source-instance-endpoint>:19530"       # Titik akhir internal didukung.
    token = "<username>:<password>"                 # Contoh: root:Test123456@
    database = "default"                    # Database yang akan dimigrasikan. Default-nya adalah `default`.
    collections = ["col_a", "col_b"]        # Daftar koleksi yang akan dimigrasikan.
    batch_size = 10000                      # Jumlah entitas yang dibaca per batch. Tingkatkan nilai ini untuk koleksi besar.
  }
}

sink {
  Milvus {
    url = "http://<target-Alibaba-Cloud-Milvus-endpoint>:19530"
    token = "<target-instance-token>"
    database = "default"
    batch_size = 1000
    enable_auto_id = false                 # Atur ke false untuk mempertahankan ID yang di-generate otomatis dari sumber. Jika tidak, atur ke true.
  }
}

Catatan

• Untuk mencegah kegagalan tugas, semua koleksi yang akan dimigrasikan harus dimuat ke memori menggunakan metode load().

• Untuk memigrasikan semua koleksi yang telah dimuat, hilangkan parameter collections dari file konfigurasi.

• Jika kontainer dan instans target berada di wilayah yang sama, gunakan titik akhir internal untuk meningkatkan kecepatan transfer.

Opsi 1: Jalankan dalam mode lokal (mesin tunggal)

nohup ./bin/seatunnel.sh --config ./migration.conf -m local > migration.log 2>&1 &

-Xms4g
-Xmx8g

Opsi 2: Jalankan dalam cluster mode (Direkomendasikan untuk performa tinggi)

Mode ini direkomendasikan untuk memigrasikan volume data besar.

# Buat direktori log
mkdir -p ./logs

# Mulai layanan kluster
./bin/seatunnel-cluster.sh -d

# Kirim tugas
nohup ./bin/seatunnel.sh --config ./migration.conf > migration.log 2>&1 &

1. Buat indeks.

   milvus_client = milvus.prepare_index_params()
   index_params.add_index(
           field_name="vector",  # Nama bidang vektor yang akan diindeks
           index_type="HNSW",  # Jenis indeks yang akan dibuat
           index_name="vector_index",  # Nama indeks yang akan dibuat
           metric_type="L2",  # Jenis metrik yang digunakan untuk mengukur kemiripan
           params={
               "M": 64,  # Jumlah maksimum tetangga yang dapat dihubungkan oleh setiap node dalam graf
               "efConstruction": 100  # Jumlah tetangga kandidat yang dipertimbangkan saat membuat koneksi selama pembangunan indeks
           }  # Parameter pembuatan indeks
       )
   milvus_client.create_index("collectionName", index_params)

2. Muat koleksi ke memori.

   milvus_client.load_collection()

   Anda harus membuat indeks sebelum memuat koleksi agar pencarian dipercepat. Parameter utama dijelaskan di bawah ini:

   Parameter	Cara mendapatkan
   URL	Login ke Konsol Alibaba Cloud Milvus. Di tab Security Configuration, lihat titik akhir publik atau internal. Untuk performa lebih baik, gunakan titik akhir internal.
   token	Format token adalah username:password (misalnya, root:YourPassword123@). Login ke Konsol Alibaba Cloud Milvus. Di tab Security Configuration, lihat password yang sesuai dengan akun root.
   database	Nilai default-nya adalah default. Jika Anda menggunakan fitur multi-database, temukan nama database lain dengan memanggil API list_databases().

   Contoh konfigurasi lengkap:

   env {
     parallelism = 1
     job.mode = "BATCH"
   }
   
   source {
     Milvus {
       url = "http://xx.xx.xx.xx:19530"
       token = "root:SourcePass123@"
       database = "default"
       collections = ["medium_articles"]
       batch_size = 10000
     }
   }
   
   sink {
     Milvus {
       url = "http://proxy-bj.vpc.milvus.aliyuncs.com:19530"
       token = "root:TargetPass123@"
       database = "default"
       batch_size = 10000
       enable_auto_id = false
     }
   }

Q1: Mengapa saya melihat error "Collection not loaded" selama migrasi?

A: Pastikan semua koleksi sumber telah dimuat ke memori dengan menggunakan metode .load().

Q2: Apakah saya bisa hanya memigrasikan bidang tertentu?

A: Tidak. Versi saat ini hanya mendukung migrasi seluruh koleksi. Pemfilteran bidang tertentu tidak didukung.

Q3: Bagaimana cara memantau progres migrasi?

A: Anda dapat memantau migrasi dengan dua cara: periksa output di file migration.log, atau gunakan Attu untuk mengamati jumlah baris di koleksi target.