データ移行サービスを使用して、セルフマネージドの Milvus データベースから Vector Retrieval Service for Milvus へデータを移行できます。ソースデータベースは、オンプレミスデータセンター、他のクラウドプラットフォーム、または Alibaba Cloud Elastic Compute Service (ECS) インスタンスに配置されているものを使用できます。このサービスは、異なる Vector Retrieval Service for Milvus インスタンス間のデータ移行もサポートしています。完全移行および増分移行のメカニズムを使用して、完全なデータ同期を保証します。このガイドでは、ECS インスタンス上のセルフマネージド Milvus から Vector Retrieval Service for Milvus へデータを安全かつ効率的に移行する方法を説明します。
制限事項と要件
移行前の準備 (必須)
操作状態の管理
クラスタータイプ
要件
説明
ソースクラスター
すべてのデータ変更操作を停止
これには、書き込み、削除、更新操作が含まれます。移行中のデータ不整合を防ぐため、クラスターが読み取り専用状態であることを確認してください。
宛先クラスター
すべてのデータ操作を一時停止
これには、クエリ、書き込み、削除、更新操作が含まれます。移行とのデータ競合を避けるため、クラスターを利用できない状態にしてください。
バージョンの互換性
要件
仕様
ソースクラスターのバージョン
2.3.6 より後のバージョン (v2.3.7 以降) である必要があります
宛先クラスターのバージョン
ソースクラスターのバージョンと同じか、それ以降である必要があります
移行タスクの制限事項
タスク管理
同時実行数の制限：一度に実行できる移行タスクは 1 つだけです。
データ範囲
データベースの制限：各移行タスクは、1 つのデータベースからのみコレクションを移行できます。
コレクションの制限：各移行タスクは、最大 5 つのコレクションをサポートします。
合計データサイズ：すべてのコレクションにおけるエンティティの合計数が 5 億を超えることはできません。
データ状態
ソースインスタンスの要件：移行対象のコレクションは、ロード済み状態である必要があります。
宛先インスタンスの要件：宛先インスタンスが空であり、既存のエンティティデータが含まれていない必要があります。
Vector Retrieval Service for Milvus 2.6 はバージョン 2.5 と下位互換性があります。ソースクラスターが 2.5.12 などの 2.5.x バージョンを実行している場合、データ形式を変換することなく、そのデータを 2.6 の移行先インスタンスに直接移行できます。
ネットワークセキュリティ設定
データ移行サービスは、固定の IP アドレスセットを使用して、ソースクラスターからデータを読み取り、移行先クラスターに転送します。移行を成功させるためには、ソースクラスターがこれらの IP アドレス範囲 (CIDR) からのインバウンド接続を許可する必要があります。移行先インスタンスのリージョンに基づいて、データベースファイアウォール、セキュリティグループ、またはアクセス制御リスト (ACL) を設定して、対応する IP 範囲からのトラフィックを受け入れるように設定してください。たとえば、移行先インスタンスが中国 (杭州) リージョンにある場合は、杭州の IP アドレス範囲を ECS セキュリティグループに追加する必要があります。
|
リージョン |
IP アドレス範囲 (CIDR) |
|
中国 (北京) |
|
|
中国 (深圳) |
|
|
中国 (上海) |
|
|
中国 (香港) |
|
|
中国 (杭州) |
|
|
中国 (ウランチャブ) |
|
|
シンガポール |
|
|
ドイツ (フランクフルト) |
|
移行手順
ステップ 1：ファイアウォールの許可リストの設定
ソースクラスターがデプロイされているサーバーのセキュリティグループで、デフォルトポート 19530 を開き、データ移行サービスの固定 IP アドレス範囲 (CIDR) からのアクセスのみを許可するインバウンドルールを追加します。
ECS インスタンス上のセルフマネージド Milvus の場合、次のセキュリティグループルールを設定します：
[Authorization Policy] を [Allow] に、[Priority] を 1 に、[Protocol] を [Custom TCP] に設定します。[Source] フィールドに、データ移行サービスの CIDR (例：115.29.196.0/24) を入力します。[Destination (this instance)] ポートフィールドに 19530 と入力します。[Submit] をクリックします。
ステップ 2：データ移行の開始
-
Vector Retrieval Service for Milvus コンソールにログインし、Data Migration をクリックし、次に Milvus (via Endpoint) をクリックします。
-
Source Cluster の接続情報を設定し、Target Cluster を選択して、Next をクリックします。
ソースクラスターが ECS インスタンス上のセルフマネージド Milvus の場合：
-
Source Cluster Endpoint：http://ECS_Public_IP:9091
-
Username と Password：ECS 上のセルフマネージド Milvus のユーザー名とパスワード。
設定ページの上部にあるプロンプトには、ソースクラスターのバージョンが 2.3.7 以降であること、ネットワーク設定を事前に構成する必要があること、VTS ツールを使用してネットワーク接続のトラブルシューティングが可能であること、古いバージョンへの移行はサポートされていないこと、といった要件が記載されています。必要な情報を入力した後、[Next] をクリックします。
Milvus Migration Tool などのサードパーティの移行ツールを使用して Alibaba Cloud Milvus インスタンスに接続する場合、Token パラメーターの形式は
username:passwordです (例:root:YourPassword123)。 デフォルトの管理者ユーザー名は root で、インスタンスの作成時に決定され、変更することはできません。 パスワードは、インスタンスの作成時に設定したログインパスワードです。 パスワードをリセットするには、Details ページで Security Configuration タブをクリックし、クラスター設定セクションで Reset Root Password をクリックします。 -
-
移行元の [Database] を選択し、移行先の [Database] に追加します。その後、Next をクリックします。
ソースクラスターで移行したいコレクションがロードされていることを確認してください。[Migration Source] パネルでデータベースとコレクションを選択し、矢印ボタンを使用して右側の [Migration Target] パネルに追加します。
-
フィールドマッピングを確認および設定し、OK をクリックして移行タスクを開始します。
フィールドマッピングページでは、ソースと移行先の両方のコレクション名が
minimal_vectorsです。フィールドにはid(Int64、プライマリキー、Auto ID) とvector(FloatVector) が含まれます。[Dynamic Column] トグルが有効になっており、[Shard] の値は 2 です。移行先コレクションのフィールドの右側にある歯車アイコンをクリックして、ポップアップパネルで詳細オプションを設定します。これらのオプションには、[Auto ID] (ID 自動生成トグル)、[Default Value]、[Partition Key] が含まれます。[Partition Key] は
INT64またはVARCHAR型をサポートします。パーティションキーとして選択できるフィールドは最大 1 つで、null値を許可する設定にはできません。
ステップ 3：監視と検証
-
コンソールで移行の進捗状況とエラーログを確認します。
移行タスクが完了すると、[Data Migration] ページでその [Status] が [Succeeded] と表示され、[Progress] バーが完全に緑色になります。
-
移行後、移行先コレクションでデータ量と再現率の一貫性を検証します。