Le service de migration de données d'Alibaba Cloud Milvus vous permet de transférer des données depuis des bases de données Milvus auto-gérées — situées dans un centre de données local, sur d'autres plateformes cloud ou sur des instances ECS Alibaba Cloud — vers le service managé Alibaba Cloud Milvus. Ce service prend également en charge la migration de données entre deux instances Alibaba Cloud Milvus, y compris les scénarios intra-compte et inter-comptes. Il utilise un mécanisme de migration complète pour garantir une synchronisation totale des données. Cette rubrique décrit, à l'aide d'un exemple de migration entre des instances Alibaba Cloud Milvus, comment utiliser le service de migration de données pour transférer vos données vers Alibaba Cloud Milvus de manière sécurisée et efficace.
Limites et prérequis
Avant de lancer la migration, examinez les préparatifs nécessaires, les limites des tâches et les exigences réseau ci-dessous.
Préparatifs avant la migration (obligatoires)
-
Contrôle de l'état opérationnel
Type de cluster
Exigence
Description
Cluster source
Arrêtez toutes les opérations de modification des données.
Suspendez toutes les opérations d'écriture, de suppression et de mise à jour afin de placer le cluster en lecture seule. Cela évite toute incohérence des données pendant la migration.
Cluster cible
Suspendez toutes les opérations sur les données.
Suspendez toutes les opérations de requête, d'écriture, de suppression et de mise à jour. Rendez l'instance indisponible pour éviter tout conflit avec les données entrantes.
-
Compatibilité des versions
Exigence
Spécification
Version du cluster source
Doit être ultérieure à la version 2.3.6 (c'est-à-dire ≥ v2.3.7)
Version du cluster cible
Ne doit pas être antérieure à la version du cluster source
Limites des tâches de migration
-
Gestion des tâches
Limite de concurrence : une seule tâche de migration peut s'exécuter à la fois.
-
Périmètre des données
Limite de base de données : chaque tâche de migration ne peut migrer les collections que d'une seule base de données.
Limite de collections : chaque tâche de migration prend en charge un maximum de cinq collections.
Taille totale des données : le nombre total d'entités dans toutes les collections ne peut pas dépasser 500 millions.
-
État des données
Exigence pour l'instance source : les collections à migrer doivent être chargées.
Exigence pour l'instance de destination : l'instance de destination doit être vide et ne contenir aucune donnée d'entité existante.
Exigences réseau
Les deux instances Milvus se trouvent dans la même région : connectez-vous à l'instance via l'adresse interne. Vous n'avez pas besoin de configurer une liste d'autorisation ni un groupe de sécurité, et le transfert des données est plus rapide.
-
Les deux instances Milvus se trouvent dans des régions différentes : connectez-vous à l'instance via l'adresse publique. Vous devez ajouter la plage d'adresses IP publiques de la région où se trouve l'instance cible à la liste d'autorisation d'accès public de l'instance source.
Région de l'instance cible
Plage d'adresses IP (CIDR)
Chine (Pékin)
39.105.32.0/24Chine (Shenzhen)
120.77.174.0/24Chine (Shanghai)
47.117.185.0/24Chine (Hong Kong)
8.217.170.0/24Chine (Hangzhou)
115.29.196.0/24Chine (Ulanqab)
121.89.83.0/24Singapour (Asie du Sud-Est)
45.113.192.0/24Allemagne (Francfort)
47.245.133.0/24 Les deux instances Milvus relèvent de comptes différents (migration inter-comptes) : le champ EndPoint du cluster source accepte l'adresse de connexion d'une instance Milvus appartenant à un autre compte Alibaba Cloud. Pour une migration inter-comptes, assurez-vous que l'instance cible peut accéder à l'adresse EndPoint de l'instance source via le réseau. Si vous utilisez une adresse publique pour la connexion, ajoutez la plage d'adresses IP publiques de la région où se trouve l'instance cible à la liste d'autorisation d'accès public de l'instance source.
Étapes de migration
Connectez-vous à la console Alibaba Cloud Milvus, cliquez sur Data Migration, puis sur Milvus (via Endpoint).
-
Configurez les informations de connexion pour le Source Cluster et sélectionnez le Target Cluster, puis cliquez sur Next.
-
Source Cluster Endpoint : adresse de connexion du cluster Milvus source. Pour les scénarios intra-compte et intra-région, saisissez l'adresse interne. Pour les scénarios inter-comptes ou inter-régions, saisissez l'adresse publique ou une adresse interne avec un réseau connecté.
Sur la page Instance Details de l'instance source, vous pouvez obtenir l'Internal Address depuis la section Access Address.
-
Username et Password : nom d'utilisateur et mot de passe de l'instance Milvus source. Pour une migration inter-comptes, saisissez les informations d'authentification de l'instance Milvus du compte source.
Les notes suivantes s'affichent en haut de la page :
La version du cluster source doit être 2.3.6 ou ultérieure.
Configurez le réseau du cluster avant la migration.
La migration d'une version supérieure vers une version inférieure n'est pas prise en charge.
Dans la section Target Cluster, sélectionnez l'instance Milvus cible dans la liste déroulante.
-
-
Sélectionnez la Database à migrer et ajoutez-la à la Database cible, puis cliquez sur Next.
Lorsque vous configurez la migration des données, assurez-vous que les collections à migrer dans le cluster source sont chargées.
Vérifiez et configurez le mappage des champs, puis cliquez sur OK pour démarrer la tâche de migration.
Suivi et vérification
-
Consultez la progression de la migration et les journaux d'erreurs dans la console
Dans la liste des tâches de la page Data Migration, vous pouvez consulter l'état et la progression de la tâche de migration. Lorsque la colonne d'état affiche Success et que la barre de progression est pleine, la migration des données est terminée.
Une fois la migration terminée, nous vous recommandons de vérifier le volume de données et la cohérence du rappel (recall) de la collection cible.