Migrate NAS NFS data with rsync - File Storage NAS - Centre de documentation Alibaba Cloud

Prérequis

Vous disposez d'un système de fichiers NFS contenant des données et d'une cible de montage dans un VPC.

Facturation

La migration de données entre des systèmes de fichiers NAS engendre les coûts suivants :

L'instance ECS utilisée comme nœud de transfert de données est facturée selon sa configuration. Pour plus d'informations sur la facturation ECS, consultez Présentation des méthodes de facturation.
Le stockage des deux systèmes de fichiers NAS est facturé. Nous vous recommandons d'acheter un plan de ressources pour compenser ces frais. Pour plus d'informations sur la facturation NAS, consultez Présentation de la facturation.
Si vous utilisez CEN pour connecter des VPC, les routeurs de transit et les connexions interrégionales sont facturés. Pour plus d'informations sur la facturation CEN, consultez Facturation.

Avant de commencer

Pour migrer des données entre des systèmes de fichiers NAS, l'instance ECS doit pouvoir accéder aux systèmes de fichiers source et de destination. Assurez-vous que les deux systèmes de fichiers sont accessibles depuis le même VPC.

Consultez les informations de la cible de montage du système de fichiers source.

Avant de migrer les données, notez la cible de montage et les informations VPC du système de fichiers source. Pour plus d'informations, consultez Gérer les cibles de montage.

Remarque
Si votre système de fichiers ne possède qu'une cible de montage pour le réseau classique, créez une cible de montage dans un VPC. Pour plus d'informations, consultez Ajouter une cible de montage.
Configurez la cible de montage du système de fichiers de destination.
- Les systèmes de fichiers source et de destination se trouvent dans la même région
  - Si les cibles de montage des systèmes de fichiers source et de destination se trouvent dans le même VPC, récupérez les informations de la cible de montage de destination, puis passez à la section Procédure pour migrer les données.
  - Si les cibles de montage des systèmes de fichiers source et de destination se trouvent dans des VPC différents, préparez la cible de montage du système de fichiers de destination en utilisant l'une des méthodes suivantes :
    - Créez un nouveau système de fichiers dans la région et la zone de destination. Une nouvelle cible de montage est créée automatiquement. Pour plus d'informations, consultez Créer un système de fichiers NAS General-purpose dans la console.
      
      Remarque
      Lorsque vous créez un système de fichiers NAS General-purpose (Capacity, Performance ou Premium) utilisant le protocole NFS et facturé au paiement à l'utilisation, sélectionnez le même VPC et le même vSwitch que la cible de montage source. Une cible de montage de destination est créée automatiquement. Une fois le nouveau système de fichiers créé, vous pouvez acheter un plan de ressources pour réduire les coûts.
    - Créez une nouvelle cible de montage sur un système de fichiers existant. Pour plus d'informations, consultez Ajouter une cible de montage.
    - Utilisez CEN pour connecter les VPC des cibles de montage source et de destination. Pour plus d'informations, consultez Monter un système de fichiers NAS entre plusieurs VPC dans la même région à l'aide de CEN.
- Les systèmes de fichiers source et de destination se trouvent dans des comptes ou des régions différents
  
  Si les cibles de montage des systèmes de fichiers source et de destination se trouvent dans des comptes ou des régions différents, utilisez CEN pour connecter leurs VPC. Pour plus d'informations, consultez Monter un système de fichiers NAS entre plusieurs comptes et régions à l'aide de CEN.

Procédure

Une fois les cibles de montage source et de destination prêtes, créez une instance ECS, montez les deux systèmes de fichiers NFS dessus, puis utilisez l'outil rsync pour copier les données.

Montez les systèmes de fichiers source et de destination.
Important
Nous vous recommandons d'acheter une nouvelle instance ECS temporaire pour la migration. Si vous utilisez une instance ECS existante, le processus de migration peut entrer en concurrence avec vos services en cours d'exécution pour les ressources CPU et la bande passante réseau.
Connectez-vous à la console ECS, cliquez sur Create Instance, puis configurez les paramètres clés suivants.
- Région : Sélectionnez la région où réside le système de fichiers source.
- Réseau et zone : Sélectionnez le VPC, la zone et le vSwitch du système de fichiers source.
- Type d'instance : Un type d'instance peu coûteux suffit généralement.
- Image : Sélectionnez CentOS 7.6.
- Stockage : Cliquez sur la section Elastic Ephemeral Disk | Apsara File Storage NAS | Dedicated Block Storage Cluster (Optional), puis sur Add File System. Pour plus d'informations, consultez les détails de configuration ci-dessous.
  Remarque
  
  Si les cibles de montage source et de destination se trouvent dans le même VPC, vous pouvez configurer les informations de montage NAS sur la page d'achat de l'ECS. Au démarrage de l'instance ECS, celle-ci monte automatiquement les systèmes de fichiers NAS source et de destination.
  
  Si les cibles de montage source et de destination ne se trouvent pas dans le même VPC, ou si elles se trouvent dans des régions ou des comptes différents, configurez uniquement le système de fichiers source sur la page d'achat de l'ECS. Après avoir créé l'instance ECS, montez manuellement le système de fichiers de destination. Pour plus d'informations, consultez Monter un système de fichiers NFS.
Après la création de l'instance ECS et le montage des deux systèmes de fichiers NAS, exécutez la commande suivante pour vérifier les montages :
```
mount | grep nas.aliyuncs.com
```
Si les montages réussissent, la sortie ressemble à ce qui suit : Le système de fichiers source est monté sur le répertoire /mnt/volumeA et le système de fichiers de destination est monté sur le répertoire /mnt/volumeB.
```
[root@xxx          ~]# mount | grep nas.aliyuncs.com
                xxx.nas.aliyuncs.com:/ on /mnt/volumeA type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.0.198,mountvers=3,mountport=4002,mountproto=tcp,local_lock=all,addr=192.168.0.198,_netdev)
                xxx.nas.aliyuncs.com:/ on /mnt/volumeB type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.0.213,mountvers=3,mountport=2049,mountproto=tcp,local_lock=all,addr=192.168.0.213,_netdev)
```
Installez les outils de migration.
Exécutez la commande suivante pour installer les outils de migration :
```
sudo yum install -y rsync tmux
```
Remarque
- rsync effectue la copie des données.
- tmux est un multiplexeur de terminal qui permet d'exécuter le processus rsync dans une session persistante. Cela vous aide à surveiller la progression et empêche l'arrêt du processus en cas d'interruption de votre connexion SSH.
Migrez les données existantes.
Exécutez les commandes suivantes pour synchroniser les données existantes du système de fichiers source vers le système de fichiers de destination :
```
tmux
sudo rsync -avP /mnt/volumeA/ /mnt/volumeB/
```
Vous pouvez également utiliser rsync pour effectuer des copies simultanées :
```
threads=<number of threads>; 
src=<source path/>; 
dest=<destination path/>; 
rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )
```
Par exemple, si le nombre de threads est 10, le chemin source est /abc et le chemin de destination est /mnt1 :
```
threads=10; 
src=/abc/; 
dest=/mnt1/; 
rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )
```
Remarque
- Le chemin source dans la commande rsync doit se terminer par une barre oblique finale (/). Sinon, les chemins de données ne correspondront pas après la synchronisation.
- La commande tmux crée une nouvelle session tmux. L'exécution de rsync dans une session tmux vous aide à surveiller la progression. Si votre connexion à l'instance ECS est interrompue pendant la migration, reconnectez-vous et exécutez tmux attach pour reprendre la session tmux et continuer la surveillance.
- Dans un environnement de test, la migration d'un système de fichiers source contenant un million de fichiers de 100 KiB (100 GiB au total) a pris environ 320 minutes.
Migrez les données incrémentielles.

Si des applications écrivent dans le système de fichiers source lors de la migration initiale des données, effectuez une autre synchronisation pour copier les données incrémentielles.
1. Arrêtez vos applications.
  Pour empêcher les applications d'écrire de nouvelles données, arrêtez toutes les applications sur les instances ECS et les conteneurs qui utilisent le système de fichiers source avant de synchroniser les données incrémentielles.
  Important
  
  Après avoir arrêté les applications, ne supprimez manuellement aucune donnée du système de fichiers source. Vous risqueriez sinon de perdre des données à l'étape suivante.
  
  Nous vous recommandons d'effectuer cette opération pendant les heures creuses. Vous pouvez utiliser la commande fuser -mv <dir> pour trouver les ID de processus (PID) qui accèdent au système de fichiers NAS.
2. Synchronisez les données incrémentielles.
Vérifiez la migration.
Une fois la migration terminée, exécutez la commande rsync suivante pour vérifier si le système de fichiers de destination est cohérent avec le système de fichiers source :
```
sudo rsync -rvn /mnt/volumeA/ /mnt/volumeB/
```
Si les données sont cohérentes, la sortie ne liste aucun chemin de fichier et ressemble à ce qui suit :
```
sending incremental file list
sent 13,570,658 bytes  received 5,008 bytes  17,173.52 bytes/sec
total size is 100,000,000,000  speedup is 7,366.12 (DRY RUN)
```

Bascule vers le nouveau système de fichiers

Une fois la migration des données terminée, basculez vos applications vers le nouveau système de fichiers en démontant l'ancien système et en montant le nouveau sur toutes les instances ECS et conteneurs concernés.

Pour les applications s'exécutant sur des instances ECS :
1. Exécutez mount | grep nas.aliyuncs.com pour afficher les informations actuelles de montage NAS. Notez le chemin local <dir> où le système de fichiers est monté.
2. Exécutez fuser -mv <dir> pour trouver les PID des processus qui accèdent au système de fichiers, puis arrêtez-les avec la commande kill -9.
3. Exécutez umount <dir> pour démonter l'ancien système de fichiers.
4. Montez le nouveau système de fichiers sur le chemin d'origine <dir>. Pour plus d'informations sur les paramètres de montage, consultez Monter un système de fichiers NFS.
5. Redémarrez les processus applicatifs et vérifiez qu'ils peuvent lire et écrire dans le nouveau système de fichiers.
6. Modifiez la configuration de montage automatique dans le fichier /etc/fstab pour remplacer l'ancienne cible de montage par la nouvelle.
Pour les applications s'exécutant dans des conteneurs Kubernetes :
1. Modifiez votre fichier de configuration YAML de volume dynamique ou de volume persistant existant pour remplacer l'ancienne cible de montage par la nouvelle.
2. Utilisez le fichier de configuration modifié pour créer de nouveaux pods. Vérifiez que le nouveau système de fichiers est correctement monté et accessible en lecture et en écriture.
3. Supprimez tous les pods qui utilisent l'ancien système de fichiers.

Important

Après avoir basculé vers le nouveau système de fichiers, conservez les données de l'ancien système pendant au moins une semaine. Ne supprimez pas immédiatement les données de l'ancien système afin d'éviter toute perte de données potentielle due à une suppression accidentelle ou à des erreurs de synchronisation.

Références

Libérer les ressources d'instance de système de fichiers

Supprimer une connexion d'instance réseau CEN