Migrar dados NFS do NAS com rsync - File Storage NAS: Central de Documentação do Alibaba Cloud

Pré-requisitos

Você deve ter um sistema de arquivos NFS com dados e um ponto de montagem em uma VPC.

Faturamento

A migração de dados entre sistemas de arquivos NAS envolve os seguintes custos:

A instância ECS usada como nó de transferência de dados é cobrada conforme sua configuração. Para mais informações sobre o faturamento do ECS, consulte Visão geral dos métodos de faturamento.
O uso de armazenamento de ambos os sistemas de arquivos NAS é cobrado. Recomendamos adquirir um plano de recursos para compensar as taxas. Para mais detalhes sobre o faturamento do NAS, consulte Visão geral do faturamento.
Se você usar o CEN para conectar VPCs, haverá cobrança pelos roteadores de trânsito e conexões inter-regionais. Para saber mais sobre o faturamento do CEN, consulte Faturamento.

Antes de começar

Para migrar dados entre sistemas de arquivos NAS, a instância ECS precisa acessar tanto o sistema de arquivos de origem quanto o de destino. Portanto, garanta que ambos os sistemas de arquivos estejam acessíveis na mesma VPC.

Visualize as informações do ponto de montagem do sistema de arquivos de origem.

Antes de migrar os dados, anote as informações do ponto de montagem e da VPC do sistema de arquivos de origem. Para mais informações, consulte Gerenciar pontos de montagem.

Nota
Se o seu sistema de arquivos tiver apenas um ponto de montagem de rede clássica, crie um ponto de montagem em uma VPC. Para mais informações, consulte Adicionar um ponto de montagem.
Configure o ponto de montagem do sistema de arquivos de destino.
- Os sistemas de arquivos de origem e de destino estão na mesma região
  - Se os pontos de montagem de origem e de destino estiverem na mesma VPC, obtenha as informações do ponto de montagem de destino e prossiga para a seção Procedimento para migrar os dados.
  - Se os pontos de montagem de origem e de destino estiverem em VPCs diferentes, prepare o ponto de montagem de destino usando um dos métodos a seguir:
    - Crie um novo sistema de arquivos na região e zona de destino. Um novo ponto de montagem será criado automaticamente. Para mais informações, consulte Criar um sistema de arquivos NAS de uso geral no console.
      
      Nota
      Ao criar um sistema de arquivos NAS de uso geral (Capacidade, Desempenho ou Premium) com pagamento conforme o uso e protocolo NFS, selecione a mesma VPC e vSwitch do ponto de montagem de origem. O ponto de montagem de destino será criado automaticamente. Após criar o novo sistema de arquivos, adquira um plano de recursos para reduzir custos.
    - Crie um novo ponto de montagem em um sistema de arquivos existente. Para mais informações, consulte Adicionar um ponto de montagem.
    - Use o CEN para conectar as VPCs dos pontos de montagem de origem e de destino. Para mais informações, consulte Montar um sistema de arquivos NAS em VPCs na mesma região usando CEN.
- Os sistemas de arquivos de origem e de destino estão em contas ou regiões diferentes
  
  Se os pontos de montagem de origem e de destino estiverem em contas ou regiões diferentes, use o CEN para conectar suas VPCs. Para mais informações, consulte Montar um sistema de arquivos NAS entre contas e regiões usando CEN.

Procedimento

Após preparar os pontos de montagem de origem e de destino, crie uma instância ECS, monte ambos os sistemas de arquivos NFS nela e use a ferramenta rsync para copiar os dados.

Monte os sistemas de arquivos de origem e de destino.
Importante
Recomendamos adquirir uma nova instância ECS temporária para a migração. Se você usar uma instância ECS existente, o processo de migração poderá competir por recursos de CPU e largura de banda de rede com seus serviços em execução.
Faça login no console do ECS, clique em Create Instance e configure os seguintes parâmetros principais.
- Region: Selecione a região onde reside o sistema de arquivos de origem.
- Network and Zone: Selecione a VPC, a zona e o vSwitch do sistema de arquivos de origem.
- Instance Type: Geralmente, um tipo de instância de baixo custo é suficiente.
- Image: Selecione CentOS 7.6.
- Storage: Clique na seção Elastic Ephemeral Disk | Apsara File Storage NAS | Dedicated Block Storage Cluster (Optional) e, em seguida, clique em Add File System. Para mais detalhes, consulte as informações de configuração a seguir.
  Nota
  
  Se ambos os pontos de montagem de origem e de destino estiverem na mesma VPC, configure as informações de montagem do NAS na página de compra do ECS. Assim que a instância ECS iniciar, ela montará automaticamente os sistemas de arquivos NAS de origem e de destino.
  
  Se os pontos de montagem de origem e de destino não estiverem na mesma VPC, ou estiverem em regiões ou contas diferentes, configure apenas o sistema de arquivos de origem na página de compra do ECS. Após criar a instância ECS, monte manualmente o sistema de arquivos de destino. Para mais informações, consulte Montar um sistema de arquivos NFS.
Depois que a instância ECS for criada e ambos os sistemas de arquivos NAS estiverem montados, execute o comando a seguir para verificar as montagens:
```
mount | grep nas.aliyuncs.com
```
Se as montagens forem bem-sucedidas, a saída será semelhante à seguinte: o sistema de arquivos de origem está montado no diretório /mnt/volumeA e o sistema de arquivos de destino está montado no diretório /mnt/volumeB.
```
[root@xxx          ~]# mount | grep nas.aliyuncs.com
                xxx.nas.aliyuncs.com:/ on /mnt/volumeA type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.0.198,mountvers=3,mountport=4002,mountproto=tcp,local_lock=all,addr=192.168.0.198,_netdev)
                xxx.nas.aliyuncs.com:/ on /mnt/volumeB type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.0.213,mountvers=3,mountport=2049,mountproto=tcp,local_lock=all,addr=192.168.0.213,_netdev)
```
Instale as ferramentas de migração.
Execute o comando a seguir para instalar as ferramentas de migração:
```
sudo yum install -y rsync tmux
```
Nota
- O rsync copia os dados.
- O tmux é um multiplexador de terminal que permite executar o processo rsync em uma sessão persistente. Isso facilita o monitoramento do progresso e impede que o processo seja encerrado caso sua conexão SSH seja interrompida.
Migre os dados existentes.
Execute os comandos a seguir para sincronizar os dados existentes do sistema de arquivos de origem para o de destino:
```
tmux
sudo rsync -avP /mnt/volumeA/ /mnt/volumeB/
```
Também é possível usar o rsync para cópia simultânea:
```
threads=<number of threads>; 
src=<source path/>; 
dest=<destination path/>; 
rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )
```
Por exemplo, se o número de threads for 10, o caminho de origem for /abc e o caminho de destino for /mnt1:
```
threads=10; 
src=/abc/; 
dest=/mnt1/; 
rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )
```
Nota
- O caminho de origem no comando rsync deve terminar com uma barra final (/). Caso contrário, os caminhos dos dados não corresponderão após a sincronização.
- O comando tmux cria uma nova sessão tmux. Executar o rsync em uma sessão tmux ajuda a monitorar o progresso. Se a conexão com a instância ECS cair durante a migração, faça login novamente e execute tmux attach para retomar a sessão tmux e continuar o monitoramento.
- Em um ambiente de teste, a migração de um sistema de arquivos de origem contendo um milhão de arquivos de 100 KiB (100 GiB no total) levou aproximadamente 320 minutos.
Migre os dados incrementais.

Se as aplicações gravarem no sistema de arquivos de origem durante a migração inicial de dados, sincronize novamente para copiar os dados incrementais.
1. Interrompa suas aplicações.
  Para evitar que as aplicações gravem novos dados, interrompa todas as aplicações em instâncias ECS e containers que usam o sistema de arquivos de origem antes de sincronizar os dados incrementais.
  Importante
  
  Após interromper as aplicações, não exclua manualmente nenhum dado do sistema de arquivos de origem. Caso contrário, poderá haver perda de dados na próxima etapa.
  
  Recomendamos realizar esta operação fora do horário de pico. Use o comando fuser -mv <dir> para identificar os IDs de processo (PIDs) que estão acessando o sistema de arquivos NAS.
2. Sincronize os dados incrementais.
Verifique a migração.
Após concluir a migração, execute o comando rsync a seguir para verificar se o sistema de arquivos de destino está consistente com o de origem:
```
sudo rsync -rvn /mnt/volumeA/ /mnt/volumeB/
```
Se os dados estiverem consistentes, a saída não listará caminhos de arquivos e será semelhante à seguinte:
```
sending incremental file list
sent 13,570,658 bytes  received 5,008 bytes  17,173.52 bytes/sec
total size is 100,000,000,000  speedup is 7,366.12 (DRY RUN)
```

Transição para o novo sistema de arquivos

Após concluir a migração de dados, alterne suas aplicações para o novo sistema de arquivos desmontando o sistema antigo e montando o novo em todas as instâncias ECS e containers relevantes.

Para aplicações executadas em instâncias ECS:
1. Execute mount | grep nas.aliyuncs.com para visualizar as informações atuais de montagem do NAS. Anote o caminho local <dir> onde o sistema de arquivos está montado.
2. Execute fuser -mv <dir> para encontrar os PIDs dos processos que estão acessando o sistema de arquivos e, em seguida, interrompa-os com o comando kill -9.
3. Execute umount <dir> para desmontar o sistema de arquivos antigo.
4. Monte o novo sistema de arquivos no caminho <dir> original. Para mais informações sobre os parâmetros de montagem, consulte Montar um sistema de arquivos NFS.
5. Reinicie os processos da aplicação e verifique se eles conseguem ler e gravar no novo sistema de arquivos.
6. Modifique a configuração de montagem automática no arquivo /etc/fstab para substituir o ponto de montagem antigo pelo novo.
Para aplicações executadas em containers Kubernetes:
1. Modifique o arquivo de configuração YAML do volume dinâmico ou volume persistente existente para substituir o ponto de montagem antigo pelo novo.
2. Use o arquivo de configuração modificado para criar novos pods. Verifique se o novo sistema de arquivos está montado corretamente e se permite leitura e gravação.
3. Encerre todos os pods que usam o sistema de arquivos antigo.

Importante

Após fazer a transição para o novo sistema de arquivos, mantenha os dados no sistema antigo por pelo menos uma semana. Não exclua imediatamente os dados do sistema de arquivos antigo para evitar possíveis perdas de dados devido a exclusões acidentais ou erros de sincronização.

Referências

Liberar recursos de instância do sistema de arquivos

Excluir uma conexão de instância de rede CEN