File Storage NAS:Migrar dados para o File Storage NAS

Pré-requisitos

Você já deve ter configurado uma instância ECS como um nó de trânsito para transferência de dados. Para mais informações, consulte Configure a data transfer transit node.

Migrar dados usando um cliente SFTP

1. Instale um cliente SFTP no seu sistema operacional local.

   Existem vários clientes SFTP disponíveis. Este tópico usa o FileZilla como exemplo. Escolha uma versão compatível com o seu sistema operacional local e baixe e instale o cliente SFTP.

2. Conecte o cliente SFTP à instância ECS de trânsito.

   1. Abra o cliente FileZilla e configure os parâmetros conforme descrito na tabela a seguir. Clique em Quickconnect.

      Após conectar ao servidor ECS, o painel esquerdo exibe o seu sistema de arquivos local e o painel direito exibe o sistema de arquivos do servidor.

      Parâmetro	Descrição
      Host	O endereço IP público da instância ECS de trânsito. Exemplo: 192.0.2.1.
      Username	O nome de usuário da instância ECS de trânsito. Este usuário deve ter permissões de leitura e gravação no diretório do sistema de arquivos NAS. Exemplo: root. Nota O nome de usuário padrão para uma instância ECS Linux é root ou ecs-user. O nome de usuário padrão para uma instância ECS Windows é administrator.
      Password	A senha de logon da instância ECS de trânsito. Por exemplo, a senha de logon do usuário root. Nota Caso esqueça a senha da instância ECS de trânsito, você pode redefini-la e definir uma nova senha. Para mais informações, consulte Reset the logon password of an instance.
      Port	O número da porta SFTP. O padrão é 22.

   2. No painel direito, defina o caminho no campo Remote site para o caminho de montagem do sistema de arquivos NAS, como /mnt. Pressione Enter e visualize os arquivos no sistema de arquivos NAS.

3. Faça o upload dos dados.

   Arraste arquivos ou diretórios do painel esquerdo para o painel direito para fazer o upload.

Migrar dados usando o rsync

1. Instale o rsync.

   • Sistemas operacionais Linux

     Sistema operacional	Comando
     CentOS	Use o yum e instale o rsync. sudo yum install rsync
     Redhat
     Ubuntu	Use o apt e instale o rsync. sudo apt-get install rsync
     Debian

     Nota

     Se você estiver usando outra distribuição Linux, use o gerenciador de pacotes correspondente e instale o rsync.

   • macOS

     Baixe e instale o gerenciador de pacotes homebrew e, em seguida, execute o seguinte comando e instale o rsync.

     brew install rsync

   • Sistemas operacionais Windows

     Baixe e instale o ambiente Cygwin. Você pode pesquisar e instalar o rsync durante o processo de instalação ou baixar, compilar e instalar o rsync manualmente.

     Nota

     Você deve abrir a porta SSH (TCP 22) no grupo de segurança da VPC.

2. Faça o upload dos dados.

   Execute o seguinte comando para sincronizar incrementalmente e fazer o upload de um diretório local para o File Storage NAS.

   rsync -avP DirToSync/ root@192.0.2.0:/mnt/DirToSync/

   Substitua os valores de exemplo no comando pelos seus valores reais. A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição
   DirToSync	O nome do diretório local para upload.
   root	O nome de usuário da instância ECS de trânsito.
   192.0.2.0	O endereço IP público da instância ECS de trânsito.
   /mnt	O caminho de montagem do sistema de arquivos NAS na instância ECS de trânsito.

   Nota

   • O caminho de origem no comando rsync deve terminar com uma barra (/). Caso contrário, os caminhos dos dados estarão incorretos após a sincronização.

   • Para copiar dados simultaneamente usando o rsync, execute o seguinte comando:

     threads=<number_of_threads>; 
     src=<source_path/>; 
     dest=<destination_path/>; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

     Por exemplo, para definir o número de threads como 10, defina o caminho de origem como /abc e defina o caminho de destino como /mnt1, execute o seguinte comando:

     threads=10; 
     src=/abc/; 
     dest=/mnt1/; 
     rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% )

3. Opcional: Configure uma tarefa de backup agendada.

   Em um sistema Linux ou macOS local, você pode usar o comando rsync com o crontab para configurar tarefas de upload e backup agendadas.

   • Sistemas operacionais Linux

     1. Crie uma conexão SSH sem senha do seu sistema local para a instância ECS. Para mais informações, consulte Connect to a Linux instance by using a key pair.

        Execute o seguinte comando e confirme a conexão:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Nota

        ~/.ssh/ecs.pem é o caminho onde o arquivo de chave é armazenado localmente.

     2. Configure o crontab.

        Execute o comando crontab -e para abrir o editor e configurar uma tarefa de upload agendada. A seguir, um exemplo de configuração:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@192.0.2.0:/mnt/Documents/

        Esta configuração do crontab faz backup automático do diretório Documents do usuário atual para o File Storage NAS todos os dias às 23:00. Modifique os parâmetros conforme necessário.

   • macOS

     1. Conceda permissões de acesso ao disco para o diretório /usr/sbin/cron.

        Acesse System Settings, selecione , clique em Unlock e, em seguida, clique em +. Selecione o diretório Macintosh HD, pressione Cmd+Shift+. para exibir diretórios ocultos e, em seguida, selecione /usr/sbin/cron.

     2. Crie uma conexão SSH sem senha do seu sistema local para a instância ECS. Para mais informações, consulte Connect to a Linux instance by using a key pair.

        Execute o seguinte comando e confirme a conexão:

        ssh -i ~/.ssh/ecs.pem root@1.2.3.4

        Nota

        ~/.ssh/ecs.pem é o caminho onde o arquivo de chave é armazenado localmente.

     3. Configure o crontab.

        Execute o comando crontab -e para abrir o editor e configurar uma tarefa de upload agendada. A seguir, um exemplo de configuração:

        0 23 * * * rsync -av -e "ssh -i ~/.ssh/ecs.pem" ~/Documents/ root@1.2.3.4:/mnt/Documents/

        Esta configuração do crontab faz backup automático do diretório Documents do usuário atual para o File Storage NAS todos os dias às 23:00. Modifique os parâmetros conforme necessário.

   Nota

   Se você enfrentar problemas de desempenho ao usar o rsync para migrar dados, use a ferramenta fpsync para uma migração multithread. Para mais informações, consulte Appendix: Migrate data by using the fpsync command-line tool.

Migrar dados usando o Robocopy

O Robocopy é uma ferramenta de linha de comando para replicação de diretórios integrada ao Windows. Ele cria um espelho completo de dois diretórios sem copiar arquivos duplicados e preserva todos os metadados dos arquivos, incluindo carimbos de data e hora.

1. Faça logon na instância ECS de trânsito.

2. Migre os dados.

   Execute o seguinte comando para migrar dados do sistema de arquivos de origem (unidade Z) para o sistema de arquivos de destino (unidade Y):

   robocopy Z:\ Y:\ /e /w:5 /z /mt:32

   Nota

   Este comando migra apenas os dados dentro do diretório especificado, e não o diretório em si.

   A tabela a seguir descreve parâmetros importantes. Substitua-os pelos seus valores reais.

   Parâmetro	Descrição
   /mt	O número de threads simultâneas. O padrão é 8. Valores válidos: 1 a 128. Este exemplo usa 32 threads para cópia multithread.
   /w	Especifica o tempo de espera em segundos entre as tentativas.
   /z	Ativa a transferência retomável.
   /e	Copia todos os subdiretórios, incluindo os vazios.
   /copyall	Copia todas as informações do arquivo. Isso inclui: Dados Atributos Carimbos de data e hora Lista de Controle de Acesso (ACL) Informações do proprietário Informações de auditoria

   Nota

   Para acelerar a migração de grandes volumes de dados, como mais de 100 milhões de arquivos pequenos que ultrapassam 10 TB de tamanho total, você pode instalar a versão mais recente do programa Python na instância ECS Windows para executar a migração. Para mais informações, consulte How to accelerate data migration to an SMB file system of Apsara File Storage NAS.

3. Verifique o resultado da migração.

   Após a conclusão da migração, execute o seguinte comando do Robocopy para verificar se os dados no destino são consistentes com a origem:

   ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt

   A tabela a seguir descreve parâmetros importantes. Substitua-os pelos seus valores reais.

   Parâmetro	Descrição
   /e	Lista apenas diretórios, incluindo os vazios.
   /l	Relata diferenças sem modificar ou copiar arquivos.
   /fp	Inclui os caminhos completos dos arquivos no log. Isso é necessário apenas quando /ndl é omitido.
   /ns	Especifica para não incluir os tamanhos dos arquivos no log.
   /ndl	Especifica para não incluir pastas no log.
   /njs	Especifica para não incluir o resumo do trabalho.
   /njh	Especifica para não incluir o cabeçalho do trabalho.
   /log:reconcile.txt	Grava o resultado da migração no arquivo de log reconcile.txt. Se o arquivo já existir, ele será sobrescrito.

Migrar dados usando o IIS FTP

Para configurar o IIS FTP service em uma instância ECS e um cliente FTP no seu sistema local, consulte Configure Windows IIS.

Apêndice: Migrar dados usando o fpsync

1. Baixe e instale o fpsync.

   wget -N https://github.com/martymac/fpart/archive/fpart-1.1.0.tar.gz -P /tmp
   tar -C /tmp/ -xvf /tmp/fpart-1.1.0.tar.gz
   cd /tmp/fpart-fpart-1.1.0
   sudo yum install -y automake libtool
   autoreconf -i
   ./configure
   make
   sudo make install
   sudo yum install parallel -y
   printf "will cite" | parallel --bibtex
   sudo yum install -y rsync

2. Copie todo o diretório de arquivos.

   fpsync -n 10 -f 10000 /data/src/ /data/dst/

   Nota

   Para mais informações sobre o fpsync, consulte a documentação da ferramenta fpsync.

Documentos relacionados

Se você lê e grava grandes quantidades de dados no NAS a partir do seu data center com frequência, use uma linha alugada para montar e acessar o sistema de arquivos NAS diretamente do data center. Para mais informações, consulte Access a file system from a data center.

Se a largura de banda de rede pública da sua instância ECS for insuficiente para fazer upload de grandes quantidades de dados para o NAS, considere fazer o upload dos dados para o Object Storage Service (OSS) primeiro e, em seguida, migrá-los para o File Storage NAS. Para mais informações, consulte Upload objects e Implementation of migration.

Próximas etapas

Após o upload dos dados, você pode montar o sistema de arquivos NAS nas suas instâncias ECS ou em seus containers para compartilhar e acessar seus dados.

Por exemplo, você pode montar um sistema de arquivos NFS em uma instância ECS Linux ou um sistema de arquivos SMB em uma instância ECS Windows para acessar os dados do NAS como dados locais. Para mais informações, consulte Mount an NFS file system on a Linux ECS instance e Mount an SMB file system on a Windows ECS instance.

Você também pode criar aplicações cloud onde vários nós de computação leem e gravam grandes quantidades de dados no File Storage NAS. Por exemplo, você pode use an NGINX proxy server to access File Storage NAS ou use the Windows IIS service to access File Storage NAS.

Se você não precisar mais da instância ECS de trânsito para transferência de dados, poderá liberar a instância. Para mais informações, consulte Release an instance.