Migrar dados de um IDC local para o OSS - : Central de Documentação do Alibaba Cloud

Este tópico descreve como migrar dados de um IDC local para o OSS.

Informações de contexto

Uma empresa de e-commerce utiliza o Fast Distributed File System (FastDFS) para armazenar dados em seu IDC próprio. Os dados incluem cerca de 30.000.000 arquivos e têm um tamanho total de aproximadamente 300 TB. A empresa conectou o IDC local a uma VPC na China (Shenzhen) por meio do Alibaba Cloud Express Connect.

A Empresa A deseja fazer a transição de seus negócios para o OSS devido a necessidades de desenvolvimento. Para garantir a continuidade dos negócios, os seguintes requisitos devem ser atendidos durante essa transição:

Durante a migração, é necessário evitar impactos no acesso normal aos dados por parte dos usuários.
Após a conclusão do job de migração, verifique a integridade dos dados para garantir uma transição perfeita dos negócios para o OSS.

Solução de migração

Com base nas informações de contexto, migre os dados da seguinte forma:

Crie um bucket do OSS na região China (Shenzhen) e altere o local de armazenamento padrão para o endereço de dados desse bucket.
Use o módulo NGINX integrado do FastDFS para exportar todos os arquivos a serem migrados para uma lista de URLs HTTP, as quais podem ser acessadas na VPC.

As URLs HTTP são separadas por linha e cada linha indica um arquivo. Separe várias URLs com quebras de linha (\n). Para mais informações sobre o formato, consulte Migrate data from HTTP and HTTPS sources to OSS.
Utilize o Data Transport para migrar os dados do IDC local para o OSS.
Migre seus negócios para o OSS após a conclusão da migração.

Etapa 1: Crie um bucket e modifique o local de armazenamento

Na região China (Shenzhen), crie um bucket para armazenar dados. Para mais informações, consulte Crie buckets.
Configure a política do bucket e ative o acesso ao bucket apenas para os funcionários da empresa. Para mais informações, consulte Configure bucket policies to authorize other users to access OSS resources.
Informe os funcionários sobre a alteração do local de armazenamento padrão para o bucket.

Etapa 2: Crie um job de migração

Crie um usuário do RAM e conceda a ele a permissão para criar jobs de migração. Para mais informações, consulte Crie e autorize um usuário do RAM.
Faça logon no console do Data Transport como o novo usuário do RAM.
Crie um endereço de dados de origem HTTP. Para mais informações, consulte Crie um endereço de dados de origem.

Ao criar um endereço de dados de origem HTTP, selecione

Use

para

Whether to Use VPC

e especifique a VPC. Para garantir uma migração bem-sucedida, especifique a VPC para acessar as URLs HTTP. A figura a seguir mostra os detalhes da configuração.
Crie um endereço de dados de destino do OSS. Para mais informações, consulte Crie um endereço de dados de destino.
Crie um job de migração completa e configure os parâmetros na etapa Performance. Para mais informações, consulte Crie um job de migração.

Nota
Com base na largura de banda disponível fornecida pela empresa, o processo de migração leva cerca de dois dias. Na prática, defina um limite de fluxo adequado com base no uso da largura de banda.
Para garantir que todos os dados sejam migrados após a migração, visualize o relatório de migração e compare os dados tanto no endereço de dados de origem quanto no endereço de dados de destino.

Nota
Para mais informações sobre como solucionar problemas de migração, consulte

Common causes of a migration failure and solutions

.

Etapa 3: Migrar os negócios para o OSS

Após a conclusão da migração, altere o endereço de dados de onde os aplicativos de negócios recuperam dados para o OSS. Em seguida, armazene e gerencie os dados no OSS.