:Migrate from OSS to a local file system

Considerações

Considere os seguintes pontos ao migrar dados:

• O Directory To Be Migrated deve ser um caminho absoluto que comece e termine com uma barra (/). O caminho não pode conter variáveis de ambiente ou caracteres especiais.

• Certifique-se de que o Directory To Be Migrated exista e seja válido.

• O serviço de migração usa as APIs públicas padrão do provedor de armazenamento de origem para acessar os dados de origem. O comportamento do serviço depende da implementação específica da API do provedor.

• A migração consome recursos tanto na origem quanto no destino. Para evitar impactos em cargas de trabalho críticas para os negócios, configure o limite de largura de banda ou execute a tarefa em horários de menor demanda.

• O serviço inspeciona os arquivos em ambos os endereços antes da migração. Se o modo de sobrescrita estiver ativado, os arquivos de destino com nomes correspondentes serão sobrescritos. Para evitar perda de dados quando o conteúdo dos arquivos for diferente, renomeie ou faça backup dos arquivos de destino antes de iniciar a migração.

Limitações de migração

• Se a hospedagem de site estático estiver ativada para o bucket de origem, a varredura de migração poderá detectar diretórios inexistentes. Por exemplo, o upload de myapp/resource/1.jpg faz com que a varredura detecte myapp/, myapp/resource/ e myapp/resource/1.jpg. A migração de myapp/ e myapp/resource/ falha, mas myapp/resource/1.jpg é migrado com sucesso.

• Se o nome de um objeto de origem terminar com uma barra (/), seus atributos serão aplicados ao diretório correspondente no sistema de arquivos de destino. O modo de sobrescrita da tarefa é ignorado para esses objetos.

• Se o bucket de origem contiver objetos cujos nomes terminem com uma barra (/), eles serão tratados como diretórios no destino. Por exemplo, se a origem contiver os objetos a/, a/b/ e a/b/c/, isso criará o caminho de diretório aninhado a/b/c/ após a migração.

• É possível migrar dados de apenas um bucket por tarefa de migração. Para migrar dados de uma conta inteira, é necessário criar uma tarefa separada para cada bucket.

• Não há suporte para migração a partir do Alibaba Finance Cloud ou do Alibaba Gov Cloud.

• A migração de dados do Alibaba Cloud OSS para um sistema de arquivos local não preserva todos os atributos do objeto:

  • Suportado: o LastModifyTime é migrado e definido como ModifyTime no sistema de arquivos local.

  • Não suportado (lista não exaustiva): x-oss-meta-*, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language, Expires, StorageClass, Acl, criptografia do lado do servidor, tags e cabeçalhos definidos pelo usuário, como x-oss-persistent-header.

    Nota

    O comportamento de atributos não listados não é garantido. Sempre verifique seus dados no destino após a migração.

Etapa 1: Selecionar uma região

1. Acesse o Data Online Migration console com o usuário RAM.

2. No canto superior esquerdo da barra de navegação superior, selecione a região do agente.

   Importante

   • Túneis, agentes, endereços de dados e tarefas de migração são específicos de cada região. Escolha a região com cuidado.

   • Selecione a região do agente. Se não estiver disponível, selecione a região mais próxima.

Etapa 2: Crie um túnel

1. No painel de navegação à esquerda, escolha Data Online Migration > Channel Management e, em seguida, clique em Create Tunnel.

2. Na caixa de diálogo Create Tunnel, configure os seguintes parâmetros e clique em OK.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	O nome do túnel. O nome não pode estar vazio e pode ter até 100 caracteres. O nome pode conter letras, dígitos, hifens (-) e sublinhados (_).
   Maximum Bandwidth	Sim	A largura de banda máxima que o túnel pode usar. Se não configurar este parâmetro, o valor padrão 0 será usado, indicando que a largura de banda do túnel não tem limite. Se configurar este parâmetro, insira um valor com base na nota no console. Importante A largura de banda disponível para o túnel depende da largura de banda real da conexão de rede.
   Requests/s	Sim	O número máximo de solicitações por segundo no túnel. Se não configurar este parâmetro, o valor padrão 0 será usado, indicando que o número de solicitações por segundo no túnel não tem limite. Se configurar este parâmetro, insira um valor com base na nota no console. Aviso Recomendamos avaliar os recursos do sistema de armazenamento da fonte de dados antes de configurar este parâmetro. Definir um valor muito alto pode afetar seus negócios. Insira um valor com base na nota no console.

Etapa 3: Crie um agente

1. No painel de navegação à esquerda, escolha Data Online Migration > Agent Management e, em seguida, clique em New Agent.

2. Na caixa de diálogo New Agent, configure os seguintes parâmetros e, em seguida, clique em OK.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	O nome do agente. O nome deve ter de 3 a 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome deve ser codificado em UTF-8 e não pode começar com um hífen (-) ou um sublinhado (_).
   Network Type	Sim	O tipo de conexão de rede para o agente. As seguintes opções estão disponíveis: VPC (Recommended): O agente se conecta ao serviço Data Online Migration por meio de uma VPC. Este método exige que a máquina que hospeda o agente acesse o endpoint interno do Data Online Migration na região correspondente. Por exemplo, ao usar o Data Online Migration na região China (Beijing), a máquina do agente deve acessar o endpoint interno {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Recomendamos usar uma instância ECS na mesma região do console Data Online Migration para implantar o agente. Public network: O agente se conecta ao serviço Data Online Migration pela rede pública. Este método exige que a máquina que hospeda o agente acesse o endpoint público do Data Online Migration na região correspondente. Por exemplo, ao usar o Data Online Migration na região China (Beijing), a máquina do agente deve acessar o endpoint público {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com. Nota {TunnelId} é um espaço reservado para o ID do túnel. Use o comando ping para testar a conectividade de rede entre o agente e o serviço Data Online Migration.
   Deployment method	Sim	O método de implantação do agente. Atualmente, há suporte apenas para implantação de processo autônomo.
   Tunnel	Sim	O túnel a ser associado ao agente. Um agente pode ser associado a apenas um túnel. A largura de banda do agente é limitada pela largura de banda total do túnel. Por exemplo, um túnel chamado tunnel-1 é configurado com uma largura de banda máxima de 10 Gbit/s. O tunnel-1 está associado a três agentes: agent-1, agent-2 e agent-3. A largura de banda combinada desses três agentes não pode exceder 10 Gbit/s. Se o agent-1 receber 3 Gbit/s de largura de banda, apenas 7 Gbit/s de largura de banda permanecerão disponíveis para o agent-2 e o agent-3. Planeje e aloque a largura de banda com cuidado.

3. Gere o script de implantação do agente. Para obter instruções, consulte Generate agent deployment script.

Etapa 4: Crie um endereço de origem

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e, em seguida, clique em Create Address.

2. No painel Create Address, configure os seguintes parâmetros e clique em OK.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	O nome deve ter de 3 a 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com um hífen (-) ou um sublinhado (_).
   Type	Sim	Selecione OSS.
   Region	Sim	Selecione a região do bucket de origem, por exemplo, China (Hangzhou).
   Função RAM	Sim	Se o bucket de origem pertencer à sua conta Alibaba Cloud: Authorize a role automatically in the migration console (Recommended). Authorize a role manually in the migration console (Alternative). Se o bucket de origem pertencer a uma conta Alibaba Cloud diferente: Authorize a role in the OSS console.
   Bucket	Sim	Insira o nome do bucket de origem.
   Agent	Não	Selecione o nome do agente a ser usado. Importante Este parâmetro é obrigatório apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Selecione no máximo 200 agentes para um canal especificado.

Etapa 5: Crie um endereço de destino

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e, em seguida, clique em Create Address.

2. No painel Create Address, configure os seguintes parâmetros e clique em OK.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	Insira um nome para o endereço de destino. O nome deve atender aos seguintes requisitos: O nome deve ter de 3 a 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com um hífen (-) ou um sublinhado (_).
   Type	Sim	Selecione LocalFS.
   Directory To Be Migrated	Sim	Prefixo de caminho para o diretório de destino. Os dados de origem são migrados para este local. O caminho deve ser um caminho absoluto que comece e termine com uma barra (/). Não há suporte para variáveis de ambiente e caracteres especiais. Por exemplo, considere um endereço de dados de origem com o prefixo /example/src/ que contém o arquivo example.jpg. Ao definir este parâmetro como /example/dest/, o arquivo será migrado para /example/dest/example.jpg. Importante Se um endereço de dados estiver associado a vários agentes, certifique-se de que cada agente possa acessar o diretório. Caso contrário, a migração de alguns dados pode falhar.
   Tunnel	Sim	Selecione o nome do canal a ser usado. Importante Este parâmetro é obrigatório apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Associe um agente se o destino for um sistema de arquivos local ou se a migração usar uma conexão dedicada, por exemplo, para uma nuvem financeira ou ambiente Apsara Stack.
   Agent	Sim	Selecione o nome do agente a ser usado. Importante Este parâmetro é obrigatório apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Selecione no máximo 200 agentes para um canal especificado.

Etapa 6: Crie uma tarefa de migração

1. No painel de navegação à esquerda, escolha Data Online Migration > Migration Tasks e, em seguida, clique em Create Task.

2. Na página Select Address, configure os seguintes parâmetros e, em seguida, clique em Next.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	Insira um nome para a tarefa de migração. O nome deve atender aos seguintes requisitos: O nome deve ter de 3 a 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com um hífen (-) ou um sublinhado (_).
   Source Address	Sim	Selecione um endereço de origem existente.
   Destination Address	Sim	Selecione um endereço de destino existente.

3. Na página Task Configurations, configure os seguintes parâmetros.

   Parâmetro	Obrigatório	Descrição
   Configurações básicas
   Migration Bandwidth	Não	Selecione a largura de banda de migração. Default: A largura de banda máxima disponível. A velocidade real depende do tamanho do arquivo e do número de arquivos. Specify an upper limit: Especifique um limite máximo de largura de banda. Importante A largura de banda real de migração depende de fatores como a fonte de dados, as condições de rede, a limitação de taxa no destino e o tamanho do arquivo, podendo não atingir o limite superior especificado. Selecione um valor com base em sua fonte de dados, destino, requisitos de negócios e largura de banda de rede. Uma limitação inadequada pode interromper as operações do seu negócio.
   Files Migrated Per Second	Não	Selecione o número de arquivos migrados por segundo. Default: Usa a taxa padrão de arquivos migrados por segundo. Specify an upper limit: Especifique um número máximo de arquivos migrados por segundo. Importante O número real de arquivos migrados por segundo é afetado por fatores como a fonte de dados, as condições de rede, a limitação de taxa no destino e o tamanho do arquivo, podendo não atingir o limite superior especificado. Selecione um valor com base em sua fonte de dados, destino, requisitos de negócios e largura de banda de rede. Uma limitação inadequada pode interromper as operações do seu negócio.
   Overwrite Mode	Não	Especifica como lidar com arquivos com o mesmo nome. Do not overwrite: Ignora o arquivo. Overwrite All: O arquivo de origem sobrescreve o arquivo de destino. Overwrite based on the last modification time: Se a hora da última modificação do arquivo de origem for posterior à do arquivo de destino, o arquivo de destino será sobrescrito. Se a hora da última modificação dos arquivos de origem e de destino for a mesma, o arquivo de destino será sobrescrito se o tamanho (Size) ou o Content-Type forem diferentes. Aviso Com a política Overwrite based on the last modification time, há o risco de um arquivo mais antigo sobrescrever um arquivo mais novo, pois não há garantia estrita de preservação dos arquivos mais novos. Ao selecionar a política Overwrite based on the last modification time, certifique-se de que os arquivos de origem possam retornar metadados como last modified time, Size e Content-Type. Caso contrário, a política de sobrescrita pode não funcionar conforme o esperado. Ao selecionar Do not overwrite ou Overwrite if last modified time is later, o serviço envia uma solicitação para a origem e uma para o destino para recuperar metadados para a verificação de sobrescrita. Isso gera taxas de solicitação tanto na origem quanto no destino.
   Configurações de auditoria
   Migration Report	Sim	Método de entrega para o relatório de migração. Do not push (Padrão): Não envia o relatório para o destino. Push: Envia o relatório para o LocalFS de destino. O caminho do relatório é descrito em Subsequent operations. Importante Enviar um relatório de migração consome espaço de armazenamento no destino. A entrega do relatório pode sofrer atrasos. Aguarde a geração do relatório. Cada execução de tarefa possui um ID exclusivo. Os relatórios são enviados apenas uma vez. Tenha cuidado ao excluir relatórios.
   Migration Logs	Sim	Especifica como enviar o log de migração. Do not push (Padrão): Não envia o log de migração. Push: Envia o log de migração para o Log Service (SLS). Visualize o log de migração no SLS. Push only file error logs.: Envia apenas logs de erro de arquivo para o Log Service (SLS). Visualize esses logs no SLS. Ao selecionar Push ou Push only file error logs., o Online Migration Service cria um projeto no Log Service (SLS) chamado aliyun-oss-import-log-<Alibaba Cloud account ID>-<current deployment region>, por exemplo, aliyun-oss-import-log-137918634953****-cn-hangzhou. Importante Antes de selecionar Push ou Push only file error logs., certifique-se de ter concluído as seguintes operações. Caso contrário, a tarefa de migração poderá falhar. O Log Service (SLS) deve estar ativado. Conceda as permissões necessárias na página Authorize.
   Authorize	Não	Esta opção aparece apenas ao definir Migration Logs como Push ou Push only file error logs.. Clique em Authorize para acessar a página Cloud Resource Access Authorization. O sistema cria a função AliyunOSSImportSlsAuditRole e concede a ela as permissões necessárias. Clique em Agree to Authorization para concluir a autorização.
   Filtros
   File Name	Não	Um filtro baseado em nomes de arquivos. Suporta regras Include e Exclude usando expressões regulares com base na biblioteca RE2 (há suporte apenas para um subconjunto da sintaxe). Por exemplo: .*\.jpg$ corresponde a todos os arquivos que terminam com .jpg. ^file.* corresponde a todos os arquivos no nível raiz que começam com file por padrão. Ao definir um prefixo para o endereço de origem, como data/to/oss/, use ^data/to/oss/file.* para corresponder a todos os arquivos que começam com file sob esse prefixo. ./picture/. corresponde a qualquer subdiretório chamado picture. Importante Ao usar uma regra Include, todos os arquivos correspondentes são migrados. Se houver várias regras Include, qualquer arquivo que corresponda a pelo menos uma regra será migrado. Por exemplo, ao ter dois arquivos, picture.jpg e picture.png, e definir uma regra Include para .\.jpg$, apenas picture.jpg será migrado. Ao adicionar também uma regra Include para .\.png$, ambos os arquivos serão migrados. Ao usar uma regra Exclude, nenhum arquivo correspondente é migrado. Se houver várias regras Exclude, qualquer arquivo que corresponda a pelo menos uma regra não será migrado. Por exemplo, ao ter dois arquivos, picture.jpg e picture.png, e definir uma regra Exclude para .\.jpg$, apenas picture.png será migrado. Ao adicionar também uma regra Exclude para .\.png$, nenhum dos arquivos será migrado. As regras de exclusão têm precedência. Se um arquivo corresponder a uma regra Exclude e a uma regra Include, o arquivo não será migrado. Por exemplo, para um arquivo chamado file.txt, se você definir uma regra Exclude para .\.txt$ e uma regra Include para file., o arquivo file.txt não será migrado.
   File Modification Time	Não	Filtra arquivos com base na hora da última modificação. Especifique um intervalo de tempo para migrar apenas os arquivos cuja hora da última modificação esteja dentro desse intervalo. As regras são as seguintes: Ao especificar apenas uma hora de início de 1 de janeiro de 2019, a tarefa migrará apenas os arquivos modificados pela última vez nessa data ou após ela. Ao especificar apenas uma hora de término de 1 de janeiro de 2022, a tarefa migrará apenas os arquivos modificados pela última vez nessa data ou antes dela. Ao especificar uma hora de início de 1 de janeiro de 2019 e uma hora de término de 1 de janeiro de 2022, a tarefa migrará apenas os arquivos modificados pela última vez entre essas duas datas, inclusive.
   Migração de entidades especiais	Não	Defina se os tipos de entidades especiais serão migrados. Link simbólico: Enabled: Os links simbólicos de origem são adicionados à fila de migração e contados nas estatísticas de arquivos e armazenamento. Arquivos de link simbólico correspondentes são criados no destino com atributos baseados em atributos UserMeta migráveis. O atributo Target depende da opção Convert target. Disabled: Os links simbólicos de origem são ignorados e excluídos da contagem de arquivos e das estatísticas de armazenamento. Importante Os objetos apontados pelos links simbólicos não são migrados automaticamente. A migração ocorre apenas se estiverem incluídos no escopo da tarefa.
   Configuração de migração
   Convert target	Não	Defina se o atributo Target dos links simbólicos de origem é convertido para garantir que os links migrados apontem para os arquivos de destino corretos. Importante Esta opção tem efeito apenas quando a migração de links simbólicos está ativada. Independentemente da conversão do destino, o serviço de migração não verifica se o arquivo de destino existe, se seu tipo é válido ou se há as permissões de acesso necessárias. Enabled: Realiza uma substituição de string. Se o atributo Target do link simbólico de origem corresponder ao prefixo de origem (SrcPrefix), o prefixo será substituído pelo prefixo de destino (DestPrefix). O resultado é definido como o atributo Target para o link simbólico de destino. Nota Exemplo: Suponha que uma tarefa de migração seja configurada com SrcPrefix="cloud_base/" e DestPrefix="/mnt/nas1/". Um objeto de link simbólico de origem existe em cloud_base/links/a.lnk. Se seu atributo Target for "cloud_base/data/a.txt", a substituição corresponderá. O Target final no destino será "/mnt/nas1/data/a.txt". Se seu atributo Target for "cloud_outer/data/a.txt", nenhuma correspondência será encontrada. O Target final no destino permanecerá "cloud_outer/data/a.txt". Disabled: Não realiza conversão. O atributo Target original do link simbólico de origem é definido no link simbólico de destino.
   Preserve last modification time	Sim	Defina se a hora da última modificação do arquivo de origem será preservada. Preserve (Padrão): A hora da última modificação do arquivo de origem é definida no arquivo de destino. Do not preserve: A hora da última modificação não é preservada.
   Agendamento de tarefas
   Execution time	Não	Importante Se uma tarefa de migração ainda estiver em execução no próximo horário de execução agendado, essa execução será adiada até o próximo horário agendado após a conclusão da execução atual. Isso se repete até que o número especificado de execuções seja atingido. Limite de simultaneidade para tarefas de migração: A China continental e a China (Hong Kong) suportam no máximo 10 tarefas simultâneas. As regiões no exterior suportam no máximo 5 tarefas simultâneas. Exceder esse limite pode causar falha nas tarefas agendadas. Defina quando executar a tarefa de migração. Immediately: Execute a tarefa assim que ela é criada. At the Specified Time: Defina uma janela de tempo diária para a execução da tarefa. Por padrão, a tarefa começa no horário de início especificado e pausa no horário de término especificado. Periodic Scheduling: Execute a tarefa com base em uma frequência e número de execuções especificados. Frequência de execução: Suporta cinco tipos de frequências: Hourly, Daily, Weekly, Specific days of the week e Custom. Para mais informações, consulte Execution frequency reference. Número de execuções: Defina quantas vezes a tarefa será executada. Se não for definido, a tarefa será executada uma vez por padrão. Para o número máximo de execuções, consulte o prompt do console. Importante Inicie e pare tarefas manualmente a qualquer momento, independentemente das configurações personalizadas de horário de execução.

4. Leia o Online Migration Service Agreement, selecione I understand and confirm the compliance commitment statement and acknowledge my responsibility to verify data consistency after the migration task is complete e, em seguida, clique em Next.

5. Revise suas configurações. Se tudo estiver correto, clique em OK e aguarde a execução da tarefa de migração.

Frequência de execução

Etapa 7: Verificar dados