:Migrate from OSS to a local file system

Considerações

Observe os pontos a seguir ao migrar dados:

• O campo Directory To Be Migrated deve ser um caminho absoluto que comece e termine com barra (/). O caminho não pode conter variáveis de ambiente ou caracteres especiais.

• Verifique se o campo Directory To Be Migrated existe e é válido.

• O serviço de migração usa as APIs públicas padrão do provedor de armazenamento de origem para acessar os dados. O comportamento do serviço depende da implementação específica da API desse provedor.

• A migração consome recursos tanto na origem quanto no destino. Para evitar impactos em cargas de trabalho críticas, configure limites de largura de banda ou execute a tarefa fora dos horários de pico.

• O serviço inspeciona os arquivos em ambos os endereços antes da migração. Se o modo de substituição estiver ativado, os arquivos de destino com nomes correspondentes serão sobrescritos. Para evitar perda de dados quando o conteúdo dos arquivos for diferente, renomeie ou faça backup dos arquivos de destino antes de iniciar a migração.

Limitações da migração

• Se a hospedagem de site estático estiver habilitada para o bucket de origem, a varredura de migração poderá detectar diretórios inexistentes. Por exemplo, o upload de myapp/resource/1.jpg faz com que a varredura detecte myapp/, myapp/resource/ e myapp/resource/1.jpg. A migração de myapp/ e myapp/resource/ falha, mas myapp/resource/1.jpg é migrado com sucesso.

• Se o nome de um objeto de origem terminar com barra (/), seus atributos serão aplicados ao diretório correspondente no sistema de arquivos de destino. O modo de substituição da tarefa é ignorado para esses objetos.

• Caso o bucket de origem contenha objetos cujos nomes terminem com barra (/), eles serão tratados como diretórios no destino. Por exemplo, se a origem contiver os objetos a/, a/b/ e a/b/c/, isso criará o caminho de diretório aninhado a/b/c/ após a migração.

• É possível migrar dados de apenas um bucket por tarefa de migração. Para migrar dados de uma conta inteira, crie uma tarefa separada para cada bucket.

• Não há suporte para migração a partir do Alibaba Finance Cloud ou Alibaba Gov Cloud.

• A migração de dados do Alibaba Cloud OSS para um sistema de arquivos local não preserva todos os atributos do objeto:

  • Suportado: LastModifyTime é migrado e definido como ModifyTime no sistema de arquivos local.

  • Não suportado (lista não exaustiva): x-oss-meta-*, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language, Expires, StorageClass, Acl, criptografia no lado do servidor, tagging e cabeçalhos definidos pelo usuário, como x-oss-persistent-header.

    Nota

    O comportamento de atributos não listados não é garantido. Sempre verifique seus dados no destino após a migração.

Etapa 1: Selecione uma região

1. Faça login no console do Data Online Migration com o usuário RAM.

2. No canto superior esquerdo da barra de navegação superior, selecione a região do agente.

   Importante

   • Túneis, agentes, endereços de dados e tarefas de migração são específicos da região. Escolha sua região com cuidado.

   • Selecione a região do agente. Se não estiver disponível, selecione a região mais próxima.

Etapa 2: Crie um túnel

1. No painel de navegação à esquerda, escolha Data Online Migration > Channel Management e clique em Create Tunnel.

2. Na caixa de diálogo Create Tunnel, configure os seguintes parâmetros e clique em OK.

   Parameter	Required	Description
   Name	Yes	Nome do túnel. O nome não pode estar vazio e deve ter até 100 caracteres. O nome pode conter letras, dígitos, hifens (-) e sublinhados (_).
   Maximum Bandwidth	Yes	Largura de banda máxima que o túnel pode utilizar. Se você não configurar este parâmetro, o valor padrão 0 será usado, indicando que a largura de banda do túnel não é limitada. Ao configurar este parâmetro, insira um valor conforme a observação no console. Importante A largura de banda disponível para o túnel depende da largura de banda real da conexão de rede.
   Requests/s	Yes	Número máximo de solicitações por segundo através do túnel. Se você não configurar este parâmetro, o valor padrão 0 será usado, indicando que o número de solicitações por segundo no túnel não é limitado. Ao configurar este parâmetro, insira um valor conforme a observação no console. Aviso Recomendamos avaliar as capacidades do sistema de armazenamento da fonte de dados antes de configurar este parâmetro. Definir um valor muito alto pode afetar seus negócios. Insira um valor baseado na observação exibida no console.

Etapa 3: Crie um agente

1. No painel de navegação à esquerda, escolha Data Online Migration > Agent Management e clique em New Agent.

2. Na caixa de diálogo New Agent, configure os seguintes parâmetros e clique em OK.

   Parameter	Required	Description
   Name	Yes	Nome do agente. O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome deve estar codificado em UTF-8 e não pode começar com hífen (-) ou sublinhado (_).
   Network Type	Yes	Tipo de conexão de rede para o agente. As seguintes opções estão disponíveis: VPC (Recommended): O agente se conecta ao serviço Data Online Migration por meio de uma VPC. Este método exige que a máquina que hospeda o agente acesse o endpoint interno do Data Online Migration na região correspondente. Por exemplo, se você usar o Data Online Migration na região China (Beijing), a máquina do agente deve conseguir acessar o endpoint interno {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Recomendamos usar uma instância ECS na mesma região do console Data Online Migration para implantar o agente. Public network: O agente se conecta ao serviço Data Online Migration pela rede pública. Este método exige que a máquina que hospeda o agente acesse o endpoint público do Data Online Migration na região correspondente. Por exemplo, se você usar o Data Online Migration na região China (Beijing), a máquina do agente deve conseguir acessar o endpoint público {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com. Nota {TunnelId} é um espaço reservado para o ID do túnel. Use o comando ping para testar a conectividade de rede entre o agente e o serviço Data Online Migration.
   Deployment method	Yes	Método de implantação do agente. Atualmente, apenas a implantação como processo autônomo é suportada.
   Tunnel	Yes	Túnel a ser associado ao agente. Um agente pode ser associado a apenas um túnel. A largura de banda do agente é limitada pela largura de banda total do túnel. Por exemplo, um túnel chamado tunnel-1 está configurado com uma largura de banda máxima de 10 Gbit/s. O tunnel-1 está associado a três agentes: agent-1, agent-2 e agent-3. A largura de banda combinada desses três agentes não pode exceder 10 Gbit/s. Se o agent-1 receber 3 Gbit/s de largura de banda, restarão apenas 7 Gbit/s disponíveis para o agent-2 e o agent-3. Planeje e aloque sua largura de banda com cuidado.

3. Gere o script de implantação do agente. Para obter instruções, consulte Generate agent deployment script.

Etapa 4: Crie um endereço de origem

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e clique em Create Address.

2. No painel Create Address, configure os seguintes parâmetros e clique em OK.

   Parameter	Required	Description
   Name	Yes	O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
   Type	Yes	Selecione OSS.
   Region	Yes	Selecione a região do bucket de origem, por exemplo, China (Hangzhou).
   RAM role	Yes	Se o bucket de origem pertencer à sua conta Alibaba Cloud: Autorizar uma função automaticamente no console de migração (Recomendado). Autorizar uma função manualmente no console de migração (Alternativa). Se o bucket de origem pertencer a uma conta Alibaba Cloud diferente: Autorizar uma função no console do OSS.
   Bucket	Yes	Insira o nome do bucket de origem.
   Agent	No	Selecione o nome do agente a ser usado. Importante Este parâmetro é necessário apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. É possível selecionar no máximo 200 agentes para um canal especificado.

Etapa 5: Crie um endereço de destino

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e clique em Create Address.

2. No painel Create Address, configure os seguintes parâmetros e clique em OK.

   Parameter	Required	Description
   Name	Yes	Insira um nome para o endereço de destino. O nome deve atender aos seguintes requisitos: O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
   Type	Yes	Selecione LocalFS.
   Directory To Be Migrated	Yes	Prefixo do caminho para o diretório de destino. Os dados de origem são migrados para este local. O caminho deve ser absoluto, começando e terminando com barra (/). Variáveis de ambiente e caracteres especiais não são suportados. Por exemplo, considere um endereço de dados de origem com o prefixo /example/src/ que contém o arquivo example.jpg. Se você definir este parâmetro como /example/dest/, o arquivo será migrado para /example/dest/example.jpg. Importante Se um endereço de dados estiver associado a vários agentes, garanta que cada agente possa acessar o diretório. Caso contrário, alguns dados podem falhar na migração.
   Tunnel	Yes	Selecione o nome do canal a ser usado. Importante Este parâmetro é necessário apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Você deve associar um agente se o destino for um sistema de arquivos local ou se a migração usar uma conexão dedicada, por exemplo, para um ambiente de nuvem financeira ou Apsara Stack.
   Agent	Yes	Selecione o nome do agente a ser usado. Importante Este parâmetro é necessário apenas ao migrar dados por meio de uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. É possível selecionar no máximo 200 agentes para um canal especificado.

Etapa 6: Crie uma tarefa de migração

1. No painel de navegação à esquerda, escolha Data Online Migration > Migration Tasks e clique em Create Task.

2. Na página Select Address, configure os seguintes parâmetros e clique em Next.

   Parameter	Required	Description
   Name	Yes	Insira um nome para a tarefa de migração. O nome deve atender aos seguintes requisitos: O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
   Source Address	Yes	Selecione um endereço de origem existente.
   Destination Address	Yes	Selecione um endereço de destino existente.

3. Na página Task Configurations, configure os seguintes parâmetros.

   Parameter	Required	Description
   Basic settings
   Migration Bandwidth	No	Selecione a largura de banda de migração. Default: Largura de banda máxima disponível. A velocidade real depende do tamanho do arquivo e da quantidade de arquivos. Specify an upper limit: Especifique um limite máximo de largura de banda. Importante A largura de banda real de migração depende de fatores como a fonte de dados, condições de rede, limitação no destino e tamanho do arquivo, podendo não atingir o limite superior especificado. Selecione um valor com base na sua fonte de dados, destino, requisitos de negócios e largura de banda de rede. Uma limitação inadequada pode interromper suas operações comerciais.
   Files Migrated Per Second	No	Selecione o número de arquivos migrados por segundo. Default: Usa a taxa padrão para arquivos migrados por segundo. Specify an upper limit: Especifique um número máximo de arquivos migrados por segundo. Importante O número real de arquivos migrados por segundo é afetado por fatores como a fonte de dados, condições de rede, limitação no destino e tamanho do arquivo, podendo não atingir o limite superior especificado. Selecione um valor com base na sua fonte de dados, destino, requisitos de negócios e largura de banda de rede. Uma limitação inadequada pode interromper suas operações comerciais.
   Overwrite Mode	No	Especifica como lidar com arquivos de mesmo nome. Do not overwrite: Ignora o arquivo. Overwrite All: O arquivo de origem substitui o arquivo de destino. Overwrite based on the last modification time: Se a hora da última modificação do arquivo de origem for posterior à do arquivo de destino, o arquivo de destino será substituído. Se a hora da última modificação dos arquivos de origem e destino for a mesma, o arquivo de destino será substituído se o Tamanho ou Content-Type diferirem. Aviso Com a política Overwrite based on the last modification time, existe o risco de um arquivo mais antigo substituir um mais novo, pois não há garantia estrita de que os arquivos mais recentes serão preservados. Se você selecionar a política Overwrite based on the last modification time, certifique-se de que os arquivos de origem possam retornar metadados como last modified time, Size e Content-Type. Caso contrário, a política de substituição pode não funcionar conforme o esperado. Ao selecionar Do not overwrite ou Overwrite if last modified time is later, o serviço envia uma solicitação à origem e outra ao destino para recuperar metadados para a verificação de substituição. Isso gera taxas de solicitação tanto na origem quanto no destino.
   Audit settings
   Migration Report	Yes	Método de entrega do relatório de migração. Do not push (Padrão): O relatório não é enviado para o destino. Push: O relatório é enviado para o LocalFS de destino. O caminho do relatório é descrito em Subsequent operations. Importante O envio de um relatório de migração consome espaço de armazenamento no destino. A entrega do relatório pode sofrer atrasos. Aguarde a geração do relatório. Cada execução de tarefa possui um ID exclusivo. Os relatórios são enviados apenas uma vez. Tenha cuidado ao excluir relatórios.
   Migration Logs	Yes	Especifica como enviar o log de migração. Do not push (Padrão): Não envia o log de migração. Push: Envia o log de migração para o Log Service (SLS). Você pode visualizar o log de migração no SLS. Push only file error logs.: Envia apenas logs de erro de arquivo para o Log Service (SLS). Você pode visualizar esses logs no SLS. Ao selecionar Push ou Push only file error logs., o Online Migration Service cria um projeto no Log Service (SLS) chamado aliyun-oss-import-log-<ID da conta Alibaba Cloud>-<região de implantação atual>, por exemplo, aliyun-oss-import-log-137918634953****-cn-hangzhou. Importante Antes de selecionar Push ou Push only file error logs., certifique-se de ter concluído as seguintes operações. Caso contrário, a tarefa de migração poderá falhar. Você ativou o Log Service (SLS). Você concedeu as permissões necessárias na página Authorize.
   Authorize	No	Esta opção aparece apenas quando você define Migration Logs como Push ou Push only file error logs.. Clique em Authorize para acessar a página Cloud Resource Access Authorization. O sistema cria a função AliyunOSSImportSlsAuditRole e concede a ela as permissões necessárias. Clique em Agree to Authorization para concluir a autorização.
   Filters
   File Name	No	Filtro baseado em nomes de arquivos. Suporta regras de Include e Exclude usando expressões regulares baseadas na biblioteca RE2 (apenas um subconjunto da sintaxe é suportado). Por exemplo: .*\.jpg$ corresponde a todos os arquivos que terminam com .jpg. ^file.* corresponde, por padrão, a todos os arquivos no nível raiz que começam com file. Se você definir um prefixo para o endereço de origem, como data/to/oss/, deverá usar ^data/to/oss/file.* para corresponder a todos os arquivos que começam com file sob esse prefixo. ./picture/. corresponde a qualquer subdiretório chamado picture. Importante Ao usar uma regra Include, todos os arquivos correspondentes são migrados. Se houver várias regras Include, qualquer arquivo que corresponder a pelo menos uma regra será migrado. Por exemplo, se você tiver dois arquivos, picture.jpg e picture.png, e definir uma regra Include para .\.jpg$, apenas picture.jpg será migrado. Se você também adicionar uma regra Include para .\.png$, ambos os arquivos serão migrados. Ao usar uma regra Exclude, nenhum arquivo correspondente é migrado. Se houver várias regras Exclude, qualquer arquivo que corresponder a pelo menos uma regra não será migrado. Por exemplo, se você tiver dois arquivos, picture.jpg e picture.png, e definir uma regra Exclude para .\.jpg$, apenas picture.png será migrado. Se você também adicionar uma regra Exclude para .\.png$, nenhum dos arquivos será migrado. As regras de exclusão têm precedência. Se um arquivo corresponder tanto a uma regra Exclude quanto a uma regra Include, o arquivo não será migrado. Por exemplo, para um arquivo chamado file.txt, se você definir uma regra Exclude para .\.txt$ e uma regra Include para file., o arquivo file.txt não será migrado.
   File Modification Time	No	Filtra arquivos com base na hora da última modificação. Você pode especificar um intervalo de tempo para migrar apenas arquivos cuja última modificação esteja dentro desse período. As regras são as seguintes: Se você especificar apenas uma hora de início de 1º de janeiro de 2019, a tarefa migrará apenas arquivos modificados nessa data ou posteriormente. Se você especificar apenas uma hora de término de 1º de janeiro de 2022, a tarefa migrará apenas arquivos modificados nessa data ou anteriormente. Se você especificar uma hora de início de 1º de janeiro de 2019 e uma hora de término de 1º de janeiro de 2022, a tarefa migrará apenas arquivos modificados entre essas duas datas (inclusive).
   Migrate special entities	No	Controla se tipos especiais de entidades são migrados. Symbolic link: Enabled: Links simbólicos de origem são adicionados à fila de migração e contabilizados nas estatísticas de arquivos e armazenamento. Arquivos de link simbólico correspondentes são criados no destino com atributos baseados nos atributos UserMeta migráveis. O atributo Target depende da opção Convert target. Disabled: Links simbólicos de origem são ignorados e excluídos da contagem de arquivos e das estatísticas de armazenamento. Importante Os objetos para os quais os links simbólicos apontam não são migrados automaticamente. Eles migram apenas se incluídos no escopo da tarefa.
   Migration configuration
   Convert target	No	Controla se o atributo Target dos links simbólicos de origem é convertido para garantir que os links migrados apontem para os arquivos de destino corretos. Importante Esta opção só entra em vigor quando a migração de links simbólicos está habilitada. Independentemente de o alvo ser convertido ou não, o serviço de migração não verifica se o arquivo de destino existe, se seu tipo é válido ou se você tem as permissões de acesso necessárias. Enabled: Uma substituição de string é realizada. Se o atributo Target do link simbólico de origem corresponder ao prefixo de origem (SrcPrefix), o prefixo será substituído pelo prefixo de destino (DestPrefix). O resultado é definido como o atributo Target para o link simbólico de destino. Nota Exemplo: Suponha que uma tarefa de migração esteja configurada com SrcPrefix="cloud_base/" e DestPrefix="/mnt/nas1/". Existe um objeto de link simbólico de origem em cloud_base/links/a.lnk. Se seu atributo Target for "cloud_base/data/a.txt", a substituição corresponde. O Target final no destino será "/mnt/nas1/data/a.txt". Se seu atributo Target for "cloud_outer/data/a.txt", nenhuma correspondência é encontrada. O Target final no destino permanece "cloud_outer/data/a.txt". Disabled: Nenhuma conversão é realizada. O atributo Target original do link simbólico de origem é definido no link simbólico de destino.
   Preserve last modification time	Yes	Controla se a hora da última modificação do arquivo de origem é preservada. Preserve (Padrão): A hora da última modificação do arquivo de origem é definida no arquivo de destino. Do not preserve: A hora da última modificação não é preservada.
   Task scheduling
   Execution time	No	Importante Se uma tarefa de migração ainda estiver em execução no próximo horário agendado, essa execução será adiada até o próximo horário agendado após a conclusão da execução atual. Isso continua até que o número especificado de execuções seja atingido. Limite de concorrência para tarefas de migração: Regiões de implantação na China continental e China (Hong Kong) suportam no máximo 10 tarefas simultâneas. Regiões fora da China suportam no máximo 5 tarefas simultâneas. Exceder esse limite pode causar falhas em tarefas agendadas. Define quando executar a tarefa de migração. Immediately: Executa a tarefa assim que ela é criada. At the Specified Time: Especifica uma janela de tempo diária para a execução da tarefa. Por padrão, a tarefa começa no horário de início especificado e pausa no horário de parada especificado. Periodic Scheduling: Executa a tarefa com base em uma frequência e número de execuções especificados. Frequência de execução: Suporta cinco tipos de frequências: Horária, Diária, Semanal, Dias específicos da semana e Personalizada. Para mais informações, consulte Execution frequency reference. Número de execuções: Especifica quantas vezes a tarefa é executada. Se não definido, a tarefa é executada uma vez por padrão. Para o número máximo de execuções, consulte o aviso no console. Importante Você pode iniciar e parar tarefas manualmente a qualquer momento, independentemente das configurações personalizadas de horário de execução.

4. Leia o Contrato de Serviço de Migração Online, selecione I understand and confirm the compliance commitment statement and acknowledge my responsibility to verify data consistency after the migration task is complete e clique em Next.

5. Revise suas configurações. Se tudo estiver correto, clique em OK e aguarde a execução da tarefa de migração.

Frequência de execução

Etapa 7: Verifique dados