Data Online Migration:Migrar dados

Observações de uso

Limites

• Você só pode migrar dados de um bucket por tarefa de migração. Não é possível migrar dados de uma conta inteira de uma só vez.

• Somente atributos específicos dos dados podem ser migrados de buckets do Tencent COS para buckets do Alibaba Cloud OSS:

  • Os atributos que podem ser migrados são: x-cos-meta-*, LastModifyTime, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language e Expires.

  • Os atributos que não podem ser migrados incluem, entre outros: StorageClass, Acl, criptografia no servidor e Tagging.

    Nota

    Os atributos que não podem ser migrados incluem, entre outros, os atributos mencionados. Verifique os resultados reais da migração para identificar outros atributos que não podem ser migrados.

    Aviso

    As solicitações GetObject para fontes do Tencent COS definem automaticamente o cabeçalho Content-Disposition como attachment. Quando esse cabeçalho é migrado, os navegadores são forçados a baixar arquivos, como páginas HTML e imagens PNG, em vez de exibi-los. Para evitar esse problema, vincule um domínio personalizado ao seu bucket do COS por meio do console do Tencent COS e, em seguida, use esse domínio como origem para a migração. Isso preserva o cabeçalho Content-Disposition original.

• A migração não é compatível com buckets que tenham a aceleração de metadados ativada.

Etapa 1: Selecionar uma região

1. Faça login no console do Data Online Migration como o usuário RAM que você criou.

2. A região selecionada no canto superior esquerdo da barra de navegação superior é a região de implantação do serviço de migração. Portanto, selecione a região onde seu dado de origem está localizado ou a mais próxima dela.

   A região selecionada na parte superior do console é a região de implantação do serviço de migração. As regiões disponíveis na China continental incluem China (Pequim), China (Xangai), China (Hangzhou), China (Shenzhen) e China (Ulanqab). Outras regiões disponíveis incluem China (Hong Kong), Singapura, Alemanha (Frankfurt) e EUA (Virgínia).

   Importante

   • Os endpoints de dados e as tarefas de migração são específicos por região. Escolha a região com cuidado.

   • Recomendamos selecionar a região dos dados de origem. Se essa região não estiver disponível, selecione a região disponível mais próxima.

   • Para migrações entre regiões, recomendamos ativar a aceleração de transferência para melhorar a velocidade da migração. Buckets com aceleração de transferência ativada incorrem em taxas de aceleração de transferência. Para obter mais informações sobre aceleração de transferência, consulte Acelerar o acesso ao OSS.

Etapa 2: Criar um endereço de dados de origem

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e clique em Create Address.

2. No painel Create Address, configure os parâmetros e clique em OK. A tabela a seguir descreve os parâmetros.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hífens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
   Type	Sim	O tipo do endereço de dados de origem. Selecione Tencent COS.
   Domain Name	Sim	O endpoint do bucket, como cos.ap-nanjing.myqcloud.com. Para obter mais informações, consulte Regions and Access Endpoints.
   AccessKeyId	Sim	A chave de API da conta usada para ler dados do endereço de dados de origem. O Tencent COS usa a chave de API para verificar se a conta tem permissões para ler dados do endereço de dados de origem.
   SecretAccessKey	Sim
   Bucket	Sim	O nome do bucket do Tencent COS. O nome do bucket está no formato Custom name-App ID. Exemplo: example-1234567890. Nota Você pode fazer login no console do Tencent Cloud e acessar a página Account Info para visualizar o App ID.
   Prefix	Sim	Especifique um prefixo para migrar um subconjunto dos dados. Se especificado, somente os dados sob esse prefixo serão migrados. O prefixo não deve começar com uma barra (/) mas deve terminar com uma. Se você omitir este parâmetro, todos os dados do bucket serão migrados.
   Tunnel	Não	Selecione o nome do canal a ser usado. Importante Este parâmetro é obrigatório somente ao migrar dados por uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Você deve associar um agente se o destino for um sistema de arquivos local ou se a migração usar uma conexão dedicada, por exemplo, para um ambiente de nuvem financeira ou Apsara Stack.
   Agent	Não	Selecione o nome do agente a ser usado. Importante Este parâmetro é obrigatório somente ao migrar dados por uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Você pode selecionar no máximo 200 agentes para um canal especificado.

Etapa 3: Criar um endereço de dados de destino

1. No painel de navegação à esquerda, escolha Data Online Migration > Address Management e clique em Create Address.

2. No painel Create Address, configure os parâmetros e clique em OK. A tabela a seguir descreve os parâmetros.

Parâmetro	Obrigatório	Descrição
Name	Sim	O nome do endereço de dados de destino. O nome deve atender aos seguintes requisitos: O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hífens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
Type	Sim	O tipo do endereço de dados de destino. Selecione Alibaba OSS.
Nome de Domínio Personalizado	Não	Especifica se domínios personalizados são compatíveis.
Region	Sim	A região em que o endereço de dados de destino reside. Exemplo: China (Hangzhou).
Autorizar Função	Sim	O bucket de destino pertence à conta do Alibaba Cloud usada para fazer login no console do Data Online Migration Recomendamos criar e autorizar uma função RAM no console do Data Online Migration. Para obter mais informações, consulte Autorizar uma função no console de migração. Você também pode anexar políticas manualmente a uma função RAM no console do RAM. Para obter mais informações, consulte a seção "Etapa 4: Conceder permissões no bucket de destino à função RAM" do tópico Preparações. O bucket de destino não pertence à conta do Alibaba Cloud usada para fazer login no console do Data Online Migration Você pode anexar políticas a uma função RAM no console do OSS. Para obter mais informações, consulte a seção "Etapa 4: Conceder permissões no bucket de destino à função RAM" do tópico Preparações.
Bucket	Sim	O nome do bucket do OSS para o qual os dados serão migrados.
Prefix	Não	O prefixo do endereço de dados de destino. Você pode especificar um prefixo para migrar dados específicos. O prefixo não pode começar com uma barra (/) mas deve terminar com uma barra (/). Exemplo: data/to/oss/. Especifique um prefixo para o endereço de dados de destino: por exemplo, você define o prefixo do endereço de dados de origem como example/src/, armazena um arquivo chamado example.jpg em example/src/ e define o prefixo do endereço de dados de destino como example/dest/. Após migrar o arquivo example.jpg para o endereço de dados de destino, o caminho completo do arquivo é example/dest/example.jpg. Não especifique um prefixo para o endereço de dados de destino: se você não especificar um prefixo para o endereço de dados de destino, os dados de origem serão migrados para o diretório raiz do bucket de destino.
Tunnel	Não	Selecione o nome do canal a ser usado. Importante Este parâmetro é obrigatório somente ao migrar dados por uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Você deve associar um agente se o destino for um sistema de arquivos local ou se a migração usar uma conexão dedicada, por exemplo, para um ambiente de nuvem financeira ou Apsara Stack.
Agent	Não	Selecione o nome do canal a ser usado. Importante Este parâmetro é obrigatório somente ao migrar dados por uma conexão Express Connect ou VPN, ou ao migrar dados de um sistema de armazenamento autogerenciado. Você deve associar um agente se o destino for um sistema de arquivos local ou se a migração usar uma conexão dedicada, por exemplo, para um ambiente de nuvem financeira ou Apsara Stack.

Etapa 4: Criar uma tarefa de migração

1. No painel de navegação à esquerda, escolha Data Online Migration > Migration Tasks e clique em Create Task.

2. Na página Select Address, configure os parâmetros a seguir e clique em Next.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	Insira um nome para a tarefa de migração. O nome deve atender aos seguintes requisitos: O nome deve ter entre 3 e 63 caracteres. O nome pode conter letras minúsculas, dígitos, hífens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas. O nome não pode começar com hífen (-) ou sublinhado (_).
   Source Address	Sim	Selecione um endereço de origem existente.
   Destination Address	Sim	Selecione um endereço de destino existente.

3. Na página Task Configurations, configure os parâmetros a seguir.

   Parâmetro	Obrigatório	Descrição
   Configurações básicas
   Migration Bandwidth	Não	Selecione a largura de banda de migração. Default: A largura de banda máxima disponível. A velocidade real depende do tamanho e da quantidade dos arquivos. Specify an upper limit: Especifique um limite máximo de largura de banda. Importante A largura de banda real de migração depende de fatores como origem dos dados, condições de rede, limitação no destino e tamanho dos arquivos, e pode não atingir o limite superior especificado. Selecione um valor com base na origem dos dados, no destino, nos requisitos de negócios e na largura de banda da rede. Uma limitação inadequada pode interromper suas operações de negócios.
   Files Migrated Per Second	Não	Selecione o número de arquivos migrados por segundo. Default: Usa a taxa padrão de arquivos migrados por segundo. Specify an upper limit: Especifique um número máximo de arquivos migrados por segundo. Importante O número real de arquivos migrados por segundo é afetado por fatores como origem dos dados, condições de rede, limitação no destino e tamanho dos arquivos, e pode não atingir o limite superior especificado. Selecione um valor com base na origem dos dados, no destino, nos requisitos de negócios e na largura de banda da rede. Uma limitação inadequada pode interromper suas operações de negócios.
   Overwrite Mode	Sim	Especifica como lidar com arquivos de mesmo nome. Do not overwrite: Ignora o arquivo. Overwrite All: O arquivo de origem sobrescreve o arquivo de destino. Overwrite based on the last modification time: Se o horário da última modificação do arquivo de origem for posterior ao do arquivo de destino, o arquivo de destino será sobrescrito. Se o horário da última modificação dos arquivos de origem e destino for o mesmo, o arquivo de destino será sobrescrito se o Size ou o Content-Type for diferente. Aviso Com a política Overwrite based on the last modification time, existe o risco de um arquivo mais antigo sobrescrever um arquivo mais recente, pois ela não garante estritamente a preservação de arquivos mais recentes. Se você selecionar a política Overwrite based on the last modification time, certifique-se de que os arquivos de origem possam retornar metadados como last modified time, Size e Content-Type. Caso contrário, a política de sobrescrita pode não funcionar conforme esperado. Quando você seleciona Do not overwrite ou Overwrite if last modified time is later, o serviço envia uma solicitação à origem e outra ao destino para recuperar metadados para a verificação de sobrescrita. Isso gera taxas de solicitação tanto na origem quanto no destino.
   Configurações de auditoria
   Migration Report	Sim	Especifica como enviar o relatório de migração. Do not push (Padrão): Não envia o relatório de migração para o bucket de destino. Push: Envia o relatório de migração para o bucket de destino. Para detalhes sobre o caminho, consulte Próximas etapas. Importante O envio do relatório de migração consome espaço de armazenamento no destino. O envio do relatório de migração pode sofrer atrasos. Cada registro de execução de tarefa tem um ID exclusivo. O relatório de migração é enviado apenas uma vez. Não o exclua, a menos que seja necessário.
   Migration Logs	Sim	Especifica como enviar o log de migração. Do not push (Padrão): Não envia o log de migração. Push: Envia o log de migração para o Log Service (SLS). Você pode visualizar o log de migração no SLS. Push only file error logs.: Envia somente os logs de erros de arquivos para o Log Service (SLS). Você pode visualizar esses logs no SLS. Quando você seleciona Push ou Push only file error logs., o Online Migration Service cria um projeto no Log Service (SLS) com o nome aliyun-oss-import-log-<ID da conta do Alibaba Cloud>-<região de implantação atual>, por exemplo, aliyun-oss-import-log-137918634953****-cn-hangzhou. Importante Antes de selecionar Push ou Push only file error logs., certifique-se de ter concluído as seguintes operações. Caso contrário, a tarefa de migração pode falhar. Você ativou o Log Service (SLS). Você concedeu as permissões necessárias na página Authorize.
   Authorize	Não	Esta opção aparece somente quando você define Migration Logs como Push ou Push only file error logs.. Clique em Authorize para acessar a página Cloud Resource Access Authorization. O sistema cria a função AliyunOSSImportSlsAuditRole e concede a ela as permissões necessárias. Clique em Agree to Authorization para concluir a autorização.
   Filtros
   File Name	Não	Um filtro baseado em nomes de arquivos. Suporta regras Include e Exclude usando expressões regulares baseadas na biblioteca RE2 (apenas um subconjunto da sintaxe é suportado). Por exemplo: .*\.jpg$ corresponde a todos os arquivos que terminam com .jpg. ^file.* corresponde a todos os arquivos no nível raiz que começam com file por padrão. Se você definir um prefixo para o endereço de origem, como data/to/oss/, use ^data/to/oss/file.* para corresponder a todos os arquivos que começam com file sob esse prefixo. .*/picture/.* corresponde a qualquer subdiretório chamado picture. Importante Ao usar uma regra Include, todos os arquivos correspondentes são migrados. Se houver várias regras Include, qualquer arquivo que corresponda a pelo menos uma regra será migrado. Por exemplo, se você tiver dois arquivos, picture.jpg e picture.png, e definir uma regra Include para .*\.jpg$, somente picture.jpg será migrado. Se você também adicionar uma regra Include para .*\.png$, ambos os arquivos serão migrados. Ao usar uma regra Exclude, nenhum arquivo correspondente é migrado. Se houver várias regras Exclude, qualquer arquivo que corresponda a pelo menos uma regra não será migrado. Por exemplo, se você tiver dois arquivos, picture.jpg e picture.png, e definir uma regra Exclude para .*\.jpg$, somente picture.png será migrado. Se você também adicionar uma regra Exclude para .*\.png$, nenhum arquivo será migrado. As regras Exclude têm precedência. Se um arquivo corresponder a uma regra Exclude e a uma regra Include, o arquivo não será migrado. Por exemplo, para um arquivo chamado file.txt, se você definir uma regra Exclude para .*\.txt$ e uma regra Include para file.*, o arquivo file.txt não será migrado.
   File Modification Time	Não	Filtra arquivos com base no horário da última modificação. Você pode especificar um intervalo de tempo para migrar somente arquivos cujo horário da última modificação esteja dentro desse intervalo. As regras são as seguintes: Se você especificar apenas uma data de início de 1º de janeiro de 2019, a tarefa migrará somente arquivos modificados nessa data ou após ela. Se você especificar apenas uma data de término de 1º de janeiro de 2022, a tarefa migrará somente arquivos modificados nessa data ou antes dela. Se você especificar uma data de início de 1º de janeiro de 2019 e uma data de término de 1º de janeiro de 2022, a tarefa migrará somente arquivos modificados nesse período ou entre essas duas datas.
   Configuração de migração
   Manter horário da última modificação	Sim	Especifica se o horário da última modificação do arquivo de origem deve ser mantido. Retain (Padrão): O arquivo de destino mantém o horário da última modificação do arquivo de origem. Do not retain: O horário da última modificação não é definido.
   Converter Appendable Object em Normal Object/Multipart Object	Não	Especifica se os Appendable Objects devem ser convertidos em Normal Objects ou Multipart Objects. Yes: Converte Appendable Objects de origem em Normal Objects ou Multipart Objects no destino. No: Os Appendable Objects de origem são migrados para o destino como Appendable Objects. Importante Esta opção é visível e configurável somente se sua conta estiver na lista de permissões. Esta opção é compatível no momento somente com tarefas de migração OSS para OSS.
   Especificar classe de armazenamento de destino	Não	Especifica se a classe de armazenamento deve ser definida para os arquivos de destino. Specify: Os arquivos migrados recebem a classe de armazenamento especificada no destino. As seguintes classes de armazenamento estão disponíveis: Standard Infrequent Access Archive Cold Archive Deep Cold Archive Do not specify (Padrão): Os arquivos migrados no destino usam a classe de armazenamento padrão do bucket de destino. Importante Esta opção é visível e configurável somente se sua conta estiver na lista de permissões. Esta opção é compatível no momento somente com tarefas com destino OSS.
   Agendamento de tarefas
   Execution time	Não	Importante Se uma tarefa de migração ainda estiver em execução no próximo horário de execução agendado, essa execução será adiada para o próximo horário agendado após a conclusão da execução atual. Isso continua até que o número especificado de execuções seja atingido. Limite de simultaneidade para tarefas de migração: as regiões de implantação na China continental e China (Hong Kong) suportam no máximo 10 tarefas simultâneas. Regiões no exterior suportam no máximo 5 tarefas simultâneas. Exceder esse limite pode causar falha nas tarefas agendadas. Define quando executar a tarefa de migração. Immediately: Executa a tarefa assim que ela é criada. At the Specified Time: Especifica uma janela de tempo diária para a execução da tarefa. Por padrão, a tarefa inicia no horário de início especificado e pausa no horário de parada especificado. Periodic Scheduling: Executa a tarefa com base em uma frequência e número de execuções especificados. Frequência de execução: Suporta cinco tipos de frequências: Hourly, Daily, Weekly, Specific days of the week e Custom. Para obter mais informações, consulte Referência de frequência de execução. Número de execuções: Especifica quantas vezes a tarefa é executada. Se não definido, a tarefa é executada uma vez por padrão. Para o número máximo de execuções, consulte o prompt do console. Importante Você pode iniciar e parar tarefas manualmente a qualquer momento, independentemente das configurações de tempo de execução personalizadas.

4. Leia o Online Migration Service Agreement, selecione I understand and confirm the compliance commitment statement and acknowledge my responsibility to verify data consistency after the migration task is complete e clique em Next.

5. Revise suas configurações. Se tudo estiver correto, clique em OK e aguarde a execução da tarefa de migração.

Frequência de execução

Etapa 5: Verificar os dados