What to do after migrating OSS to LocalFS - : Central de Documentação do Alibaba Cloud

Visualize um relatório de migração

Os relatórios de migração fornecem informações detalhadas sobre os resultados da migração, incluindo listas de arquivos migrados com sucesso, com falha e ignorados. Esses relatórios ajudam você a compreender o status de execução da sua tarefa de migração.

Tipos de arquivo de relatório

De acordo com o status de execução da tarefa, três tipos de arquivos de relatório de migração são gerados: uma lista de todos os arquivos migrados, uma lista de arquivos com falha e uma lista de arquivos ignorados.

Convenção de nomenclatura de arquivos de relatório de migração

uid@jobid@runtimeid_total_list_n representa a lista de todos os arquivos migrados. Podem existir vários arquivos, onde n é um número inteiro maior ou igual a 0.
uid@jobid@runtimeid_failed_list_n representa a lista de arquivos com falha. Podem existir vários arquivos, onde n é um número inteiro maior ou igual a 0.
uid@jobid@runtimeid_skipped_list_n representa a lista de arquivos ignorados. Podem existir vários arquivos, onde n é um número inteiro maior ou igual a 0.

Descrição dos campos do relatório

Os campos em um arquivo de relatório de migração descrevem várias propriedades de um arquivo (objeto) durante sua migração da origem para o destino. Os campos incluem o seguinte:

Nome do campo	Descrição
Source filename	O nome do arquivo de origem codificado por URL.
Destination filename	O nome do arquivo de objeto codificado por URL.
Source file size	O tamanho do arquivo de origem.
Destination file size	O tamanho do arquivo de objeto.
Source file MD5	O hash MD5 do arquivo de origem. Este campo está presente apenas se o arquivo de origem retornar um hash MD5.
Destination file MD5	O hash MD5 do arquivo de objeto.
Source file CRC-64	O hash CRC-64 do arquivo de origem. Este campo está presente apenas se o arquivo de origem retornar um hash CRC-64.
Destination file CRC-64	O hash CRC-64 do arquivo de objeto.
Source file last modified time	A hora da última modificação do arquivo de origem.
Destination file last modified time	A hora da última modificação do arquivo de objeto.
Source object version ID (for multi-version migration only)	Campo utilizado exclusivamente na migração multiversão para indicar o ID da versão do objeto de origem.
Destination object version ID (for multi-version migration only)	Campo utilizado exclusivamente na migração multiversão para indicar o ID da versão do objeto de destino.
Migration start time	O momento em que a migração do arquivo começou.
Migration end time	O momento em que a migração do arquivo terminou.
Abnormal migration (false: Normal, true: abnormal)	Um sinalizador booleano que indica se a migração foi anormal. `false` significa normal e `true` significa anormal.
Reason for abnormality	Uma descrição do motivo da anormalidade.

Obter um relatório de migração

Faça login no console do Data Online Migration.
No painel de navegação à esquerda, escolha Data Online Migration > Migration Tasks.

Na lista de tarefas de migração, localize a tarefa que deseja gerenciar e clique em Manage para acessar sua página de detalhes.Descrições de parâmetros de caminho

Se você selecionou Do Not Push ao criar a tarefa, acesse a página de detalhes da tarefa, clique na aba History e, em seguida, clique em Generate Migration Report. Após a geração do relatório, clique em Download Migration Report para baixá-lo para sua máquina local.
Se você selecionou Push ao criar a tarefa, acesse a página de detalhes da tarefa e clique na aba History. Após a geração do relatório, clique em Download Migration Report para baixá-lo para sua máquina local.

Nota

O relatório de migração gerado pode estar incompleto antes da conclusão da tarefa de migração de dados. Para obter um relatório completo, baixe-o após o término da tarefa.
O relatório de migração serve apenas como referência. O conteúdo realmente migrado no destino é a versão final.

Após a geração, o relatório de migração é armazenado no prefixo especificado no LocalFS de destino. O formato do prefixo para o nível de diretório da pasta depende da execução da tarefa e segue o padrão abaixo:

LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/total_list/
LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/failed_list/
LOCAL:/<prefix>/aliyun_import_report/<uid>/<jobid>/<runtimeid>/skipped_list/

Nome do campo	Significado do campo
prefix	O prefixo do diretório de migração especificado para o endereço de dados de destino.
uid	O ID da conta Alibaba Cloud.
jobid	O ID da tarefa. Obtenha-o na página do produto da tarefa > aba Details.
runtimeid	O ID do registro de execução da tarefa. Obtenha-o na página do produto da tarefa > aba History.

Localize o arquivo de relatório de migração no prefixo especificado do LocalFS de destino para visualizar uma lista detalhada de arquivos.

Visualize logs de migração

É possível enviar logs do processo de migração para o SLS. Esses logs detalham como cada arquivo é tratado durante a tarefa de migração, incluindo registros de arquivos bem-sucedidos, com falha e ignorados. Com os logs de migração, você monitora o progresso da migração em tempo real, localiza rapidamente arquivos problemáticos e realiza auditorias e solução de problemas.

Tipos de log

O Data Online Migration cria um projeto no SLS chamado aliyun-oss-import-log-ID da conta Alibaba Cloud-região atual do console, por exemplo, *aliyun-oss-import-log-137918634953****-cn-hangzhou*. Visualize os logs da tarefa de migração neste projeto. O projeto contém os dois tipos de log a seguir:

drs_import_success_log: Log de migração bem-sucedida
drs_import_fail_log: Log de migração com falha

Descrição dos campos de log

A tabela a seguir descreve os principais campos nos logs de migração.

Nome do campo	Significado do campo
JobName	O nome da tarefa de migração.
JobId	O ID da tarefa de migração.
Region	A região onde o console está localizado.
Status	O status do arquivo migrado. Inclui os três status a seguir: succeed: Bem-sucedido skipped: Ignorado Uma migração pode ser ignorada nos dois cenários a seguir: O arquivo de origem não existe quando a migração começa (foi excluído). O arquivo é ignorado com base na política de substituição. failed: Falha
UserId	O UID do usuário.
ExecuteId	O ID do registro de execução.
StartTime	A hora de início da migração.
EndTime	A hora de término da migração.
ListTime	O momento em que o arquivo foi verificado.
Time	A hora atual.
SrcObjectName	O nome do arquivo de origem. Campos que começam com Src estão relacionados à origem. O nome do arquivo é codificado por URL, por exemplo, docs%2Fmy.docir%2Fexample.log.
SrcObjectSize	O tamanho do arquivo de origem.
DestObjectName	O nome do arquivo de destino. Campos que começam com Dest estão relacionados ao destino. O nome do arquivo é codificado por URL, por exemplo, docs%2Fmy.docir%2Fexample.log.
DestObjectSize	O tamanho do arquivo de destino.

Obter logs de migração

Envie logs de migração para o SLS da Alibaba Cloud em tempo real para consulta e análise. No console do SLS, realize buscas precisas usando palavras-chave como ID da tarefa e nome do arquivo para monitorar o processo de migração ou solucionar problemas.

Importante

O recurso de envio de logs deve ser ativado ao criar a tarefa de migração, selecionando Push ou Push only error logs. Se você selecionar Do not push ao criar a tarefa, não será possível visualizar os logs da tarefa no SLS.
Os logs de migração não garantem integridade completa. Não utilize os logs de migração para verificar a integridade da migração.
Os logs de migração servem apenas como referência. O resultado final da migração baseia-se nos arquivos reais no destino.

Do Not Push (padrão): Não envia logs de migração.
Push: Envia logs de migração para o SLS. Visualize os logs de migração no SLS.
Push Only File Error Logs: Envia apenas logs de erro de migração para o SLS. Visualize os logs de erro de migração no SLS.

Antes de selecionar Push ou Push only file error logs, certifique-se de ter concluído as operações a seguir. Caso contrário, a tarefa de migração pode apresentar anomalias:
- Você ativou o serviço SLS.
- Você concedeu as permissões necessárias para Simple Log Service Access Authorization na página de autorização.

Ao selecionar Push ou Push Only File Error Logs, o Data Online Migration cria um projeto no SLS com um nome no formato aliyun-oss-import-log-<ID da conta Alibaba Cloud>-<região>, por exemplo, aliyun-oss-import-log-137918634953****-cn-hangzhou.

Simple Log Service Authorization: Esta opção é exibida quando você seleciona Push ou Push only file error logs para Migration logs.

Clique em Grant. Na página Cloud Resource Access Authorization, o sistema cria a função AliyunOSSImportSlsAuditRole e concede a ela as permissões necessárias. Clique em Agree To Authorization para concluir a autorização.

Tentar novamente arquivos com falha

Após o término de uma tarefa de migração, se o relatório indicar que alguns arquivos falharam na migração, crie uma nova subtarefa para tentar migrar novamente apenas esses arquivos com falha.

Procedimento

Faça login no console do Data Online Migration.
Na barra de menu superior, selecione a região onde a tarefa está localizada.
No painel de navegação à esquerda, escolha Data Online Migration > Migration Tasks.
Na lista de tarefas de migração, localize a tarefa que deseja gerenciar e clique em Manage na coluna Actions para acessar sua página de detalhes.
Na seção History, localize a tarefa que deseja gerenciar e clique em Retry Failed Files na coluna Operation.
Modifique o nome da subtarefa e clique em Next.
Confirme se parâmetros como largura de banda de migração, arquivos migrados por segundo e método de substituição estão corretos e clique em Next.
Clique em OK. A subtarefa inicia e tenta novamente a migração dos arquivos com falha.