O Cloud Migration Hub oferece diversos métodos de verificação para fontes de dados de banco de dados e armazenamento de objetos, garantindo a consistência dos dados entre origem e destino após a migração.
Fluxo de trabalho
O processo de verificação de dados envolve as seguintes etapas:
Etapa 1: Instale um agente de verificação de dados. Implante o agente em um servidor conectado tanto às fontes quanto aos destinos de dados. Como a verificação lida com dados sensíveis, recomendamos implantar o agente em uma instância ECS para evitar vazamentos.
Etapa 2: Configure a fonte de dados e crie um plano de verificação. Especifique o escopo dos dados, o método de verificação e o agente responsável pela execução.
Etapa 3: Inicie a verificação. Envie o comando de verificação ao agente. Ele retornará os resultados automaticamente assim que a validação for concluída.
Etapa 4: Visualize os resultados. Consulte os resultados e detalhes da verificação no console do Cloud Migration Hub.
Essas etapas permitem validar a consistência dos dados por meio de uma interface gráfica, assegurando uma transição de dados sem problemas.
Visão geral do recurso
Cenários
O Cloud Migration Hub disponibiliza um recurso leve de verificação de dados para cenários de migração de bancos de dados e armazenamento de objetos. Após a conclusão da migração, o recurso amostra os dados para checar a consistência entre origem e destino. Durante janelas de transição de sistemas, ele executa uma verificação rápida logo após o desligamento do sistema, fornecendo garantia de qualidade em tempo real.
-
Momento da verificação
Inicie a verificação quando as condições abaixo forem atendidas:
A migração estiver concluída tanto na source quanto no destino dos dados.
A sincronização ou migração incremental estiver finalizada.
-
Precauções
Executar a verificação durante uma migração ativa (completa ou incremental) pode causar os problemas a seguir, pois os dados ainda estão em alteração:
Resultados de verificação imprecisos
Julgamento incorreto da consistência dos dados
Interferência no processo de migração
O Cloud Migration Hub utiliza um algoritmo de verificação leve que mantém alta precisão enquanto minimiza o consumo de recursos.
Serviços e métodos de verificação compatíveis
Serviços de banco de dados
|
Serviço compatível |
Count |
TopN |
SumX |
CheckSum |
ObjectStore |
|
MySQL |
Obtém o número de linhas em uma tabela. |
Obtém as primeiras n linhas de uma tabela para comparação. |
Obtém a soma de campos especificados em uma tabela. |
Obtém o checksum de uma tabela. |
Não compatível. |
|
Redis |
Compara os tamanhos dos valores de uma chave especificada. |
Compara os n atributos de valor de uma chave especificada. |
Compara os valores de chaves especificadas ou amostradas entre origem e destino. Por exemplo, é possível especificar 100 chaves. |
Não compatível. |
Não compatível. |
|
MongoDB |
Obtém o número de documentos em uma coleção. |
Obtém os primeiros n documentos de uma coleção para comparação. |
Obtém a soma de campos especificados em uma coleção. |
Não compatível. |
Não compatível. |
|
Elasticsearch |
Obtém o número de documentos em um índice. |
Obtém os primeiros n documentos de um índice para comparação. |
Não compatível. |
Não compatível. |
Não compatível. |
Para dados ordenados do Redis, utiliza-se o método TopN para verificação. Para dados não ordenados do Redis, emprega-se o método Count.
Serviços de armazenamento de objetos
|
Serviço compatível |
ListObject |
ContentCheck |
Inventory |
|
Alibaba Cloud Object Storage Service (OSS) |
Compara os nomes e tamanhos de todos os objetos em um bucket. Os tamanhos são medidos em bytes. |
Realiza verificação MD5 em cada objeto no relatório gerado pelo serviço de migração online. |
Compara objetos com base nas listas de inventário geradas. Se existirem objetos inconsistentes, a operação getObject é chamada para uma verificação secundária. |
|
Huawei Cloud Object Storage Service (OBS) |
Compara os nomes e tamanhos de todos os objetos em um bucket. Os tamanhos são medidos em bytes. |
Realiza verificação MD5 em cada objeto no relatório gerado pelo serviço de migração online. |
Compara objetos com base nas listas de inventário geradas. Se existirem objetos inconsistentes, a operação getObject é chamada para uma verificação secundária. |
|
Amazon Simple Storage Service (Amazon S3) |
Compara os nomes e tamanhos de todos os objetos em um bucket. Os tamanhos são medidos em bytes. |
Não compatível. |
Compara objetos com base nas listas de inventário geradas. Se existirem objetos inconsistentes, a operação getObject é chamada para uma verificação secundária. |
|
Tencent Cloud Object Storage (COS) |
Compara os nomes e tamanhos de todos os objetos em um bucket. Os tamanhos são medidos em bytes. |
Realiza verificação MD5 em cada objeto no relatório gerado pelo serviço de migração online. |
Compara objetos com base nas listas de inventário geradas. Se existirem objetos inconsistentes, a operação getObject é chamada para uma verificação secundária. |
Procedimento
Solicitar e visualizar uma licença
Faça login no console do Cloud Migration Hub. No painel de navegação à esquerda, escolha Migration Capability > Data Verification. Clique em Apply for a License para gerar uma licença que protege os agentes contra uso não autorizado.
A licença tem validade padrão de 90 dias. Clique em View License para copiar o conteúdo da licença.
Gerencie agentes de verificação de dados
Após solicitar a licença, implante o agente de verificação de dados em um ou mais servidores conforme suas necessidades de negócio.
SO recomendado: CentOS ou Alibaba Cloud Linux.
Requisito de rede: O servidor deve ter conexão com a source de dados.
O Cloud Migration Hub suporta implantação automática e manual do agente.
Para implantar o agente em uma instância ECS da Alibaba Cloud com o Cloud Assistant instalado, recomendamos utilizar o método automático. O Cloud Assistant vem instalado por padrão nas instâncias ECS da Alibaba Cloud.
Para implantar o agente em um servidor de nuvem de terceiros conectado a uma VPC da Alibaba Cloud, ou em uma instância ECS onde o Cloud Assistant não está instalado ou falhou na instalação por motivos específicos, recomendamos utilizar o método manual - rede privada.
Para implantar o agente em um servidor de nuvem de terceiros não conectado às VPCs da Alibaba Cloud e que utiliza um endereço IP público, recomendamos utilizar o método manual - rede pública.
Implantação automática
Compatível apenas nas regiões China (Hangzhou), China (Shanghai), China (Zhangjiakou), China (Shenzhen) e China (Ulanqab). Para outras regiões, entre em contato com o suporte pós-venda online.
Observações:
Apenas instâncias ECS da Alibaba Cloud são compatíveis.
Ative o PrivateLink antes de implantar o agente.
Ao usar o PrivateLink para estabelecer conectividade, um endpoint reverso é criado em sua conta. Esse endpoint gera cobrança. Recomendamos liberá-lo quando não for mais necessário.
Após preparar a instância ECS, clique em Agent Management.
No painel exibido, clique em Agent Installation. 
Na caixa de diálogo aberta, defina o parâmetro Installation method como Automated Deployment, insira um nome para o agente, selecione a região de implantação e a instância ECS onde instalar o agente e, em seguida, clique em Installation.
Acompanhe o progresso da implantação durante o processo.
Após a implantação, o agente aparecerá na lista de agentes.
Observações:
Ao usar o PrivateLink para estabelecer conectividade, um endpoint reverso é criado em sua conta. Esse endpoint gera cobrança. Recomendamos liberá-lo quando não for mais necessário.
Implantação manual
Manual - rede pública
Observações:
É possível utilizar servidores de qualquer plataforma ou em data centers como jump servers. Certifique-se de que o Cloud Migration Hub consiga acessar seus servidores pela Internet.
Após preparar a instância ECS, clique em Agent Management.
No painel exibido, clique em Agent Installation.
Na caixa de diálogo aberta, defina o parâmetro Installation method como Manual deployment, insira um nome para o agente, defina o parâmetro LoadBalancerType como Public network, insira um endereço IP e um número de porta e, em seguida, clique em Next step.
Na etapa Installing the Agent, um comando de instalação será exibido. Clique em Copy para copiar o comando e execute-o na instância ECS para instalar o agente.
Após a instalação do agente, clique em Next step. Na etapa Get through the network, clique em Connection para conectar-se ao agente.
Acompanhe o progresso da conexão online.
Após a implantação, o agente aparecerá na lista de agentes.
Manual - rede privada
Compatível apenas nas regiões China (Hangzhou), China (Shanghai), China (Zhangjiakou), China (Shenzhen) e China (Ulanqab). Para outras regiões, entre em contato com o suporte pós-venda online.
Observações:
É possível utilizar instâncias ECS da Alibaba Cloud ou servidores de nuvem de terceiros como jump servers. Certifique-se de que seus servidores estejam conectados às VPCs da Alibaba Cloud.
Ative o PrivateLink antes de implantar o agente.
Após preparar a instância ECS, clique em Agent Management.
No painel exibido, clique em Agent Installation.
Na caixa de diálogo aberta, defina o parâmetro Installation method como Manual deployment, insira um nome para o agente, defina o parâmetro LoadBalancerType como Private network, selecione uma região e uma VPC, insira um endereço IP e um número de porta e, em seguida, clique em Next step.
Na etapa Installing the Agent, um comando de instalação será exibido. Clique em Copy para copiar o comando e execute-o na instância ECS para instalar o agente.
Após a instalação do agente, clique em Next step. Na etapa Get through the network, clique em Connection para conectar-se ao agente.
Acompanhe o progresso da conexão online.
Após a implantação, o agente aparecerá na lista de agentes.
Observações:
Ao usar o PrivateLink para estabelecer conectividade, um endpoint reverso é criado em sua conta. Esse endpoint gera cobrança. Recomendamos liberá-lo quando não for mais necessário.
Operações de gerenciamento de agentes
Parar
Se você implantou o agente pelo método automático e ele estiver no estado Online, clique em Stop para interrompê-lo.
Quando o agente é parado, ele deixa de executar na instância ECS e seu status muda para Stop na lista de agentes. Tarefas de verificação que utilizam um agente no estado Stop não podem ser iniciadas.
Iniciar
Caso o agente esteja no estado Stop, clique em Start para iniciá-lo.
Após iniciar o agente, o status dele mudará para Online.
Excluir
Se não precisar mais de um agente, exclua-o da lista de agentes.
Reconectar e copiar um comando de início
Se um agente implantado manualmente perder a conexão, seu status mudará para Offline. Clique em Copy Start Command e execute o comando na instância ECS correspondente. Em seguida, clique em Reconnect para estabelecer uma nova conexão entre o Cloud Migration Hub e o agente.
Depois que a conexão for estabelecida, o status do agente mudará para Online.
Criar um plano de verificação
Criar um plano de verificação
O exemplo a seguir utiliza o OSS. Para outros serviços, siga as instruções na tela do console do Cloud Migration Hub.
Com o agente online e conectado, clique em Create Verification Plan e configure os parâmetros no painel exibido.
Configure o parâmetro Select Data Source e os parâmetros relacionados. Em seguida, clique em Test data connection. Após o teste bem-sucedido, clique em Confirm para iniciar a análise dos dados.
A figura anterior mostra apenas a configuração da source de dados. Para verificar dados entre origem e destino, configure ambos.
Aguarde a conclusão da análise dos dados. O plano de verificação será então criado. 
Criar uma tarefa de verificação de dados
Clique no nome do plano de verificação para acessar a página de detalhes.
Na página de detalhes, visualize as informações do seu agente. Um plano de verificação suporta apenas um agente. Clique em New Task para criar uma tarefa de verificação.
Na etapa Information Entry, selecione um serviço com base na sua source de dados, escolha um método de verificação, configure os parâmetros e clique em Next step.
Na etapa Parsing results, configure os parâmetros e clique em Next step.
Na etapa Verification range confirmation, confirme as informações e clique em Determine.
Iniciar a tarefa de verificação de dados
Após criar a tarefa, clique em All Initiate Validation para iniciar todas as tarefas ou selecione tarefas específicas e clique em Check Initiate Validation.
A tarefa entrará no estado Validation in. Atualize a página para visualizar o resultado.
Se o resultado não atender aos requisitos, ajuste os dados e clique em RUN TASK para reiniciar.
Alterar o agente
Para alterar o agente, clique em Edit ao lado de Agent List. Selecione o agente desejado e clique em Determine. Um plano de verificação suporta apenas um agente. Selecionar múltiplos agentes causará um erro.
O novo agente verificará a conectividade com a origem e o destino. Se não houver erros, a alteração será bem-sucedida.