Data Transmission Service:Configurar uma tarefa de verificação de dados

Observações de uso

• Instâncias de banco de dados implantadas em rede clássica não suportam verificação incremental de dados.

• Instâncias do DTS com o recurso de mesclagem de várias tabelas ativado não suportam verificação de dados.

• Instâncias cujo Status seja Completed não suportam verificação de dados.

• Se uma tabela a ser verificada não tiver chave primária nem índice único e possuir mais de 10.000 linhas, o DTS não executará a verificação de dados nessa tabela.

• Caso os dados a serem verificados não tenham restrição PRIMARY KEY nem UNIQUE, o DTS não realizará a verificação incremental de dados.

• Ao reiniciar uma instância de sincronização ou migração (por exemplo, pausando-a e iniciando-a novamente), a tarefa de verificação completa da instância também será reiniciada.

• O DTS não executa verificação de dados em tabelas de destino vazias.

• Antes de executar uma tarefa de verificação, avalie o desempenho dos bancos de dados de origem e de destino. Recomendamos realizar a verificação de dados em horários de baixa demanda, por exemplo, quando a carga da CPU dos bancos de dados de origem e de destino estiver abaixo de 30%. Durante a verificação, o DTS consome recursos de leitura dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Se o desempenho for baixo, as especificações forem reduzidas ou o volume de negócios for alto, a carga poderá aumentar e até tornar os serviços indisponíveis.

• Ao configurar uma tarefa de verificação de dados em uma instância de sincronização ou migração, os valores válidos para Data Verification Mode dependem dos valores selecionados em Synchronization Types ou Migration Types.

  Por exemplo, se você selecionar apenas Incremental Data Migration para Migration Types, Incremental Data Verification será o único valor válido para Data Verification Mode.

• Uma tarefa de verificação incremental valida apenas os dados alterados durante uma tarefa de sincronização ou migração incremental. Ela não verifica dados modificados manualmente no banco de dados de destino.

• Tarefas configuradas na página Data Verification não suportam verificação incremental.

• Ao verificar uma pequena quantidade de dados usando o método Full field validation by row sampling, a porcentagem de amostragem definida não terá efeito. O valor padrão é 100%.

• Se você selecionar Full field validation by row sampling ao configurar a verificação de dados para uma instância MongoDB, a porcentagem de amostragem será fixada em 100%.

• Caso selecione Full field validation by row sampling para Full Data Verification, recomendamos não utilizar o recurso de extração, transformação e carga (ETL). Caso contrário, os dados modificados pelo ETL serão detectados como inconsistentes.

• Visualizações materializadas não suportam verificação de dados.

• Durante uma tarefa de verificação completa, se uma única tabela contiver mais de 100.000 linhas de dados inconsistentes, o DTS interromperá a verificação dessa tabela. Reduza a quantidade de dados inconsistentes e verifique a tabela novamente.

• Se um objeto a ser verificado contiver colunas ocultas, o resultado da verificação de esquema poderá ser afetado.

Regiões suportadas

Para obter a lista completa de regiões suportadas, consulte lista de regiões suportadas.

Links de banco de dados suportados

Configurar uma tarefa de verificação de dados na página Data Verification

1. Acesse a página da lista de tarefas de verificação. Use um dos três métodos a seguir.

   Usar o console do DTS (início rápido)

   1. Acesse a página DTS Verification Tasks.

   2. Opcional: No canto superior esquerdo da página, selecione a região onde a instância de verificação está localizada.

   Usar o console do DTS (padrão)

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Verification.

   3. Opcional: No canto superior esquerdo da página, selecione a região onde a instância de verificação está localizada.

   Usar o console do DMS

   Nota

   As etapas reais podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Console do modo simplificado e Personalizar o layout e o estilo da interface do DMS.

   1. Faça login no DMS Data Management Service.

   2. Na barra de menu superior, selecione Data + AI > Data Transmission Service (DTS) > Data Verification.

   3. Opcional: À direita de Verification Task, selecione a região onde a instância de verificação está localizada.

2. Acesse a página de configuração de uma tarefa de verificação de dados de uma das seguintes maneiras:

   • Se você já adquiriu uma tarefa de verificação de dados, clique em Configure Task na coluna Actions da tarefa desejada.

     Para mais informações sobre como adquirir uma instância de verificação de dados, consulte Adquirir uma tarefa de verificação de dados.

   • Caso ainda não tenha adquirido uma tarefa de verificação de dados, clique em Create Task.

3. Configure os bancos de dados de origem e de destino. Para mais informações, consulte Visão geral das soluções de sincronização de dados ou Cenários de migração.

   Nota

   • Não é possível modificar a Instance Region de tarefas adquiridas antes da configuração.

   • Se o banco de dados de origem for um cluster fragmentado do MongoDB, não será necessário preparar a Shard account ou a Shard password.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que o segmento de endereços IP do serviço DTS foi adicionado automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores do DTS. Para mais informações, consulte Adicionar endereços IP de servidores do DTS a uma lista de permissões.

   • Se o banco de dados de origem ou de destino for autogerenciado (o Access Method não for Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers exibida.

5. Configure o Data Verification Mode.

   Selecione um ou mais modos de verificação de dados conforme necessário. Se selecionar Full Data Verification, configure também os parâmetros descritos na tabela a seguir.

   Nota

   • Full Data Verification: Verifica todos os dados dos objetos especificados.

   • Schema Verification: Valida os esquemas de banco de dados e tabelas dos objetos especificados.

   • Tarefas configuradas na página Data Verification não suportam verificação incremental.

   Parâmetro	Observação
   Full Data Verification	Full field validation by row sampling: Valida todos os campos para uma porcentagem especificada de linhas de dados. Defina a porcentagem de amostragem como um número inteiro de 10 a 100. Verify based on the number of table rows: Verifica a contagem de linhas do conjunto completo de dados. O conteúdo real dos dados não é validado. Nota O modo Verify based on the number of table rows é gratuito. O modo Full field validation by row sampling é cobrado com base na quantidade de dados verificados.
   Full Data Verification Time Rule	Atualmente, apenas Start Now é suportado.
   Timeout Settings for Full Data Verification	No: A tarefa de verificação completa não é interrompida forçadamente em caso de tempo limite. Yes: Define um período de tempo limite para a tarefa de verificação completa. O cronômetro inicia após o começo da tarefa. Se a tarefa não for concluída dentro do tempo especificado, ela será interrompida forçadamente. O valor deve ser um número inteiro de 1 a 72.
   Full calibration reference	Default: Utiliza os dados combinados dos bancos de dados de origem e de destino como referência para verificar a consistência dos dados. Source Database: Usa o banco de dados de origem como referência para verificar a consistência dos dados. Dados extras no banco de dados de destino não são verificados. Destination Database: Usa o banco de dados de destino como referência para verificar a consistência dos dados. Dados extras no banco de dados de origem não são verificados.
   Maximum number of rows of data read per second by full verification (RPS)	A verificação completa de dados consome recursos de leitura do banco de dados. Para reduzir a carga, configure o limitador de taxa para a tarefa de verificação completa conforme necessário. O limitador restringe o número de linhas de dados e a quantidade de dados lidos por segundo. Nota Um valor de parâmetro igual a 0 indica ausência de limite. Se tanto Maximum number of rows of data read per second by full verification (RPS) quanto Maximum amount of data read per second by full verification (MBps) estiverem definidos como 0, o limitador de taxa será desativado.
   Maximum amount of data read per second by full verification (MBps)

6. Especifique os Verification Objects.

   1. Selecione os objetos a serem verificados no banco de dados de origem.

      Na seção Source Objects, selecione os objetos que deseja verificar e clique em para movê-los para a seção Selected Objects.

      Nota

      É possível definir Table Name e Column Name para uma tabela de destino apenas se você selecionar tabelas como objetos a serem verificados.

   2. Defina os objetos a serem verificados no banco de dados de destino.

      1. Na seção Selected Objects, clique com o botão direito do mouse no esquema movido.

      2. Na caixa de diálogo Edit Schema, defina o Schema Name para o banco de dados de destino e clique em OK.

      3. Na seção Selected Objects, clique com o botão direito do mouse em uma tabela movida da seção Source Objects.

      4. Na caixa de diálogo Edit Table, defina o Table Name para a tabela de destino.

      5. Opcional. Na coluna Column Name da seção Column, defina o nome da coluna da tabela de destino.

         Nota

         Também é possível desmarcar Sync All Columns e selecionar manualmente as colunas a serem verificadas.

      6. Clique em OK.

   3. Opcional. Configure alertas de verificação.

      Se selecionar Full Data Verification para Data Verification Mode, configure também o Full Data Verification Alert conforme necessário.

      Nota

      Após a instância do DTS começar a ser executada, você também pode definir ou modificar alertas de verificação de dados.

      Parâmetro	Observação
      Full Data Verification Alert	No: Desativa os alertas. Yes: Ativa os alertas. Selecione e configure as regras de alerta. As regras são as seguintes: Um alerta é acionado se a tarefa de verificação completa de dados falhar. Um alerta é acionado se a quantidade de dados inconsistentes da tarefa de verificação completa for maior ou igual ao limiar especificado.

      Importante

      Se você definiu alertas de verificação e deseja receber notificações quando uma tarefa acionar um alerta, configure também as assinaturas de mensagens de alerta na plataforma CloudMonitor. Para mais informações, consulte Definir regras de alerta para tarefas do DTS na plataforma CloudMonitor.

8. Clique em Next: Advanced Settings para definir as configurações avançadas.

   Configuração	Descrição
   Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda a tarefa para um cluster compartilhado. Nenhuma seleção é necessária. Você também pode adquirir um cluster dedicado para executar tarefas do DTS. Para mais informações, consulte O que é um cluster dedicado do DTS?.
   Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e iniciará imediatamente uma nova tentativa de conexão. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e definir o tempo de nova tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
   Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS relatará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão de nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir esse valor para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
   Environment Tag	Opcional. Conforme necessário, selecione uma tag de ambiente para identificar a instância.

9. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros de configuração desta instância ao chamar a operação da API, passe o ponteiro do mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.

   • Se não precisar visualizar os parâmetros da API ou já tiver terminado de visualizá-los, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início da tarefa de verificação, uma pré-verificação é realizada. A tarefa só poderá ser iniciada após ser aprovada na pré-verificação.

   • Se a pré-verificação falhar, clique em View Details ao lado do item reprovado, corrija o problema conforme a instrução e execute a pré-verificação novamente.

   • Se um aviso for relatado durante a pré-verificação:

     • Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item reprovado, corrija o problema conforme a instrução e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o item de alerta e executar a pré-verificação novamente. Se optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos aos seus negócios.

10. Visualize o progresso da tarefa de verificação de dados.

    • Se você possui uma tarefa de verificação adquirida (comprada antes da configuração), quando a Success Rate for 100%, clique em Back.

    • Se configurou uma tarefa de verificação de dados mas ainda não a adquiriu, quando a Success Rate for 100%, clique em Next: Purchase Instance, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms, clique em Buy and Start e, em seguida, clique em OK.

Configurar uma tarefa de verificação de dados em uma instância de sincronização ou migração do DTS

1. Acesse a página Data Verification.

   • Para obter informações sobre como configurar uma instância do DTS recém-criada, consulte os tópicos listados em Visão geral das soluções de sincronização de dados ou Cenários de migração.

   • Para uma instância existente do DTS:

     1. Acesse a página da lista de tarefas de sincronização ou migração.

     2. Clique no ID da instância desejada.

     3. Na página Basic Information ou Task Management, clique em Create Verification Task.

2. Configure o Data Verification Mode.

   Nota

   • Full Data Verification: Verifica os dados da tarefa de dados completos. Se a instância não incluir uma tarefa incremental, a verificação começará após a criação da instância e a gravação completa dos dados. Se a instância incluir uma tarefa incremental, a verificação começará após a criação da instância e a primeira gravação de dados incrementais sem latência.

   • Incremental Data Verification: Valida dados sincronizados ou migrados incrementalmente. A verificação de dados começa após a criação da instância e a primeira gravação de dados incrementais no banco de dados de destino sem latência.

   • Schema Verification: Verifica os esquemas dos objetos que requerem validação. Se a instância não incluir uma tarefa incremental, a verificação começará após a criação da instância e a gravação do esquema da tabela e dos dados completos. Se a instância incluir uma tarefa incremental, a verificação começará após a criação da instância e a primeira gravação de dados incrementais sem latência.

   Verificação completa

   Se selecionar Full Data Verification, defina também os parâmetros descritos na tabela a seguir.

   Parâmetro	Observação
   Full Data Verification	Full field validation by row sampling: Valida todos os campos para uma porcentagem especificada de linhas de dados. Defina a porcentagem de amostragem como um número inteiro de 10 a 100. Verify based on the number of table rows: Verifica a contagem de linhas do conjunto completo de dados. O conteúdo real dos dados não é validado. Nota O modo Verify based on the number of table rows é gratuito. O modo Full field validation by row sampling é cobrado com base na quantidade de dados verificados.
   Full Data Verification Time Rule	Atualmente, apenas Start Now é suportado.
   Timeout Settings for Full Data Verification	No: A tarefa de verificação completa não é interrompida forçadamente em caso de tempo limite. Yes: Define um período de tempo limite para a tarefa de verificação completa. O cronômetro inicia após o começo da tarefa. Se a tarefa não for concluída dentro do tempo especificado, ela será interrompida forçadamente. O valor deve ser um número inteiro de 1 a 72.
   Full calibration reference	Default: Utiliza os dados combinados dos bancos de dados de origem e de destino como referência para verificar a consistência dos dados. Source Database: Usa o banco de dados de origem como referência para verificar a consistência dos dados. Dados extras no banco de dados de destino não são verificados. Destination Database: Usa o banco de dados de destino como referência para verificar a consistência dos dados. Dados extras no banco de dados de origem não são verificados.
   Maximum number of rows of data read per second by full verification (RPS)	A verificação completa de dados consome recursos de leitura do banco de dados. Para reduzir a carga, configure o limitador de taxa para a tarefa de verificação completa conforme necessário. O limitador restringe o número de linhas de dados e a quantidade de dados lidos por segundo. Nota Um valor de parâmetro igual a 0 indica ausência de limite. Se tanto Maximum number of rows of data read per second by full verification (RPS) quanto Maximum amount of data read per second by full verification (MBps) estiverem definidos como 0, o limitador de taxa será desativado.
   Maximum amount of data read per second by full verification (MBps)

   Verificação incremental

   Se selecionar Incremental Data Verification, defina também os parâmetros descritos na tabela a seguir.

   Parâmetro	Observação
   Incremental Verification Benchmark	Selecione as operações de Linguagem de Manipulação de Dados (DML) a serem verificadas conforme necessário.

3. Especifique os Verification Objects.

   Na seção Selected Objects, selecione os objetos que não requerem verificação de dados e clique em para removê-los.

   Nota

   Por padrão, os objetos a serem sincronizados ou migrados são adicionados à seção Selected Objects.

4. Configure alertas para verificação de dados.

   Configure os seguintes parâmetros conforme necessário.

   Nota

   Após a instância do DTS começar a ser executada, você também pode definir ou modificar alertas de verificação de dados.

   Parâmetro	Observação
   Full Data Verification Alert	No: Desativa os alertas. Yes: Ativa os alertas. Selecione e configure as regras de alerta. As regras são as seguintes: Um alerta é acionado se a tarefa de verificação completa de dados falhar. Um alerta é acionado se a quantidade de dados inconsistentes da tarefa de verificação completa for maior ou igual ao limiar especificado.
   Incremental Data Verification Alert	No: Desativa os alertas. Yes: Configure alertas selecionando e definindo regras de alerta. As regras disponíveis são as seguintes: Aciona um alerta se a tarefa de verificação incremental falhar. Aciona um alerta se o número de registros inconsistentes atingir ou exceder um limiar por um número especificado de períodos estatísticos consecutivos. Configure o número de períodos, o período estatístico e o limiar para registros inconsistentes. Aciona um alerta se a latência de dados atingir ou exceder um limiar por um número especificado de períodos estatísticos consecutivos. Configure o número de períodos, o período estatístico e o limiar de latência.

   Importante

   Se você definiu alertas de verificação e deseja receber notificações quando uma tarefa acionar um alerta, configure também as assinaturas de mensagens de alerta na plataforma CloudMonitor. Para mais informações, consulte Definir regras de alerta para tarefas do DTS na plataforma CloudMonitor.

5. Siga as instruções e consulte os documentos de configuração relevantes para concluir as etapas subsequentes.

Modificar uma regra de alerta

1. Acesse a página Data Verification. Use um dos três métodos a seguir.

   Nota

   Se você configurou a tarefa de verificação de dados em uma instância de sincronização ou migração do DTS, também pode acessar a página da lista de tarefas de sincronização ou migração correspondente.

   Usar o console do DTS (início rápido)

   1. Acesse a página DTS Verification Tasks.

   2. Opcional: No canto superior esquerdo da página, selecione a região onde a instância de verificação está localizada.

   Usar o console do DTS (padrão)

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Verification.

   3. Opcional: No canto superior esquerdo da página, selecione a região onde a instância de verificação está localizada.

   Usar o console do DMS

   Nota

   As etapas reais podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Console do modo simplificado e Personalizar o layout e o estilo da interface do DMS.

   1. Faça login no DMS Data Management Service.

   2. Na barra de menu superior, selecione Data + AI > Data Transmission Service (DTS) > Data Verification.

   3. Opcional: À direita de Verification Task, selecione a região onde a instância de verificação está localizada.

2. Na coluna Actions da tarefa de verificação desejada, selecione > Alert Settings.

   Nota

   Você também pode clicar no ID da instância desejada e, em seguida, clicar em Alert Settings no painel de navegação à esquerda.

3. Na coluna Actions da métrica desejada, clique em Edit.

   • Verificação completa de dados

     • Full Data Verification Status

     • Full Data Verification Inconsistency

   • Verificação incremental de dados

     • Incremental Data Verification Status

     • Incremental Data Verification Latency

     • Incremental Data Verification Inconsistency

5. Após fazer as alterações necessárias, clique em OK.

Operações de API relacionadas

Operação da API	Observação
ConfigureDtsJob	Configura uma tarefa de verificação de dados.

Perguntas frequentes

• Nomes de bancos de dados, tabelas e colunas modificados pelo recurso de mapeamento de nomes são verificados como dados inconsistentes?

  O recurso de verificação de dados é compatível com o recurso de mapeamento de nomes para bancos de dados e tabelas. Se você usar esse recurso para modificar nomes de bancos de dados, tabelas e colunas, apenas os nomes de colunas modificados serão detectados como dados inconsistentes. Os nomes de bancos de dados e tabelas não serão afetados.

• Qual é o resultado de uma tarefa de verificação de esquema se a tabela contiver colunas ocultas?

  Uma tarefa de verificação de esquema valida a posição das colunas. Se uma tabela a ser verificada contiver colunas ocultas, as posições de outras colunas poderão ser afetadas. Se a posição de uma coluna a ser verificada no banco de dados de origem for diferente daquela no banco de dados de destino, o DTS relatará uma inconsistência de esquema.

• Por que não consigo selecionar um modo de verificação em uma instância do DTS?

  A instância atual pode não suportar o modo de verificação de dados correspondente, ou os Synchronization Types ou Migration Types correspondentes não foram selecionados na etapa Configure Objects.

• Dados filtrados pelo recurso de condição de filtro são verificados como dados inconsistentes?

  • Verificação completa de dados: Não. A verificação completa de dados suporta o recurso Filter Conditions.

  • Verificação incremental de dados: Não. A verificação incremental de dados suporta o recurso Filter Conditions. (Tarefas incrementais para um banco de dados de origem cujo Database Type seja MongoDB não suportam o recurso Filter Conditions.)