Data Transmission Service:Configurar verificação de dados

Observações de uso

• O DTS não oferece suporte à verificação incremental de dados para instâncias de banco de dados em uma rede clássica.

• A verificação de dados não é suportada pelo DTS em instâncias com o recurso de mesclagem de várias tabelas ativado.

• Instâncias cujo Status seja Completed não podem ter seus dados verificados pelo DTS.

• Tabelas com mais de 10.000 linhas que não possuem chave primária ou índice único não são verificadas pelo DTS.

• Caso os dados não tenham restrição de chave primária nem restrição única, o DTS não executa a verificação incremental.

• Ao reiniciar uma instância de sincronização ou migração (por exemplo, pausando e iniciando novamente), a tarefa de verificação completa da instância também é reiniciada.

• Tabelas de destino vazias não passam por verificação no DTS.

• Antes de executar uma tarefa de verificação, avalie o desempenho dos bancos de dados de origem e destino. Realize a verificação em horários de baixa demanda, como quando a carga de CPU dos bancos está abaixo de 30%. Durante esse processo, o DTS consome recursos de leitura de ambas as bases, o que pode aumentar a carga do sistema. Se o banco de dados tiver baixo desempenho, especificações reduzidas ou alta carga de trabalho, essa sobrecarga adicional pode indisponibilizar os serviços.

• Ao configurar uma tarefa de verificação em uma instância de sincronização ou migração de dados, suas seleções em Synchronization Types ou Migration Types determinam as opções disponíveis para Data Verification Mode.

  Por exemplo, se você selecionar apenas Incremental Data Migration em Migration Types, a única opção disponível para Data Verification Mode será Incremental Data Verification.

• Uma tarefa de verificação incremental valida apenas os dados alterados durante uma tarefa incremental. Alterações manuais feitas diretamente no banco de dados de destino não são verificadas.

• O DTS não suporta verificação incremental para tarefas configuradas a partir da lista de tarefas de verificação de dados.

• Ao verificar um pequeno volume de dados usando o método Full field validation by row sampling, a porcentagem de amostragem especificada não tem efeito. O valor padrão é 100%.

• Para instâncias MongoDB, ao escolher o método Full field validation by row sampling, a taxa de amostragem é fixada em 100% e não pode ser alterada.

• Se optar por Full field validation by row sampling na Full Data Verification, evite utilizar simultaneamente o recurso ETL. Caso contrário, dados modificados pelo ETL serão marcados como inconsistentes.

• Views materializadas não são suportadas na verificação de dados do DTS.

• Durante uma verificação completa, se uma única tabela apresentar mais de 100.000 linhas com dados inconsistentes, o DTS interrompe a verificação dessa tabela. Reduza a quantidade de dados inconsistentes e tente verificar novamente.

• Objetos contendo colunas ocultas podem impactar o resultado da verificação de schema.

• Tarefas de validação incremental geram cobrança mesmo quando estão pausadas.

Regiões suportadas

Para obter mais informações sobre as regiões suportadas, consulte {{XREF_0}}.

Links suportados

Configurar uma tarefa de verificação de dados

1. Acesse a página da lista de tarefas de verificação de dados. Escolha um dos métodos a seguir.

   DTS console (quick)

   1. Acesse a página Data Verification.

   2. Opcional: No canto superior esquerdo da página, selecione a região da instância de verificação.

   DTS console (standard)

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Verification.

   3. Opcional: No canto superior esquerdo da página, selecione a região da instância de verificação.

   DMS console

   Nota

   As etapas reais podem variar conforme o modo e o layout do console DMS. Para mais detalhes, consulte {{XREF_1}} e {{XREF_2}}.

   1. Faça login no console do Data Management Service (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opcional: À direita de Verification Task, selecione a região da instância de verificação.

2. Navegue até a página de configuração da tarefa de verificação de dados utilizando um dos seguintes métodos:

   • Se você já adquiriu uma tarefa de verificação de dados (compra antes da configuração), localize a tarefa e clique em Configure Task na coluna Actions.

     Para saber como adquirir uma tarefa de verificação de dados, consulte {{XREF_3}}.

   • Caso ainda não tenha adquirido uma tarefa de verificação (configuração antes da compra), clique em Create Task.

3. Configure os bancos de dados de origem e destino. Para mais detalhes, consulte {{XREF_4}} ou {{XREF_5}}.

   Nota

   • Não é possível alterar a Instance Region de tarefas pré-adquiridas.

   • Se o banco de dados de origem for um cluster fragmentado MongoDB, não é necessário fornecer Shard account ou Shard password.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que o segmento de endereços IP do serviço DTS foi adicionado automática ou manualmente às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores DTS. Para mais informações, consulte {{XREF_6}}.

   • Se o banco de dados de origem ou destino for autogerenciado (quando o Access Method não for Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers exibida.

5. Defina o Data Verification Mode.

   Selecione um método de verificação de dados. Caso opte por Full Data Verification, configure também os parâmetros descritos na tabela a seguir.

   Nota

   • Full Data Verification: Verifica todos os dados dos objetos especificados.

   • Schema Verification: Valida os schemas de banco de dados e tabelas dos objetos indicados.

   • O DTS não oferece suporte à verificação incremental para tarefas configuradas a partir da lista de tarefas de verificação de dados.

   Parâmetro	Descrição
   Full Data Verification	Full field validation by row sampling: Especifique uma porcentagem de amostragem para validar todos os campos das linhas amostradas. O valor deve ser um número inteiro entre 10 e 100. Verify based on the number of table rows: Verifica a contagem de linhas da tarefa de dados completos. O conteúdo real dos dados não é validado. Nota O modo Verify based on the number of table rows é gratuito. Já o modo Full field validation by row sampling é cobrado com base no volume de dados efetivamente verificado.
   Full Data Verification Time Rule	Atualmente, apenas a opção Start Now é suportada.
   Timeout Settings for Full Data Verification	No: A tarefa de verificação completa não é encerrada forçadamente em caso de timeout. Yes: Defina um período de timeout para a tarefa de verificação completa. O cronômetro inicia após o começo da tarefa. Se ela não for concluída dentro do prazo estipulado, será encerrada forçadamente. O valor deve ser um número inteiro entre 1 e 72.
   Full calibration reference	Default: Utiliza a união dos bancos de dados de origem e destino como referência para verificar a consistência dos dados. Source Database: Usa o banco de dados de origem como referência para validar a consistência. Dados extras no banco de destino não são verificados. Destination Database: Adota o banco de dados de destino como base para checar a consistência. Dados excedentes na origem não são validados.
   Maximum number of rows of data read per second by full verification (RPS)	A verificação completa de dados consome recursos de leitura do banco. Para reduzir a carga, defina limites de taxa para a tarefa, como o máximo de linhas por segundo (RPS) e o throughput máximo de leitura em megabytes por segundo (MBps). Nota O valor 0 indica ausência de limite. Se tanto Maximum number of rows of data read per second by full verification (RPS) quanto Maximum amount of data read per second by full verification (MBps) estiverem definidos como 0, nenhum limite de taxa será aplicado.
   Maximum amount of data read per second by full verification (MBps)

6. Defina os Verification Objects.

   1. Selecione os objetos a serem verificados no banco de dados de origem.

      Na caixa Source Objects, escolha os objetos desejados e clique em para movê-los para a caixa Selected Objects.

      Nota

      É possível definir Table Name e Column Name para tabelas de destino somente quando a granularidade do objeto de verificação for definida como tabelas.

   2. Configure os objetos a serem verificados no banco de dados de destino.

      1. Na caixa Selected Objects, clique com o botão direito no schema que você moveu.

      2. Na caixa de diálogo Edit Schema, defina o Schema Name para o banco de dados de destino e clique em OK.

      3. Ainda na caixa Selected Objects, clique com o botão direito na tabela movida.

      4. Na caixa de diálogo Edit Table, especifique o Table Name da tabela de destino.

      5. Opcional: Na seção Column, defina o nome da coluna de destino na coluna Column Name.

         Nota

         Você também pode desmarcar a caixa de seleção Sync All Columns e escolher colunas específicas para verificação.

      6. Após finalizar as configurações, clique em OK.

   3. Opcional: Configure alertas de verificação.

      Se selecionar Full Data Verification no parâmetro Data Verification Mode, também será possível configurar o Full Data Verification Alert.

      Nota

      Também é possível {{XREF_7}} depois que a instância DTS estiver em execução.

      Parâmetro	Descrição
      Full Data Verification Alert	No: Nenhum alerta configurado. Yes: Selecione e configure uma das seguintes regras de alerta: Dispara um alerta caso a tarefa de verificação completa falhe. Gera um alerta se o número de registros inconsistentes na verificação completa atingir ou ultrapassar um limiar definido.

      Importante

      Para receber notificações dos alertas configurados, assine-os também no CloudMonitor. Para mais informações, consulte {{XREF_8}}{{XREF_9}}.

      Configure regras de alerta para uma tarefa do DTS no CloudMonitor

      Configure regras de alerta para uma tarefa do DTS no CloudMonitor

7. Clique em Next: Advanced Settings.

   Configuração	Descrição
   Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda a tarefa em um cluster compartilhado, sem necessidade de seleção. É possível adquirir um cluster dedicado para executar tarefas do DTS. Para mais informações, consulte {{XREF_10}}.
   Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou destino falhar, o DTS reportará um erro e iniciará imediatamente novas tentativas de conexão. A duração padrão de nova tentativa é de 720 minutos. Também é possível definir uma duração personalizada entre 10 e 1.440 minutos. Recomendamos configurar esse tempo para 30 minutos ou mais. Caso o DTS restabeleça a conexão dentro do período especificado, a tarefa de sincronização será retomada automaticamente; caso contrário, ela falhará. Nota Se houver múltiplas instâncias DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e o tempo de nova tentativa de rede for definido como 30 minutos para a Instância A e 60 minutos para a Instância B, a menor duração (30 minutos) prevalecerá para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração conforme suas necessidades de negócio ou liberar a instância DTS assim que possível após a liberação das instâncias de banco de dados de origem e destino.
   Retry Time for Other Issues	Depois que a tarefa de sincronização iniciar, se ocorrerem outros problemas não relacionados à conectividade nos bancos de origem ou destino (como exceções na execução de DDL ou DML), o DTS emitirá um erro e começará imediatamente operações contínuas de nova tentativa. A duração padrão é de 10 minutos. Você pode personalizar esse intervalo entre 1 e 1.440 minutos. Recomendamos definir pelo menos 10 minutos. Se as operações relevantes forem bem-sucedidas dentro do período configurado, a sincronização será retomada automaticamente; caso contrário, a tarefa falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o de Retry Time for Failed Connections.
   Environment Tag	Este parâmetro é opcional. Selecione uma tag de ambiente para identificar a instância conforme seus requisitos de negócio.

8. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros de configuração desta instância ao chamar a operação de API, passe o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.

   • Se não precisar visualizar os parâmetros da API ou já tiver terminado, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • O DTS executa uma pré-verificação antes do início da tarefa de verificação de dados. A tarefa só começa após ser aprovada nessa etapa.

   • Se a pré-verificação falhar, clique em View Details ao lado do item reprovado, corrija o problema conforme a orientação e execute a pré-verificação novamente.

   • Caso um aviso seja gerado durante a pré-verificação:

     • Para itens de verificação que não podem ser ignorados, clique em View Details ao lado do item com falha, resolva o problema seguindo a instrução e refaça a pré-verificação.

     • Para itens que admitem exclusão, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o alerta e rodar a pré-verificação outra vez. Ignorar avisos pode causar problemas como inconsistência de dados e trazer riscos ao seu negócio.

9. Visualize o progresso da tarefa de verificação de dados.

   • Para tarefas pré-adquiridas: Quando a Success Rate atingir 100%, clique em Back.

   • Para tarefas configuradas antes da compra: Assim que a Success Rate chegar a 100%, clique em Next: Purchase Instance, leia e marque Data Transmission Service (Pay-as-you-go) Service Terms, clique em Buy and Start e, em seguida, em OK.

Configurar verificação de dados

1. Acesse a página Data Verification.

   • Para uma nova instância DTS: Consulte os tópicos de configuração relevantes em {{XREF_11}} ou {{XREF_12}} para acessar esta página.

   • Para uma instância DTS existente:

     1. Acesse a lista de tarefas de sincronização ou migração.

     2. Clique no ID da instância alvo.

     3. Na página Basic Information ou Task Management, clique em Create Verification Task.

2. Configure o Data Verification Mode.

   Nota

   • Full Data Verification: Valida os dados da tarefa completa. Se a instância não incluir tarefa incremental, a verificação começa após a criação da instância e a gravação dos dados completos. Se houver tarefa incremental, a verificação inicia após a criação da instância e quando a latência de replicação cair para zero pela primeira vez.

   • Incremental Data Verification: Verifica os dados da tarefa incremental. A validação tem início após a criação da instância e quando a latência de replicação atingir zero pela primeira vez.

   • Schema Verification: Analisa os schemas dos objetos selecionados. Sem tarefa incremental, a verificação ocorre após a criação da instância e a gravação do schema da tabela e dos dados completos. Com tarefa incremental presente, ela começa após a criação da instância e quando a latência de replicação chegar a zero inicialmente.

   Full data verification

   Ao selecionar Full Data Verification, configure também os parâmetros listados na tabela abaixo.

   Parâmetro	Descrição
   Full field validation by row sampling	Verify based on the number of table rows: Informe uma porcentagem de amostragem para validar todos os campos das linhas amostradas. O valor deve ser um inteiro entre 10 e 100. Verify based on the number of table rows: Confere a contagem de linhas da tarefa de dados completos. O conteúdo real dos dados não é verificado. Nota O modo Full field validation by row sampling é gratuito. O modo Full Data Verification Time Rule gera cobrança proporcional ao volume de dados efetivamente verificado.
   Start Now	No momento, somente a opção Timeout Settings for Full Data Verification está disponível.
   No	Yes: A tarefa de verificação completa não é interrompida forçadamente por timeout. Full calibration reference: Estabeleça um período de timeout para a tarefa de verificação completa. O temporizador começa após o início da tarefa. Se ela não terminar dentro do prazo definido, será encerrada forçadamente. O valor deve ser um inteiro entre 1 e 72.
   Default	Source Database: Toma a união dos bancos de origem e destino como base para validar a consistência dos dados. Destination Database: Considera o banco de origem como referência para checar a consistência. Dados adicionais no destino não são verificados. Maximum number of rows of data read per second by full verification (RPS): Utiliza o banco de destino como parâmetro para verificar a consistência. Dados excedentes na origem não passam por validação.
   Maximum number of rows of data read per second by full verification (RPS)	A verificação completa consome recursos de leitura do banco de dados. Para aliviar a carga, estabeleça limites de taxa para a tarefa, como o máximo de linhas por segundo (RPS) e o throughput máximo de leitura em megabytes por segundo (MBps). Nota Zero significa sem limite. Quando Maximum amount of data read per second by full verification (MBps) e Maximum amount of data read per second by full verification (MBps) estiverem ambos em 0, nenhuma limitação de taxa será aplicada.
   Incremental Data Verification

   Incremental data verification

   Caso selecione Incremental Data Verification, configure também os parâmetros descritos na tabela seguinte.

   Parâmetro	Descrição
   Incremental Verification Benchmark	Selecione as operações DML a serem verificadas.

3. Especifique os Verification Objects.

   Na caixa Selected Objects, selecione os objetos que deseja excluir da verificação e clique no ícone para removê-los.

   Nota

   Por padrão, o DTS adiciona à caixa Selected Objects os objetos escolhidos para sincronização ou migração.

4. Configure os alertas de verificação.

   Defina os parâmetros abaixo conforme necessário.

   Nota

   Também é possível {{XREF_13}} após a instância DTS estar em execução.

   Parâmetro	Descrição
   Full Data Verification Alert	Yes: Sem alerta configurado. Yes: Escolha e configure uma das regras de alerta a seguir: Aciona um alerta se a tarefa de verificação completa falhar. Notifica quando o número de registros inconsistentes da verificação completa for igual ou superior a um limiar estabelecido.
   Incremental Data Verification Alert	No: Nenhum alerta definido. Yes: Selecione e configure uma das regras de alerta abaixo: Gera alerta em caso de falha na tarefa de verificação incremental. Dispara notificação se o número de registros inconsistentes atingir ou superar um limiar definido ao longo de períodos estatísticos consecutivos. Alerta quando a latência de dados alcançar ou exceder um limiar especificado durante períodos estatísticos consecutivos.

   Importante

   Para receber notificações dos alertas configurados, faça a assinatura deles no CloudMonitor. Para mais detalhes, consulte {{XREF_14}}{{XREF_15}}.

5. Siga as instruções na tela e consulte os tópicos relevantes para concluir a configuração.

Modificar um alerta de verificação

1. Acesse a página da lista de tarefas de verificação de dados usando um dos três métodos abaixo.

   Nota

   Se a tarefa de verificação foi configurada em uma instância de sincronização ou migração do Data Transmission Service (DTS), acesse também a página de lista de tarefas correspondente.

   DTS console (quick)

   1. Acesse a página Data Verification.

   2. Opcional: No canto superior esquerdo da página, selecione a região da instância de verificação.

   DTS console (standard)

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Verification.

   3. Opcional: No canto superior esquerdo da página, selecione a região da instância de verificação.

   DMS console

   Nota

   Os passos podem variar dependendo do modo e layout do console DMS. Para mais informações, consulte {{XREF_16}} e {{XREF_17}}.

   1. Faça login no console do Data Management Service (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opcional: À direita de Verification Task, selecione a região da instância de verificação.

2. Na coluna Alert Settings da instância desejada, escolha > Alert Settings.

   Nota

   Alternativamente, clique no ID da instância alvo e depois em Alert Settings no painel de navegação à esquerda.

3. Na coluna Actions da métrica desejada, clique em Edit.

   • Verificação completa de dados

     • Full Data Verification Status

     • Full Data Verification Inconsistency

   • Verificação incremental de dados

     • Incremental Data Verification Status

     • Incremental Data Verification Latency

     • Incremental Data Verification Inconsistency

4. Após ajustar as configurações, clique em OK.

APIs relacionadas

Perguntas frequentes

• Nomes de bancos, tabelas e colunas modificados pelo recurso de mapeamento de nomes são sinalizados como dados inconsistentes?

  A verificação de dados suporta o mapeamento de nomes para bancos e tabelas. Se esse recurso for usado para alterar nomes de bancos, tabelas e colunas, o DTS marcará como inconsistentes apenas os nomes das colunas modificadas, não os nomes dos bancos ou tabelas.

• Como a verificação de schema lida com tabelas que possuem colunas ocultas?

  A verificação de schema analisa a posição das colunas. Se uma tabela verificada contiver uma coluna oculta, isso pode afetar a posição das demais colunas. Quando a posição de uma coluna no banco de origem difere da posição no banco de destino, o DTS sinaliza uma inconsistência de schema.

• Por que não consigo selecionar um modo de verificação em uma instância DTS?

  A instância pode não suportar o modo de verificação escolhido, ou talvez você não tenha selecionado os Configure Objects ou Migration Types correspondentes na etapa Synchronization Types.

• Dados filtrados pelo recurso Filter Conditions são marcados como inconsistentes?

  • Verificação completa de dados: Não. Este modo suporta o recurso Filter Conditions.

  • Verificação incremental de dados: Não. A verificação incremental também aceita Filter Conditions. Contudo, tarefas incrementais não suportam esse recurso quando o Database Type de origem é MongoDB.