Todos os produtos
Search
Central de documentação

Data Transmission Service:Sincronizar dados de uma instância ApsaraDB RDS for MySQL para um banco de dados Doris auto-gerenciado

Última atualização: Oct 12, 2026

O Data Transmission Service (DTS) permite sincronizar dados de um banco de dados MySQL (por exemplo, um banco de dados MySQL auto-gerenciado ou uma instância ApsaraDB RDS for MySQL) para um banco de dados Doris, atendendo a requisitos de análise massiva de dados. Este tópico descreve o procedimento utilizando uma instância ApsaraDB RDS for MySQL como banco de dados de origem e um banco de dados Doris implantado em uma instância ECS como banco de dados de destino.

Pré-requisitos

Crie um banco de dados Doris de destino cuja capacidade de armazenamento seja maior que a capacidade de armazenamento utilizada pela instância ApsaraDB RDS for MySQL de origem.

Nota

Para obter informações sobre as versões compatíveis dos bancos de dados de origem e de destino, consulte Data synchronization scenarios.

Precauções

Categoria

Descrição

Limites do banco de dados de origem

  • Requisitos para os objetos a serem sincronizados:

    • Se todas as tabelas a serem sincronizadas possuírem chave primária ou restrição única:

      Garanta que as colunas que compõem a chave ou restrição contenham valores exclusivos.

    • Se os objetos de sincronização incluírem tabelas sem chave primária nem restrição única:

      Ao configurar a instância de sincronização de dados, selecione Schema Synchronization em Synchronization Types. Em seguida, na etapa Configurations for Databases, Tables, and Columns, defina o Engine da tabela como duplicate. Caso contrário, a instância pode falhar ou ocorrer perda de dados.

      Nota

      Durante a sincronização de schema, o DTS adiciona colunas à tabela de destino. Para mais informações, consulte Additional columns.

  • Na sincronização no nível de tabela com edição de mapeamentos (como mapeamento de nomes de colunas), cada tarefa suporta até 1.000 tabelas. Exceder esse limite causa falha na tarefa com erro. Para corrigir, divida as tabelas em várias tarefas ou configure uma tarefa de sincronização de banco de dados completo.

  • Logs binários:

    • O ApsaraDB RDS for MySQL ativa logs binários por padrão. Certifique-se de que o parâmetro binlog_row_image esteja definido como full. Caso contrário, a pré-verificação falhará e a tarefa de sincronização não poderá ser iniciada. Para instruções, consulte Configure instance parameters.

      Importante
      • Se sua instância de origem for um banco de dados MySQL auto-gerenciado, ative os logs binários e defina binlog_format como row e binlog_row_image como full.

      • Se seu banco de dados MySQL auto-gerenciado for um cluster com dois primários (onde ambos os nós atuam como primário e secundário), ative o parâmetro log_slave_updates para que o DTS capture todos os eventos de log binário. Para instruções, consulte Create an account and configure binary logging for a self-managed MySQL database.

    • Os logs binários locais de uma instância ApsaraDB RDS for MySQL devem ser retidos por pelo menos três dias (sete dias é o recomendado). Para um banco de dados MySQL auto-gerenciado, retenha os logs binários locais por pelo menos sete dias. Caso contrário, o DTS pode não conseguir recuperar os logs binários, causando falha na tarefa. Em casos extremos, isso pode causar inconsistência ou perda de dados. Problemas causados por períodos de retenção de logs binários inferiores aos exigidos pelo DTS não são cobertos pelo SLA do DTS.

      Nota

      Para configurar o retention period dos logs binários locais em uma instância ApsaraDB RDS for MySQL, consulte Automatically delete local logs.

  • Não execute operações DDL que alterem schemas de bancos de dados ou tabelas durante a sincronização de schema ou a sincronização completa. Caso contrário, a tarefa de sincronização falhará.

    Nota

    Durante a sincronização completa, o DTS consulta o banco de dados de origem. Isso cria bloqueios de metadados que podem impedir operações DDL no banco de dados de origem.

  • Dados gerados por alterações que não gravam em logs binários — como dados restaurados de backups físicos ou criados por operações em cascata — não são sincronizados com o banco de dados de destino.

    Nota

    Se isso ocorrer, remova o banco de dados ou tabela afetado dos objetos de sincronização e adicione-o novamente. Faça isso apenas se seu negócio permitir. Para mais informações, consulte Modify synchronization objects.

  • Se o banco de dados de origem for MySQL 8.0.23 ou posterior e contiver colunas ocultas invisíveis, o DTS pode não ler essas colunas, o que pode causar perda de dados.

    Nota

    Execute o comando ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; para tornar a coluna oculta visível. Para mais informações, consulte Invisible Columns.

Outros limites

  • Há suporte apenas para sincronização com tabelas que usam o mecanismo Unique ou Duplicate no banco de dados Doris. Se a tabela de destino usar o mecanismo Duplicate, poderão ocorrer dados duplicados no banco de dados de destino nos seguintes casos. É possível deduplicar os dados com base nas colunas adicionais (_is_deleted, _version e _record_id):

    • A instância de sincronização foi submetida a nova tentativa.

    • A instância de sincronização foi reiniciada.

    • Após a instância de sincronização começar a executar, operações DML são realizadas na mesma linha de dados duas ou mais vezes.

      Nota

      Se a tabela de destino usar o mecanismo Duplicate, o DTS converte instruções UPDATE ou DELETE em instruções INSERT.

  • Ao configurar parâmetros na seção Selected Objects, você só pode definir o parâmetro bucket_count (número de buckets).

    Nota

    O valor do parâmetro bucket_count deve ser um número inteiro positivo. O valor padrão é auto.

  • Durante a sincronização de dados, não crie novos clusters no banco de dados Doris de destino. Caso contrário, a tarefa falhará. Reinicie a instância de sincronização para recuperar a tarefa com falha.

  • Os nomes de bancos de dados e tabelas em um banco de dados Doris devem começar com uma letra. Se um nome de banco de dados ou tabela a ser sincronizado não começar com uma letra, use o recurso de mapeamento de nomes de objetos para modificar o nome.

  • Se o nome de um objeto (banco de dados, tabela ou coluna) a ser sincronizado contiver caracteres chineses, use o recurso de mapeamento de nomes de objetos para modificar o nome (por exemplo, altere para inglês). Caso contrário, a tarefa pode falhar.

  • O DTS não oferece suporte a operações DDL que modificam várias colunas simultaneamente ou operações DDL consecutivas na mesma tabela.

  • Durante a sincronização de dados, não adicione nós BE (Backend) ao banco de dados Doris. Caso contrário, a tarefa falhará. Reinicie a instância de sincronização para recuperar a tarefa com falha.

  • Em um cenário de sincronização de tabela muitos-para-um, onde dados de várias tabelas de origem são sincronizados para uma única tabela de destino, garanta que os schemas de todas as tabelas de origem sejam idênticos. Caso contrário, pode ocorrer inconsistência de dados ou falha na tarefa.

  • No MySQL, o M no tipo VARCHAR(M) indica o comprimento em caracteres. Em um banco de dados Doris, o N no tipo VARCHAR(N) indica o comprimento em bytes. Se você não usar o recurso de sincronização de schema fornecido pelo DTS, recomenda-se definir o comprimento dos campos VARCHAR no banco de dados Doris como quatro vezes o comprimento dos campos VARCHAR no banco de dados MySQL.

  • Ao usar o DMS ou a ferramenta gh-ost para realizar operações DDL online na origem, o DTS sincroniza apenas as instruções DDL originais para o destino. Nesse cenário, o DTS não precisa sincronizar uma grande quantidade de dados de tabelas temporárias, mas isso pode causar bloqueio de tabelas no destino.

    Nota

    O DTS não oferece suporte à sincronização de alterações DDL online feitas com ferramentas como pt-online-schema-change. Se tais alterações existirem na origem, dados podem ser perdidos no destino ou a instância de sincronização pode falhar.

  • Durante a fase de inicialização completa de dados, o DTS utiliza certos recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Recomenda-se avaliar o desempenho dos bancos de dados de origem e de destino antes da sincronização e realizar a sincronização em horários de baixa demanda (por exemplo, quando a carga de CPU dos bancos de dados de origem e de destino estiver abaixo de 30%).

  • A inicialização completa de dados executa operações INSERT concorrentes, o que causa fragmentação nas tabelas do banco de dados de destino. Como resultado, após a conclusão da inicialização completa, o espaço de armazenamento das tabelas no banco de dados de destino será maior que o da instância de origem.

  • Durante a sincronização de dados, não use ferramentas como pt-online-schema-change para realizar alterações DDL online nos objetos a serem sincronizados no banco de dados de origem. Caso contrário, a tarefa falhará.

  • Durante a sincronização do DTS, se dados externos ao DTS forem gravados no banco de dados de destino, os dados nos bancos de origem e destino podem ficar inconsistentes.

  • Se sua instância ApsaraDB RDS for MySQL tiver Always-Encrypted ativado, a sincronização completa de dados não é suportada.

    Nota

    Instâncias ApsaraDB RDS for MySQL com Transparent Data Encryption (TDE) ativado suportam sincronização de schema, sincronização completa de dados e sincronização incremental de dados.

  • Durante a sincronização incremental, o DTS emprega uma estratégia de lote para reduzir a carga no destino. Por padrão, o DTS realiza uma operação de gravação para um único objeto de sincronização no máximo uma vez a cada 5 segundos. Consequentemente, as tarefas de sincronização do DTS podem apresentar uma latência de sincronização básica, geralmente dentro de 10 segundos. Para reduzir essa latência básica, modifique o parâmetro selectdb.reservoir.timeout.milliseconds da instância DTS no console para ajustar o intervalo de lote; o intervalo permitido é [1000, 10000] milissegundos.

    Nota

    Observe que um intervalo de lote menor aumenta a frequência de gravação do DTS, o que pode elevar a carga e o tempo de resposta de gravação (RT) no destino, potencialmente levando ao aumento da latência de sincronização; portanto, faça ajustes com base nas condições de carga do destino.

  • Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros.

    Nota

    Apenas parâmetros da tarefa DTS são modificados — não parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modify instance parameters.

Casos especiais

  • Para um banco de dados MySQL de origem auto-gerenciado:

    • Se ocorrer um failover primário/secundário no banco de dados de origem durante a sincronização, a tarefa falhará.

    • O DTS calcula a latência comparando o timestamp do último registro sincronizado com a hora atual. Se nenhuma operação DML for executada por um longo período no banco de dados de origem, o relatório de latência pode se tornar impreciso. Se a latência parecer muito alta, execute uma operação DML no banco de dados de origem para atualizar a latência.

      Nota

      Se você selecionar um banco de dados completo para sincronização, crie uma tabela de heartbeat. Atualize ou grave nesta tabela a cada segundo.

    • O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS test no banco de dados de origem para avançar o deslocamento do log binário.

    • Se seu banco de dados de origem for Amazon Aurora MySQL ou outra instância MySQL em cluster, garanta que o nome de domínio ou endereço IP usado na configuração da tarefa — e sua resolução DNS — sempre aponte para um nó de leitura/gravação (RW). Caso contrário, a sincronização pode falhar.

  • Para um banco de dados de origem ApsaraDB RDS for MySQL:

    • Instâncias somente leitura — como instâncias somente leitura do ApsaraDB RDS for MySQL 5.6 — que não registram logs de transações não podem servir como bancos de dados de origem.

    • O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS test no banco de dados de origem para avançar o deslocamento do log binário.

Faturamento

Tipo de sincronização

Preço

Sincronização de schema e sincronização completa de dados

Gratuito.

Sincronização incremental de dados

Pago. Para mais informações, consulte Billing overview.

Operações SQL suportadas para sincronização incremental

Tipo de operação

Instrução SQL

DML

INSERT, UPDATE, DELETE

DDL

  • ADD COLUMN

  • MODIFY COLUMN

  • CHANGE COLUMN

  • DROP COLUMN, DROP TABLE

  • TRUNCATE TABLE

  • RENAME TABLE

    Importante

    A operação RENAME TABLE pode causar inconsistência de dados. Por exemplo, se o objeto de sincronização for uma única tabela e você renomear essa tabela na instância de origem durante a sincronização, os dados dessa tabela não serão sincronizados com o banco de dados de destino. Para evitar esse problema, selecione todo o banco de dados ao qual a tabela pertence como objeto de sincronização. Certifique-se de que os bancos de dados aos quais a tabela pertence antes e depois da operação RENAME TABLE estejam incluídos nos objetos de sincronização.

Permissões necessárias para contas de banco de dados

Banco de dados

Permissões necessárias

Referências para criar e conceder permissões a contas

Instância ApsaraDB RDS for MySQL de origem

Permissões de leitura e gravação nos objetos a serem sincronizados

Create an account e Modify account permissions

Banco de dados Doris de destino

A permissão de acesso ao banco de dados (Usage_priv) e as permissões de leitura e gravação (Select_priv, Load_priv, Alter_priv, Create_priv e Drop_priv)

Authentication and Authorization

Nota

Se a conta do banco de dados de origem não foi criada e autorizada no console ApsaraDB RDS for MySQL, certifique-se de que a conta tenha as permissões REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW e SELECT.

Procedimento

  1. Acesse a página da lista de tarefas de sincronização da região de destino. Você pode usar um dos dois métodos a seguir:

    Pelo console do DTS

    1. Faça login no console do Data Transmission Service (DTS).

    2. No painel de navegação à esquerda, clique em Data Synchronization.

    3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

    Pelo console do DMS

    Nota

    As operações reais podem variar com base no modo e layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

    1. Faça login no Data Management (DMS).

    2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

    3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

  2. Clique em Create Task para acessar a página de configuração da tarefa.

  3. Configure os bancos de dados de origem e de destino.

    Categoria

    Parâmetro

    Descrição

    N/A

    Task Name

    O DTS gera automaticamente um nome para a tarefa. Recomenda-se especificar um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.

    Source Database

    Select Existing Connection

    • Para usar uma instância de banco de dados que é added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente.

      Nota

      No console do DMS, este item de configuração é denominado Select a DMS database instance..

    • Se você não adicionou a instância de banco de dados ao sistema, ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.

    Database Type

    Selecione MySQL.

    Access Method

    Selecione Alibaba Cloud Instance.

    Instance Region

    Selecione a região da instância ApsaraDB RDS for MySQL de origem.

    Replicate Data Across Alibaba Cloud Accounts

    Este exemplo usa uma instância de banco de dados que pertence à conta Alibaba Cloud atual. Selecione No.

    RDS Instance ID

    Selecione o ID da instância ApsaraDB RDS for MySQL de origem.

    Database Account

    Insira a conta do banco de dados da instância ApsaraDB RDS for MySQL de origem. Para informações sobre as permissões necessárias, consulte Permissions required for database accounts.

    Database Password

    Insira a senha correspondente à conta do banco de dados.

    Encryption

    Selecione Non-encrypted ou SSL-encrypted conforme necessário. Se selecionar SSL-encrypted, você deve ativar a criptografia SSL para a instância RDS for MySQL antecipadamente. Para mais informações, consulte Use a cloud certificate to quickly enable SSL encryption.

    Destination Database

    Select Existing Connection

    • Para usar uma instância de banco de dados que é added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente.

      Nota

      No console do DMS, este item de configuração é denominado Select a DMS database instance..

    • Se você não adicionou a instância de banco de dados ao sistema, ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.

    Database Type

    Selecione Doris.

    Access Method

    Selecione um valor com base no local onde o banco de dados de destino está implantado. Neste exemplo, Self-managed Database on ECS.

    Nota

    Se você usar outro método para conectar um banco de dados auto-gerenciado ao DTS, deverá concluir os preparativos correspondentes. Para mais informações, consulte Preparations Overview.

    Instance Region

    Selecione a região onde o banco de dados Doris de destino reside.

    ECS Instance ID

    Selecione o ID da instância ECS onde o banco de dados Doris de destino reside.

    Nota

    Se o banco de dados Doris de destino estiver implantado em várias instâncias ECS (por exemplo, nós BE ou FE implantados em outras instâncias ECS), você deve adicionar manualmente os blocos CIDR do DTS ao grupo de segurança de cada uma das outras instâncias ECS onde os nós estão implantados.

    Port Number

    Insira a porta de service do banco de dados Doris de destino. A porta padrão é 9030.

    Database Account

    Insira a conta do banco de dados Doris de destino. Para informações sobre as permissões necessárias, consulte Permissions required for database accounts.

    Database Password

    Insira a senha correspondente à conta do banco de dados.

  4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers, clique em Test Connectivity.

    Nota

    Certifique-se de que os blocos CIDR de endereços IP dos servidores DTS foram adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

  5. Configure os objetos da tarefa.

    1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro

      Descrição

      Synchronization Types

      Incremental Data Synchronization está selecionado. Por padrão, você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS realiza uma sincronização completa de dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como dados de base para a subsequente sincronização incremental de dados.

      Importante

      Os tipos de dados são convertidos quando dados MySQL são sincronizados para Doris. Se você não selecionar Schema Synchronization, deverá criar tabelas de modelo Unique ou Duplicate com o schema correspondente no banco de dados Doris de destino antecipadamente. Para mais informações, consulte Data type mappings, Additional columns e Unique key model.

      Processing Mode of Conflicting Tables

      • Precheck and Report Errors: O DTS verifica se existem tabelas com o mesmo nome no banco de dados de destino. Se houver conflito, o DTS relata um erro durante a pré-verificação e não inicia a tarefa.

        Nota

        Se não for prático excluir ou renomear a tabela conflitante, você pode mapear a tabela para um nome diferente. Para mais informações, consulte Map object names.

      • Ignore Errors and Proceed: Ignora a verificação de tabelas com o mesmo nome no banco de dados de destino.

        Aviso

        Se você selecionar Ignore Errors and Proceed, pode ocorrer inconsistência de dados. Por exemplo:

        • Se os schemas das tabelas forem consistentes, os registros de destino com a mesma chave primária ou única que os registros de origem serão sobrescritos.

        • Se os schemas das tabelas forem inconsistentes, a tarefa pode falhar ou sincronizar apenas parcialmente os dados. Prossiga com cautela.

      Capitalization of Object Names in Destination Instance

      Você pode configurar a política de diferenciação de maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados com a instância de destino. Por padrão, a DTS default policy está selecionada. Você também pode optar por usar as políticas padrão dos bancos de dados de origem e de destino. Para mais informações, consulte Case sensitivity policy for destination object names.

      Source Objects

      Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em 向右 para movê-lo para a caixa Selected Objects.

      Nota

      A granularidade para selecionar objetos a serem sincronizados é banco de dados ou tabela.

      Selected Objects

      • Para alterar o nome de um objeto de sincronização na instância de destino, clique com o botão direito do mouse no objeto na caixa Selected Objects. Para mais informações, consulte Map object names.

      • Se você selecionar Schema Synchronization em Synchronization Types, selecionar tabelas como objetos de sincronização e precisar definir o número de buckets (parâmetro bucket_count), clique com o botão direito do mouse na tabela na caixa Selected Objects. Na seção Parameter Settings, defina Enable Parameter Settings como Yes, especifique um Value conforme suas necessidades e clique em OK.

      Nota
      • Para selecionar as operações SQL incrementais a serem sincronizadas no nível de banco de dados ou tabela, clique com o botão direito do mouse no objeto na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida.

      • Para filtrar dados usando uma cláusula WHERE, clique com o botão direito do mouse na tabela na caixa Selected Objects e defina as condições de filtro na caixa de diálogo exibida. Para mais informações, consulte Configure filter conditions.

      • Se você usar o recurso de mapeamento de nomes de objetos, outros objetos que dependem do objeto renomeado podem falhar na sincronização.

    2. Clique em Next: Advanced Settings para configurar parâmetros avançados.

      Parâmetro

      Descrição

      Dedicated Cluster for Task Scheduling

      Por padrão, o DTS agenda tarefas em um cluster compartilhado, e você não precisa selecionar um cluster. Para um desempenho mais estável, você pode adquirir um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.

      Retry Time for Failed Connections

      Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e iniciará imediatamente uma nova tentativa de conexão. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomenda-se definir a duração como 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará.

      Nota
      • Se você tiver várias instâncias DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos será usada para ambas.

      • Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomenda-se personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.

      Retry Time for Other Issues

      Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução DDL ou DML), o DTS relatará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão de nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomenda-se definir como 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará.

      Importante

      O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.

      Enable Throttling for Full Data Synchronization

      Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e de destino, você pode definir um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s).

      Nota
      • Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization.

      • Você também pode adjust the full synchronization rate após a instância de sincronização estar em execução.

      Enable Throttling for Incremental Data Synchronization

      Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).

      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks

      Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância DTS está em execução.

      • Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância DTS relate um atraso.

      • No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.

      Environment Tag

      Você pode selecionar uma tag de ambiente para identificar a instância com base nos requisitos do seu negócio. Neste exemplo, nenhuma tag de ambiente é selecionada.

      Configure ETL

      Escolha se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte What is ETL? Valores válidos:

      Monitoring and Alerting

      Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada a um contato de alerta.

    3. Opcional: Após concluir as configurações anteriores, clique em Next: Configure Database and Table Fields para definir a Primary Key Column, a Distribution Key e o Engine para as tabelas de destino.

      Nota
      • Esta etapa está disponível apenas se você selecionar Schema Synchronization em Synchronization Types ao configurar os objetos de sincronização. Você pode definir Definition Status como All para modificar as configurações.

      • Você pode selecionar várias colunas para formar uma Primary Key Column composta. Você também deve selecionar uma ou mais colunas da Primary Key Column como Distribution Key.

      • Para uma tabela sem chave primária ou restrição única, você deve selecionar duplicate para o Engine. Caso contrário, a tarefa pode falhar ou ocorrer perda de dados.

  6. Salve a tarefa e execute uma pré-verificação.

    • Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão.

    • Se você terminou de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

    Nota
    • Antes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só pode começar após todos os itens de pré-verificação serem aprovados.

    • Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme solicitado e execute a pré-verificação novamente.

    • Se a pré-verificação retornar um aviso:

      • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

      • Para itens de verificação que podem ser ignorados, você pode clicar em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se você optar por ocultar o item de aviso, isso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

  7. Adquira a instância.

    1. Quando a Success Rate for 100%, clique em Next: Purchase Instance.

    2. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

      Categoria

      Parâmetro

      Descrição

      New Instance Class

      Método de faturamento

      • Assinatura: Você paga ao criar a instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto.

      • Pagamento conforme o uso: Cobrado por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.

      Configuração do grupo de recursos

      O grupo de recursos ao qual a instância pertence. O padrão é default resource group. Para mais informações, consulte What is Resource Management?.

      Especificação de link

      O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócio. Para mais informações, consulte Data synchronization link specifications.

      Duração da assinatura

      No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Você pode escolher uma assinatura mensal de 1 a 9 meses, ou uma assinatura anual de 1, 2, 3 ou 5 anos.

      Nota

      Esta opção está disponível apenas quando o método de faturamento é Subscription.

    3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

    4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Visualize o progresso da tarefa na página Data Synchronization.

Mapeamentos de tipos de dados

Categoria

Tipo de dados MySQL

Tipo de dados Doris

Numérico

TINYINT

TINYINT

TINYINT UNSIGNED

SMALLINT

SMALLINT

SMALLINT

SMALLINT UNSIGNED

INT

MEDIUMINT

INT

MEDIUMINT UNSIGNED

BIGINT

INT

INT

INT UNSIGNED

BIGINT

BIGINT

BIGINT

BIGINT UNSIGNED

LARGEINT

BIT(M)

INT

Decimal

Decimal

Nota

zerofill não é suportado.

Numeric

Decimal

Float

Float

Double

DOUBLE

  • BOOL

  • BOOLEAN

BOOLEAN

DATA E HORA

DATE

DATEV2

DATETIME[(fsp)]

DATETIMEV2

Timestamp[(fsp)]

DATETIMEV2

Time[(fsp)]

VARCHAR

YEAR[(4)]

INT

STRING

  • CHAR

  • VARCHAR

VARCHAR

Importante

Para evitar perda de dados, dados CHAR e VARCHAR(n) são convertidos para VARCHAR(4*n) após serem sincronizados com o Doris.

  • Se o comprimento dos dados não for especificado, o valor padrão do Doris VARCHAR(65533) será usado.

  • Se o comprimento dos dados exceder 65533, os dados serão convertidos para STRING após serem sincronizados com o Doris.

  • BINARY

  • VARBINARY

STRING

  • TINYTEXT

  • TEXT

  • MEDIUMTEXT

  • LONGTEXT

STRING

  • TINYBLOB

  • BLOB

  • MEDIUMBOLB

  • LONGBLOB

STRING

ENUM

STRING

SET

STRING

JSON

STRING

Colunas adicionais

Nota

Esta tabela lista as colunas adicionais que o DTS adiciona automaticamente ou que você deve adicionar manualmente à tabela de modelo duplicate de destino.

Parâmetro

Tipo

Padrão

Descrição

_is_deleted

Int

0

Indica se a linha foi excluída.

  • Insert: O valor é 0.

  • Update: O valor é 0.

  • Delete: O valor é 1.

_version

Bigint

0

  • Para dados de uma sincronização completa, o valor é 0.

  • Para dados de uma sincronização incremental, o valor é o timestamp de commit (em segundos) da alteração proveniente do binlog do banco de dados de origem.

_record_id

Bigint

0

  • Para dados de uma sincronização completa, o valor é 0.

  • Para dados de uma sincronização incremental, o valor é o ID do registro proveniente do log incremental. Este ID identifica exclusivamente a entrada de log.

    Nota

    O ID é exclusivo e aumenta monotonicamente.