Este tópico responde a perguntas frequentes sobre sincronização completa e incremental.
Visão geral
O que fazer se minha fonte de dados PolarDB falhar no teste de conectividade de rede?
O que fazer se minha fonte de dados OceanBase falhar no teste de conectividade de rede?
O que fazer se minha fonte de dados MySQL falhar no teste de conectividade de rede?
Como executar uma sincronização completa para uma tarefa de sincronização existente?
Por que decimal(7,4) é convertido em numeric(38,18) ao executar uma tarefa de sincronização de dados do MySQL para o Hologres?
Para evitar perda de precisão, o Data Integration aumenta automaticamente a precisão dos dados durante a sincronização. O Data Integration permite modificar as instruções de criação de tabela. Além disso, ao configurar uma tarefa de sincronização, defina regras padrão de conversão de tipos de dados conforme as necessidades do seu negócio. Para mais informações, consulte Criar uma solução de sincronização em tempo real para sincronizar dados com o Hologres.
É possível usar uma tarefa de sincronização em tempo real com um clique em para sincronizar dados de tabelas em bancos de dados fragmentados para a mesma tabela do MaxCompute?
Não. Uma tarefa de sincronização completa e incremental em tempo real com um clique em não suporta a sincronização de dados de tabelas em bancos de dados fragmentados para a mesma tabela do MaxCompute. Caso precise realizar essa operação, utilize uma tarefa de sincronização específica para tabelas em bancos de dados fragmentados com destino ao MaxCompute. Para mais detalhes, consulte Sincronizar dados de tabelas em bancos de dados MySQL fragmentados para o MaxCompute.
Como evitar erros após alterações nos campos de uma tabela source especificada em uma tarefa de sincronização completa e incremental em tempo real com um clique em?
Durante a configuração da tarefa de sincronização, defina regras de processamento para mensagens DDL geradas por operações na source. As opções incluem processamento normal, ignorar ou reportar erro. Para mais informações, consulte a seção Configurar regras para processar mensagens DDL ou DML e configurar regras de sincronização no tópico Configurar uma tarefa de sincronização no Data Integration.
O que fazer se minha fonte de dados PolarDB falhar no teste de conectividade de rede?
Descrição do problema: Ao adicionar uma fonte de dados PolarDB e testar sua conectividade de rede, o teste falha.
Solução: Defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados, bem como a configuração da Virtual Private Cloud (VPC) do seu grupo de recursos exclusivo.
O que fazer se minha fonte de dados Oracle falhar no teste de conectividade de rede?
Descrição do problema: Ao adicionar uma fonte de dados Oracle e testar sua conectividade de rede, o teste falha.
Solução: Defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração da VPC do seu grupo de recursos exclusivo.
O que fazer se minha fonte de dados OceanBase falhar no teste de conectividade de rede?
Descrição do problema: Ao adicionar uma fonte de dados OceanBase e testar sua conectividade de rede, o teste falha.
Solução: Defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração da VPC do seu grupo de recursos exclusivo.
O que fazer se minha fonte de dados MySQL falhar no teste de conectividade de rede?
Descrição do problema: Ao adicionar uma fonte de dados MySQL e testar sua conectividade de rede, o teste falha.
Solução: Defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração da VPC do seu grupo de recursos exclusivo.
Ao configurar uma tarefa de sincronização completa e incremental em tempo real para o MaxCompute, a fonte de dados MaxCompute desejada aparece esmaecida. Como proceder?
A fonte de dados MaxCompute aparece esmaecida porque foi adicionada manualmente ao DataWorks, e não gerada automaticamente ao associar um projeto MaxCompute ao workspace como instância de mecanismo de computação. Para tarefas de sincronização completa e incremental em tempo real com destino ao MaxCompute, selecione uma fonte de dados criada durante a associação de um mecanismo de computação MaxCompute.
A subtarefa de sincronização em tempo real gerada pela minha tarefa de sincronização de dados de uma fonte PolarDB falha com a mensagem: com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX. O que fazer?
Descrição do problema: A subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro:
com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX.Causa: O recurso de log binário está desativado na fonte de dados PolarDB.
Solução: Ative o recurso de log binário na fonte de dados PolarDB. Para mais informações, consulte Fonte de dados PolarDB. Além disso, altere um ou mais registros de dados na source e ajuste o deslocamento inicial da subtarefa de sincronização em tempo real para o horário atual.
A subtarefa de sincronização em tempo real gerada pela minha tarefa de sincronização de dados de uma fonte PolarDB falha com a mensagem: com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation. O que fazer?
Descrição do problema: A subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro:
com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation.Causa: A conta usada para sincronizar dados não tem autorização para acessar a fonte de dados PolarDB, ou o banco de dados PolarDB conectado não está implantado no nó primário.
Solução: Autorize a conta a acessar a fonte de dados PolarDB ou verifique se o banco de dados PolarDB conectado está implantado no nó primário. Tarefas de sincronização em tempo real não conseguem sincronizar dados de nós somente leitura em uma fonte de dados PolarDB. Para saber como autorizar uma conta a acessar uma fonte de dados PolarDB, consulte Fonte de dados PolarDB.
A subtarefa de sincronização em tempo real gerada pela minha tarefa de sincronização de dados de uma fonte PolarDB falha com a mensagem: com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first. O que fazer?
Descrição do problema: A subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro:
com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.Causa: O parâmetro loose_polar_log_bin está definido como off na fonte de dados PolarDB.
Solução: Defina o parâmetro loose_polar_log_bin como on. Para mais informações, consulte Ativar log binário.
A subtarefa de sincronização em lote gerada pela minha tarefa de sincronização falha com a mensagem: com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns. O que fazer?
Descrição do problema: A subtarefa de sincronização em lote gerada pela tarefa de sincronização falha e retorna a seguinte mensagem de erro:
com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.Causa: O plug-in do mecanismo do DataWorks usado para sincronização em lote não está atualizado para a versão mais recente.
Solução: Envie um ticket para entrar em contato com o suporte técnico e solicitar a atualização do plug-in.
A subtarefa de sincronização em lote gerada pela minha tarefa de sincronização para o Hologres falha com a mensagem: errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist. O que fazer?
Descrição do problema: A subtarefa de sincronização em lote gerada pela tarefa de sincronização para o Hologres falha e retorna a seguinte mensagem de erro:
errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.-
Causas:
A tabela de destino Hologres usada para sincronização de dados não existe.
A subtarefa de sincronização em lote tenta sincronizar dados de uma tabela source para uma tabela externa do Hologres. O Hologres Writer não suporta sincronização para tabelas externas do Hologres.
Solução: Utilize uma tabela interna do Hologres como destino da sincronização. Se a tabela de destino não existir, modifique as configurações da tarefa de sincronização e defina Table Generation Method como Create Table para permitir que o sistema crie automaticamente a tabela de destino no Hologres. Para mais informações, consulte a seção Etapa 4: Configurar uma tabela de destino no tópico Criar uma solução de sincronização em tempo real para sincronizar dados com o Hologres.
O sistema mantém informações da tabela source, como propriedades não nulas e valores padrão dos campos, na tabela de destino mapeada criada automaticamente?
Ao criar a tabela de destino, o sistema preserva apenas informações como nomes de campos, tipos de dados e comentários da tabela source mapeada. Valores padrão de campos e restrições, como constraints NOT NULL e restrições de índices da tabela source, não são mantidos.
Como executar uma sincronização completa para uma tarefa de sincronização existente?
Acesse o Data Integration, localize sua tarefa na lista de tarefas de sincronização e clique em More > Rerun na coluna Actions.