DataWorks:Sincronização completa e incremental

Visão geral

• Why does decimal(7,4) is converted into numeric(38,18) when I run a synchronization task to synchronize data from MySQL to Hologres?

• Can I run a one-click real-time synchronization task to synchronize data from tables in sharded databases to the same MaxCompute table?

• How do I prevent an error from being reported after fields in a source table specified in a one-click real-time full and incremental synchronization task are changed?

• What do I do if my PolarDB data source fails the network connectivity test?

• What do I do if my OceanBase data source fails the network connectivity test?

• What do I do if my MySQL data source fails the network connectivity test?

• When I configure a real-time full and incremental synchronization task used to synchronize data to MaxCompute, the MaxCompute data source that I want to use is dimmed. What do I do?

• When the real-time synchronization subtask generated by my synchronization task used to synchronize data from a PolarDB data source is run, the following error message is returned: com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX. What do I do?

• When the real-time synchronization subtask generated by my synchronization task used to synchronize data from a PolarDB data source is run, the following error message is returned: com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation. What do I do?

• When the real-time synchronization subtask generated by my synchronization task used to synchronize data from a PolarDB data source is run, the following error message is returned: com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first. What do I do?

• [When the batch synchronization subtask generated by my synchronization task is run, the following error message is returned: com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns. What do I do?](#section_ta0_xx2_icz)

• When the batch synchronization subtask generated by my synchronization task used to synchronize data to Hologres is run, the following error message is returned: errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist. What do I do?

• Does the system retain information of a source table, such as not-null properties and the default values of fields of the source table, in the mapped destination table that is automatically created?

• How do I perform a full synchronization for an existing sync task?

Por que decimal(7,4) é convertido para numeric(38,18) ao executar uma tarefa de sincronização do MySQL para o Hologres?

Para evitar a perda de precisão dos dados, o Data Integration aumenta automaticamente a precisão durante a sincronização. O Data Integration permite modifique instruções de criação de tabelas. Também é possível configure regras padrão de conversão de tipos de dados para sincronização com base nos requisitos do seu negócio ao configure uma tarefa de sincronização. Para obter mais informações, consulte Create a real-time synchronization solution to synchronize data to Hologres.

É possível usar uma tarefa de sincronização completa e incremental em tempo real com um clique em para sincronizar dados de tabelas em bancos de dados fragmentados para a mesma tabela do MaxCompute?

Não. Uma tarefa de sincronização completa e incremental em tempo real com um clique em não pode ser usada para sincronizar dados de tabelas em bancos de dados fragmentados para a mesma tabela do MaxCompute. Para essa sincronização, utilize uma tarefa específica de sincronização de tabelas em bancos de dados fragmentados para o MaxCompute. Para obter mais informações, consulte Synchronize data from tables in sharded MySQL databases to MaxCompute.

Como evitar que um erro seja reportado após a alteração de campos em uma tabela de origem especificada em uma tarefa de sincronização completa e incremental em tempo real com um clique em?

Ao configure a tarefa de sincronização, configure regras de processamento para mensagens DDL geradas por operações realizadas na source. As regras disponíveis incluem processamento normal, ignorar e reportar erro. Para obter mais informações, consulte a seção Configure rules to process DDL or DML messages and configure synchronization rules no tópico Configurar uma tarefa de sincronização no DataWorks.

O que fazer se minha fonte de dados PolarDB falhar no teste de conectividade de rede?

• Descrição do problema: ao adicionar uma fonte de dados PolarDB e testar a conectividade de rede, o teste falha.

• Solução: defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração do VPC do seu grupo de recursos exclusivo.

O que fazer se minha fonte de dados Oracle falhar no teste de conectividade de rede?

• Descrição do problema: ao adicionar uma fonte de dados Oracle e testar a conectividade de rede, o teste falha.

• Solução: defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração do VPC do seu grupo de recursos exclusivo.

O que fazer se minha fonte de dados OceanBase falhar no teste de conectividade de rede?

• Descrição do problema: ao adicionar uma fonte de dados OceanBase e testar a conectividade de rede, o teste falha.

• Solução: defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração do VPC do seu grupo de recursos exclusivo.

O que fazer se minha fonte de dados MySQL falhar no teste de conectividade de rede?

• Descrição do problema: ao adicionar uma fonte de dados MySQL e testar a conectividade de rede, o teste falha.

• Solução: defina o parâmetro Data Source Type como Connection String Mode e verifique a configuração da lista de permissões da fonte de dados e a configuração do VPC do seu grupo de recursos exclusivo.

Ao configure uma tarefa de sincronização completa e incremental em tempo real para o MaxCompute, a fonte de dados MaxCompute que desejo usar aparece esmaecida. O que fazer?

A fonte de dados MaxCompute aparece esmaecida porque foi adicionada manualmente ao DataWorks, e não gerada automaticamente ao associar um projeto MaxCompute ao workspace como instância de mecanismo de computação. Para tarefas de sincronização completa e incremental em tempo real destinadas ao MaxCompute, selecione uma fonte de dados MaxCompute gerada ao associar um mecanismo de computação MaxCompute.

Ao execute a subtarefa de sincronização em tempo real gerada por minha tarefa de sincronização de dados de uma fonte PolarDB, a seguinte mensagem de erro é retornada: com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX. O que fazer?

• Descrição do problema: a subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro: com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX.

• Causa: o recurso de log binário está desabilitado na fonte de dados PolarDB.

• Solução: ative o recurso de log binário na fonte de dados PolarDB. Para obter mais informações, consulte PolarDB data source. Além disso, altere um ou mais registros de dados na source e modifique o offset inicial da subtarefa de sincronização em tempo real para o horário atual.

Ao execute a subtarefa de sincronização em tempo real gerada por minha tarefa de sincronização de dados de uma fonte PolarDB, a seguinte mensagem de erro é retornada: com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation. O que fazer?

• Descrição do problema: a subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro: com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation.

• Causa: a conta usada para sincronizar dados não tem autorização para acessar a fonte de dados PolarDB, ou o banco de dados PolarDB conectado não está implantado no nó primário.

• Solução: autorize a conta a acessar a fonte de dados PolarDB ou verifique se o banco de dados PolarDB conectado está implantado no nó primário. Uma tarefa de sincronização em tempo real não consegue sincronizar dados de nós somente leitura em uma fonte de dados PolarDB. Para obter informações sobre como autorizar uma conta a acessar uma fonte de dados PolarDB, consulte PolarDB data source.

Ao execute a subtarefa de sincronização em tempo real gerada por minha tarefa de sincronização de dados de uma fonte PolarDB, a seguinte mensagem de erro é retornada: com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first. O que fazer?

• Descrição do problema: a subtarefa de sincronização em tempo real gerada pela tarefa de sincronização de dados de uma fonte PolarDB falha e retorna a seguinte mensagem de erro: com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.

• Causa: o parâmetro loose_polar_log_bin está defina como off na fonte de dados PolarDB.

• Solução: defina o parâmetro loose_polar_log_bin como on. Para obter mais informações, consulte Enable binary logging.

Ao execute a subtarefa de sincronização em lote gerada por minha tarefa de sincronização, a seguinte mensagem de erro é retornada: com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns. O que fazer?

• Descrição do problema: a subtarefa de sincronização em lote gerada pela tarefa de sincronização falha e retorna a seguinte mensagem de erro: com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.

• Causa: o plug-in do mecanismo DataWorks usado para sincronização em lote não foi atualize para a versão mais recente.

• Solução: Abra um ticket para entrar em contato com o suporte técnico e solicitar a atualização do plug-in.

Ao execute a subtarefa de sincronização em lote gerada por minha tarefa de sincronização de dados para o Hologres, a seguinte mensagem de erro é retornada: errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist. O que fazer?

• Descrição do problema: a subtarefa de sincronização em lote gerada pela tarefa de sincronização de dados para o Hologres falha e retorna a seguinte mensagem de erro: errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.

• Causas:

  • A tabela de destino no Hologres usada para sincronização de dados não existe.

  • A subtarefa de sincronização em lote gerada pela tarefa sincroniza dados de uma tabela de source para uma tabela estrangeira do Hologres. O Hologres Writer não pode ser usado para sincronizar dados para tabelas estrangeiras do Hologres.

• Solução: use uma tabela interna do Hologres como tabela de destino para a sincronização de dados. Caso a tabela de destino não exista, modifique as configurações da tarefa de sincronização e defina Table Generation Method como Create Table para que o sistema crie automaticamente a tabela de destino no Hologres. Para obter mais informações, consulte a seção Step 4: Configure a destination table no tópico Criar uma solução de sincronização em tempo real para sincronizar dados no Hologres.

O sistema retém informações da tabela de source, como propriedades de não nulidade e valores padrão dos campos, na tabela de destino mapeada criada automaticamente?

Ao crie a tabela de destino, o sistema retém apenas informações como nomes de campos, tipos de dados e observações da tabela de source mapeada. Valores padrão de campos e restrições — como restrições de não nulidade e restrições de índice — não são preservados na tabela de destino.

Como realizar uma sincronização completa para uma tarefa de sincronização existente?

Acesse o DataWorks, localize a tarefa de sincronização existente na lista de tarefas e clique em More > Rerun na coluna Actions.