实时同步任务支持哪些数据源?

实时同步支持的数据源请参考文档:实时同步支持的数据源

实时同步任务为什么不建议使用公网?

实时同步任务使用公网时,会存在以下风险:
  • 网络可能不稳定,丢包等时常发生,影响同步性能。
  • 安全性不高。

实时同步字段格式问题

数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时,会在同步的目标端添加5个附加列,以进行元数据管理、排序去重等操作。详情请参见实时同步字段格式

为什么实时同步任务延迟较大?

实时同步任务的延迟比较大时,可能原因为:
  • 一般源端变更数据量少或过多会导致延迟。
  • 网络问题会导致延迟,实时同步任务不建议使用公网。
  • 起始位点比较早,追平数据要一定时间。

Kafka实时同步报错: Startup mode for the consumer set to timestampOffset, but no begin timestamp was specified.

请重置启动位点。 实时同步报错-kafka

MySQL实时同步报错:Cannot replicate because the master purged required binary logs.

MySQL实时同步报错: Cannot replicate because the master purged required binary logs. Replicate the missing transactions from elsewhere, or provision a new slave from backup.时,可能是因为在MySQL未找到消费位点的binlog记录,请检查您MySQL的binlog保留时间,同步任务启动时请将该位点将配置在这个时间范围内。
说明 如果您订阅不到binlog,可以尝试重置位点到当前时间。

MySQL实时同步报错:MysqlBinlogReaderException

MySQL实时同步报错:MysqlBinlogReaderException: The database you are currently syncing is the standby database, but the current value of log_slave_updates is OFF, you need to enable the binlog log update of the standby database first. 时,可能是因为备库没有开启binlog,如果您要同步备库,需要做备库级联开启binlog,可以找DBA寻求帮助。

开启binlog的操作详情可参见步骤3:开启MySQL的Binlog

MySQL实时同步报错:show master status' has an error!

MySQL实时同步报错:show master status' has an error!,报错详情为Caused by: java.io.IOException: message=Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation, with command: show master status时,可能是因为数据源没有开启对应数据库的权限。

数据源配置账号需要拥有数据库的SELECT、REPLICATION SLAVE、REPLICATION CLIENT权限。给数据源添加数据库对应权限的操作详情可参见步骤2:创建账号并配置权限

MySQL实时同步报错:parse.exception.PositionNotFoundException: can't find start position forxxx

同步未找到位点,请重置位点。

实时同步MySQL数据源的数据时,一开始读到数据,一段时间后无法读到数据,怎么处理?

  1. 可在数据库执行以下命令,查看当前这个数据库实例正在写入的binlog文件。
    show master status 
  2. 对比日志中读到的binlog文件,在日志中搜journalName=mysql-bin.000001,position=50,确认是否有数据写入数据库。
  3. 如果有数据在写入,但是binlog却没有往前推进,请联系DBA处理。

实时同步数据时,如何处理TRUNCATE?

实时同步支持TRUNCATE的,在增全量合并的时候会生效。如果选择忽略TRUNCATE,可能会导致进行实时数据同步时出现多的数据。

如何提供实时同步的速度和性能?

如果同步写入速度较慢,可以适当增加写入端并发数,调整JVM参数,JVM参数与同步库数量无关,和变更频率有关。在当前资源组机器允许情况下,内存给的越大,Full GC频率会越小,实时同步性能相应也会越高。 实时同步01 实时同步2

实时同步Hologres报错:permission denied for database xxx

实时同步Hologres数据时,需要在Hologres给当前操作用户Hologres实例的admin权限(需要有创建schema的权限),操作详情可参见Hologres权限模型概述

实时同步是否支持在界面运行?

实时同步不支持在DataWorks的界面上直接运行,您需要在配置好实时同步任务后,提交并发布实时同步节点后,进入生产环境运行该节点。详情请参见创建、编辑、提交和运维实时同步节点