以下为您介绍同步数据至Hologres解决方案操作失败的常见问题和解决方案。

PolarDB数据源网络联通性测试失败怎么办?

  • 错误现象:添加数据源PolarDB时,网络连通性测试失败。
  • 如何处理:切换到jdbc连接串,同时检查白名单配置,以及独享资源组的VPC配置。

Oracle数据源网络联通性测试失败怎么办?

  • 错误现象:添加数据源Oracle时,网络连通性测试失败。
  • 如何处理:切换到jdbc连接串,同时检查白名单配置,以及独享资源组的VPC配置。

MySQL数据源网络联通性测试失败怎么办?

  • 错误现象:添加数据源MySQL时,网络连通性测试失败。
  • 如何处理:切换到jdbc连接串,同时检查白名单配置,以及独享资源组的VPC配置。

实时任务,运行报错:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX

  • 报错内容:数据同步任务执行时,实时任务运行失败,错误提示为com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX
  • 可能原因:来源数据源PolarDB没有开启binlog。
  • 如何处理:PolarDB开启binlog,详细操作可参见配置数据源(来源为PolarDB)。并进行至少一条数据的变更,同时切换数据集成实时同步开始点位到当前时间。

实时任务,运行报错:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation

  • 报错内容:数据同步任务执行时,实时任务运行失败,错误提示为com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation
  • 可能原因:来源数据源PolarDB没有给进行数据同步的账号开启所需权限,或对接的PolarDB数据库不是主节点。
  • 如何处理:参见配置数据源(来源为PolarDB)的操作授予权限,或者检查PolarDB是否是主节点(读写库),目前实时任务不支持从PolarDB备节点抓取数据。

实时任务,运行报错:com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.

  • 报错内容:数据同步任务执行时,实时任务运行失败,错误提示为com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first
  • 可能原因:来源数据源PolarDB未打开loose_polar_log_bin参数。
  • 如何处理:需要打开loose_polar_log_bin参数,详细操作可参见配置数据源(来源为PolarDB)

离线任务,运行报错:com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.

  • 报错内容:数据同步任务执行时,离线任务运行失败,错误提示为com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns
  • 可能原因:DataWorks的离线引擎插件未升级到最新版本。
  • 如何处理:请提交工单联系技术支持,帮您将离线引擎插件升级到最新版本。

离线任务,运行报错:errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.

  • 报错内容:执行数据同步任务时,离线任务运行失败,错误提示为errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.
  • 可能原因:
    • 数据同步任务中使用的Hologres目标表不存在。
    • 使用数据同步任务同步了数据源表至Hologres的外部表。目前,Hologres Writer不支持写入数据至Hologres外部表。
  • 如何处理:您需要使用Hologres的内部表作为同步任务的目标表。如果Hologres目标表不存在,请在配置数据同步任务时使用自动建表,创建可用的Hologres目标表,详情请参见配置Hologres目标表

实时任务,运行报错:MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.

  • 报错内容:数据同步任务时,实时任务运行失败,错误提示为MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit
  • 可能原因:全量拉取数据过大导致的。
  • 如何处理:
    • 加大并发。
    • 减小BatcSsize
    • Reader端parameter参数中,增加cursorTimeoutInMs配置,可以尝试设置大些,例如3600000s。