全部產品
Search
文件中心

DataWorks:全增量同步處理任務常見問題

更新時間:Jan 21, 2025

本文為您介紹全增量同步處理任務的常見問題及解決方案。

文檔概述

MySQL一鍵同步至Hologres中decimal(7,4)資料類型轉換成了numeric(38,18),正常嗎?

為了避免資料精度丟失,同步時預設擴大數字精度。目前產品上已經支援您自行修改建表語句,以及設定預設的同步類型轉換規則,如您有需要,可以在配置同步任務時進行設定。詳情請參見一鍵即時同步至Hologres

一鍵即時同步至MaxCompute時, 分表是否可以同步到同一張表裡?

一鍵即時全增量同步處理任務不支援分表同步到同一張表,但是可以使用分庫分表至MaxCompute全增量同步處理任務。詳情請參考MySQL分庫分表同步至MaxCompute

一鍵即時全增量同步處理任務中,即時同步時修改源表欄位是否會導致報錯?

您可以在同步任務配置時,通過設定DDL訊息處理規則控制源表欄位更變時的處理策略,包括正常處理、忽略或警示等。詳情請參見設定寫入規則

PolarDB資料來源網路聯通性測試失敗怎麼辦?

  • 錯誤現象:添加資料來源PolarDB時,網路連通性測試失敗。

  • 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。

Oracle資料來源網路聯通性測試失敗怎麼辦?

  • 錯誤現象:添加資料來源Oracle時,網路連通性測試失敗。

  • 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。

OceanBase資料來源網路聯通性測試失敗怎麼辦?

  • 錯誤現象:添加資料來源OceanBase時,網路連通性測試失敗。

  • 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。

MySQL資料來源網路聯通性測試失敗怎麼辦?

  • 錯誤現象:添加資料來源MySQL時,網路連通性測試失敗。

  • 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。

全增量即時至MaxCompute時,資料來源被置灰了沒法選擇怎麼辦?

因為您的資料來源是自行配置的,並非本DataWorks專案下的計算引擎資料來源。全增量即時同步至MaxCompute暫不支援非計算引擎資料。

即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX

  • 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX

  • 可能原因:來來源資料源PolarDB沒有開啟binlog。

  • 如何處理:PolarDB開啟binlog,詳細操作可參見PolarDB資料來源。並進行至少一條資料的變更,同時切換Data Integration即時同步開始點位到目前時間。

即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation

  • 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation

  • 可能原因:來來源資料源PolarDB沒有給進行資料同步的帳號開啟要求的權限,或對接的PolarDB資料庫不是主節點。

  • 如何處理:參見PolarDB資料來源的操作授予許可權,或者檢查PolarDB是否是主節點(讀寫庫),目前即時任務不支援從PolarDB備節點抓取資料。

即時任務,運行報錯:com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.

  • 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first

  • 可能原因:來來源資料源PolarDB未開啟loose_polar_log_bin參數。

  • 如何處理:需要開啟loose_polar_log_bin參數,詳細操作可參見開啟Binlog

離線任務運行報錯:com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.

  • 報錯內容:資料同步任務執行時,離線任務運行失敗,錯誤提示為com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns

  • 可能原因:DataWorks的離線引擎外掛程式未升級到最新版本。

  • 如何處理:請提交工單聯絡支援人員,幫您將離線引擎外掛程式升級到最新版本。

同步資料至Hologres任務運行報錯:errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.

  • 報錯內容:執行資料同步任務時,離線任務運行失敗,錯誤提示為errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.

  • 可能原因:

    • 資料同步任務中使用的Hologres目標表不存在。

    • 使用資料同步任務同步了資料來源表至Hologres的外部表格。目前,Hologres Writer不支援寫入資料至Hologres外部表格。

  • 如何處理:您需要使用Hologres的內部表作為同步任務的目標表。如果Hologres目標表不存在,請在配置資料同步任務時使用自動建表,建立可用的Hologres目標表,詳情請參見配置Hologres目標表

源表有預設值,通過Data Integration建立的目標表,預設值、非空屬性等會保留嗎?

建立目標表時候,DataWorks只會保留源表的列名、資料類型、注釋等資訊,不會保留源表的預設值、約束(包含非空約束、索引等)。

如何將已有同步任務進行一次全量同步?

你需要在Data Integration,同步工作清單中找到您已有的同步任務,然後單擊操作列的更多 > 重跑即可。