本文為您介紹全增量同步處理任務的常見問題及解決方案。
文檔概述
MySQL一鍵同步至Hologres中decimal(7,4)資料類型轉換成了numeric(38,18),正常嗎?
為了避免資料精度丟失,同步時預設擴大數字精度。目前產品上已經支援您自行修改建表語句,以及設定預設的同步類型轉換規則,如您有需要,可以在配置同步任務時進行設定。詳情請參見一鍵即時同步至Hologres。
一鍵即時同步至MaxCompute時, 分表是否可以同步到同一張表裡?
一鍵即時全增量同步處理任務不支援分表同步到同一張表,但是可以使用分庫分表至MaxCompute全增量同步處理任務。詳情請參考MySQL分庫分表同步至MaxCompute。
一鍵即時全增量同步處理任務中,即時同步時修改源表欄位是否會導致報錯?
您可以在同步任務配置時,通過設定DDL訊息處理規則控制源表欄位更變時的處理策略,包括正常處理、忽略或警示等。詳情請參見設定寫入規則。
PolarDB資料來源網路聯通性測試失敗怎麼辦?
錯誤現象:添加資料來源PolarDB時,網路連通性測試失敗。
如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
Oracle資料來源網路聯通性測試失敗怎麼辦?
錯誤現象:添加資料來源Oracle時,網路連通性測試失敗。
如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
OceanBase資料來源網路聯通性測試失敗怎麼辦?
錯誤現象:添加資料來源OceanBase時,網路連通性測試失敗。
如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
MySQL資料來源網路聯通性測試失敗怎麼辦?
錯誤現象:添加資料來源MySQL時,網路連通性測試失敗。
如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
全增量即時至MaxCompute時,資料來源被置灰了沒法選擇怎麼辦?
因為您的資料來源是自行配置的,並非本DataWorks專案下的計算引擎資料來源。全增量即時同步至MaxCompute暫不支援非計算引擎資料。
即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX
報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX。可能原因:來來源資料源PolarDB沒有開啟binlog。
如何處理:PolarDB開啟binlog,詳細操作可參見PolarDB資料來源。並進行至少一條資料的變更,同時切換Data Integration即時同步開始點位到目前時間。
即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation
報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation。可能原因:來來源資料源PolarDB沒有給進行資料同步的帳號開啟要求的權限,或對接的PolarDB資料庫不是主節點。
如何處理:參見PolarDB資料來源的操作授予許可權,或者檢查PolarDB是否是主節點(讀寫庫),目前即時任務不支援從PolarDB備節點抓取資料。
即時任務,運行報錯:com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.
報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first。可能原因:來來源資料源PolarDB未開啟loose_polar_log_bin參數。
如何處理:需要開啟loose_polar_log_bin參數,詳細操作可參見開啟Binlog。
離線任務運行報錯:com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.
報錯內容:資料同步任務執行時,離線任務運行失敗,錯誤提示為
com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns。可能原因:DataWorks的離線引擎外掛程式未升級到最新版本。
如何處理:請提交工單聯絡支援人員,幫您將離線引擎外掛程式升級到最新版本。
同步資料至Hologres任務運行報錯:errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.
報錯內容:執行資料同步任務時,離線任務運行失敗,錯誤提示為
errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.。可能原因:
資料同步任務中使用的Hologres目標表不存在。
使用資料同步任務同步了資料來源表至Hologres的外部表格。目前,Hologres Writer不支援寫入資料至Hologres外部表格。
如何處理:您需要使用Hologres的內部表作為同步任務的目標表。如果Hologres目標表不存在,請在配置資料同步任務時使用自動建表,建立可用的Hologres目標表,詳情請參見配置Hologres目標表。
源表有預設值,通過Data Integration建立的目標表,預設值、非空屬性等會保留嗎?
建立目標表時候,DataWorks只會保留源表的列名、資料類型、注釋等資訊,不會保留源表的預設值、約束(包含非空約束、索引等)。
如何將已有同步任務進行一次全量同步?
你需要在Data Integration,同步工作清單中找到您已有的同步任務,然後單擊操作列的即可。