離線同步處理記錄分析

地區

參數

說明

提交執行個體（地區①）

SUBMIT： 同步任務已經從調度系統向Data Integration任務執行資源組提交同步任務的狀態。代表同步任務已經渲染完成。

調度系統會將任務下發至資源群組上執行，您可在地區①查看當前任務運行使用的Data Integration資源群組。不同類型資源群組日誌列印不同：

• 任務運行在預設的資源群組上，日誌中會出現如下資訊。

  running in Pipeline[basecommon_ group_xxxxxxxxx]

• 任務運行在獨享Data Integration資源上，日誌中會出現如下資訊。

  running in Pipeline[basecommon_S_res_group_xxx]

• 任務運行在Serverless資源群組上，日誌中會出現如下資訊。

  running in Pipeline[basecommon_Serverless_res_group_xxx]

申請資源（地區②）

WAIT：同步任務處於等待Data Integration任務執行資源的狀態。

當任務長時間處於等待Data Integration任務執行資源的狀態時，可能是其他任務運行佔用該資源群組上的資源導致當前任務無資源執行而處於等待狀態，可以通過以下方案解決此類問題：

• 待佔用該Data Integration資源群組的任務（即運行在該資源群組上的任務）執行成功，將資源釋放後啟動運行。定位佔用該資源的任務，詳情請參見資料同步慢的情境及解決方案。

• 找到佔用該資源的工作清單及責任人，與其協調降低任務並發數。

• 減少當前同步任務的並發數並重新提交發布任務。

• 對任務執行資源組進行擴容。詳情請參見：擴縮容操作。

開始同步（地區③）

RUN： 同步任務處於同步中的狀態。

離線同步任務執行過程分為4個階段：

1. 前置準備

   系統將根據您的配置，將前置SQL下發至資料庫執行，但並非所有任務都存在前置準備。

   • 以MySQL Writer為例，若您的任務配置了PreSQL，即存在執行資料同步任務之前先執行的SQL語句時，該SQL將在此階段下發至資料庫執行。

   • 以MySQL Reader為例，若您的任務配置querySql或資料過濾（where），這些SQL將在此階段下發至資料庫執行。

   • 以寫入MaxCompute為例，任務配置了寫入前清空已有資料。

   說明

   建議過濾條件使用索引欄位進行過濾，避免SQL在資料庫執行時間過長導致同步整體耗時過長，或在資料庫執行逾時導致同步任務被迫中斷退出。

2. 切分（拆分）任務

   此階段將源端待同步資料切分為多個task，以便並發、分批進行讀取資料，切分規則如下：

   • 關係型資料庫：按照您在介面配置時指定的切分鍵splitPk，作為切分依據，將待同步資料切分為多個task，通過並發分批讀取切分的task。若未設定切分鍵，將通過單並發同步任務。

   • LogHub/DataHub/Mongodb：按照shard數進行切分，任務並發上限不超過shard數。

   • 半結構化儲存：按照檔案數或檔案資料量進行切分。例如，OSS任務並發上限不超過檔案數。

3. 同步資料

   此階段將按照切分邏輯將切分出來的task，基於您配置的並發數進行分批同步。關係型資料庫將按照上述切分鍵，切分為多個取數SQL，分別向資料庫請求資料。可參考：離線同步並發和限流之間的關係

   說明

   • 實際執行過程中，您設定的並發數並非為實際執行的並發數。

   • 基於切分鍵切分產生的取數SQL，可能會由於切分鍵設定不合理，導致取數SQL在資料庫執行時間過長導致同步整體耗時過長，或在資料庫執行逾時導致同步任務被迫中斷退出。

   • 如果資料庫當前負載過高，也可能會導致任務執行變慢。

4. 後置準備

   系統將根據您的配置，將後置SQL下發資料庫執行，但並非所有任務都存在後置準備：

   • 以MySQL Writer為例，若您任務的配置了PostSQL，即配置了資料同步執行後需要執行的SQL語句時，該SQL將在此階段下發至資料庫執行。

   • PostSQL在資料庫的執行時間長度同樣會影響整個同步任務的執行耗時。

執行完成（地區④）

執行完成有兩種狀態：

• FAIL：同步任務運行失敗。

• SUCCESS：同步任務執行成功。

• 任務運行失敗時，將會在日誌列印導致任務運行失敗的關鍵報錯資訊，您可以在地區⑤的連結查看各階段的詳細執行過程。

• 任務執行成功時，將會在日誌列印同步資料總數、平均同步速度等資訊。

詳細日誌連結（地區⑤）

詳細日誌的連結。

您可以單擊詳細日誌連結，查看各階段執行過程的詳細日誌資訊。