本文介紹MaxCompute作業運行過程中的常見問題。
作業運行時間長度不達預期(作業運行慢),通常由什麼原因導致,如何解決?
導致MaxCompute作業運行時間長度不達預期(作業運行慢)的原因通常可分為資源不足、作業問題、模式回退三種:
資源不足
作業問題
作業問題主要指由於作業本身導致的資料扭曲,UDF執行低效,資料膨脹等。SQL作業可以通過Logview進行具體問題定位,定位方法請參見分析運行慢作業。最佳化方法請參見計算最佳化最佳實務。
模式回退
MaxCompute作業啟動並執行模式有查詢加速模式和普通模式。
對於資料量大、且不需要返回查詢結果的作業,只能使用普通模式,因此在資源和作業都正常的情況下,作業運行時間長度通常不會出現較大波動。
而對於資料量較小的互動式查詢作業,通常會命中查詢加速模式運行,該模式下的作業執行速度比普通作業快。而MaxCompute並不保證作業每次都能命中查詢加速,因此可能出現查詢加速作業回退至普通作業,而導致作業運行時間長度不達先前預期的情況。
MaxCompute 控制台免審批下載結果時點擊按鈕無反應或載入中斷如何處理?
建議使用 Chrome 瀏覽器的無痕模式重新運行代碼並執行下載操作,以排除瀏覽器緩衝或外掛程式幹擾。
調度任務失敗但手動重跑成功是什麼原因?
通常由源端資料波動導致。例如淩晨時段源端(如 Hologres)寫入了包含超長欄位的髒資料,觸發 MaxCompute 讀取時的緩衝區超限錯誤;隨後髒資料被更新或清理,手動重跑時讀取正常資料因此成功。建議檢查源端資料品質及歷史寫入記錄。
DataWorks 資料同步任務報錯 DATAX_R_ODPS_006 擷取 AK 失敗如何排查?
該報錯表示無法擷取 AccessKey,請按以下步驟排查:
確認任務歷史成功記錄及失敗時間點。
檢查源端和目標端資料來源配置是否有變動。
確認任務責任人是否變更,若原責任人帳號禁用,需確保新責任人具備許可權。
確認當前登入帳號類型(如 RAM 帳號或 Role)。
修改責任人後,必須重新提交並發布上線任務,新的執行內容才會生效。