DataStudio常見問題

表相關

• 如何可視化建立表？

• 為什麼EMR通過DataWorks可視化建表失敗報錯：call emr exception？

• 如何對生產表添加欄位？

• 如何將本機資料上傳到MaxCompute表中？

• 如何在開發環境訪問生產環境資料？

• 如何控製表資料查詢以後是否可以下載？

• 如何刪除表？

資源相關

• 超過30M的資源如何上傳？

• 通過odpscmd上傳的資源如何在DataWorks上使用？

• 如何在節點內使用資源？

• 如何?在DataWorks上使用MaxCompute表資源？

• 如何下載上傳到DataWorks的資源？

• 如何刪除MaxCompute資源？

• 在DataWorks如何上傳自己本地編寫的jar並執行？

• 如何在pyodps調用第三方包？

• Python資源是否支援調用另一個Python資源？

節點相關

• 修改後的節點任務提交發布至生產環境後，是否會覆蓋之前生產環境的錯誤節點？

• 如何查看業務節點提交狀態？

• 如何查看節點版本？

• 節點被刪除，執行個體是否受影響？

• 節點刪除後如何還原？

• 如何將工作空間下的節點代碼匯出？

• 當商務程序中包含多個節點時，是否可以大量設定節點的調度資訊？

• 如何複製商務程序？

• 如何對節點、資源、函數等進行相關批量修改相關屬性的操作？

• 如何在資料開發頁面批量修改商務程序下節點使用的調度資源群組？

API調用

• Openapi調用報錯access is forbidden. Please first activate DataWorks Enterprise Edition or Flagship Edition.

• 如何擷取Python SDK調用案例？

運行及作業記錄

運行，進階運行和開發環境煙霧測試 (Smoke Test)賦值邏輯有什麼區別？

資料開發介面歷史執行日誌如何擷取？

資料開發運行歷史保留多長時間？

EMR引擎

• Hive相關：Hive使用時的常見問題。

• Spark相關：Spark使用時的常見問題。

MaxCompute引擎

• 開發相關：

  • SQL：SQL常見問題

  • 內建函數：內建函數常見問題

  • UDF：MaxCompute UDF（Java）常見問題、MaxCompute UDF（Python）常見問題

  • MapReduce：MapReduce常見問題

  • Pyodps：PyODPS是否支援調用自訂函數來使用第三方包？、PyODPS 3中調用Pickle檔案報錯：_pickle.UnpicklingError: invalid load key, '\xef.、更多Pyodps常見問題。

• 安全管理相關：

  • 許可權管理常見問題

  • 安全配置常見問題

• 營運管理：

  • Information Schema常見問題

  • 其他營運常見問題

• 下載資料相關：如何下載超過1萬條的表資料？、任務執行沒有instanceid，如何關閉ODPS加速模式？

• BI串連相關：使用Power BI串連MaxCompute報錯，該如何處理？

典型配置情境

• 如何處理表的分區格式年月日時分秒間帶空格情況：pt=yyyy-mm-dd hh24:mi:ss

• 如何配置ODPS Spark節點中的時間參數？

• 如何對不便於進行二次處理調度參數傳回值的節點進行取值？

• 如何定義調度參數的時區？

• 調度參數往前取一個小時，如何處理跨天參數替換的問題？

• 節點定時時間為每天20:00，節點內參數取值為定時時間（$cyctime或者$[yyyymmddhh24miss]），由於上遊節點執行異常導致當前節點第二天0:00才調起，此時參數取值是20:00還是0:00？

• 直接使用MaxCompute日期函數取值和通過調度參數取值有什麼區別？

測試回合

• 如何在資料開發測試調度參數？

• 調度參數賦值異常，報錯：FAILED: ODPS-0130161:[1,84] Parse exception - invalid token '$'。

• 調度參數賦值異常：報錯：params format error，please check your params（key=values）。

營運查看

• 如何查看生產環境調度參數替換情況？

• 如何通過日誌查看當前執行個體執行時調度參數替換情況？

• 節點中調度參數已配置且提交發布，但傳回值始終無變化

配置須知

• 什麼是調度依賴？

• 為什麼要設定調度依賴？

• DataWorks上如何設定調度依賴？

• 下遊任務依賴上遊任務的運行規則是什嗎？

• 節點的輸出名稱的作用是什嗎？

• 一個節點可以有多個輸出名稱嗎？

• 哪些情境不支援設定調度依賴？

典型配置情境

• 提交節點報錯：當前節點依賴的父節點輸出名不存在

• 提交節點時提示：輸入輸出和代碼血緣分析不匹配

• 為什麼自動解析的父節點名會報依賴的父節點輸出（表）不存在？

• 為什麼有些節點的本節點的輸出中，下遊節點名稱、下遊節點ID有這些資料，有些為空白並且不能手動編輯。

• 不需要依賴的表如何刪除？

• 不需要依賴的依賴關係如何刪除？

• 多個節點往同一張表寫資料，自動解析報錯節點輸出名相同且提交報錯，可以有相同的輸出名稱嗎？

• 使用自動解析依賴關係時，如何不解析到中間表？

• 如何設定跨商務程序，同地區跨專案依賴？

• 商務程序最上遊節點的父節點配置應該如何配置？

• 有A、B、C三個任務，如何?每個小時執行一次A->B->C（A執行完了B再執行，B執行完了C再執行）的任務流程？

節點刪除、變更相關

• 為什麼在節點A搜尋上遊節點輸出名時，搜尋到了節點B不存在的輸出名？

• 為什麼節點刪除報錯當前節點存在子節點，下線失敗，但是在調度配置介面看已經沒有該節點的依賴？

跨周期依賴情境

• 什麼情況下配置依賴上一周期的依賴項為本節點？

• 為什麼營運中心有些依賴線是虛線？

• 下遊節點同時依賴多個任務運行時，依賴關係如何配置？

• 小時任務設定自依賴對自身及下遊節點有什麼影響？

• 日調度任務依賴小時調度任務啟動並執行不同情境，依賴關係如何配置？

• 天任務依賴小時任務時，直接設定依賴關係，天任務幾點會運行？

• 天任務依賴小時任務時，如何?天任務依賴小時任務當天具體某個執行個體，而非依賴所有的小時執行個體？

• 天任務依賴小時任務時，如何?天任務依賴小時任務昨天所有的小時執行個體。而非當天所有小時執行個體？

• 上遊A是小時任務，下遊B是日任務，任務每天在A任務全部執行完成後要匯總執行一次，小時任務運行到第二天，天任務是否會運行，參數是否會影響

• 節點A每天每小時整點執行一次，節點B每天運行一次。如何設定節點A每天第一次運行成功後，節點B便開始執行？

其他問題

已配置失敗重跑的任務在運行失敗後未重跑，並報錯Task Run Timed Out， Killed by System！！！