大数据开发治理平台 DataWorks：数据开发常见问题

表相关

• 如何可视化新建表？

• 为什么EMR通过DataWorks可视化建表失败报错：call emr exception？

• 如何对生产表添加字段？

• 如何将本地数据上传到MaxCompute表中？

• 如何在开发环境访问生产环境数据？

• 如何控制表数据查询以后是否可以下载？

• 如何删除表？

资源相关

• 超过30M的资源如何上传？

• 通过odpscmd上传的资源如何在DataWorks上使用？

• 如何在节点内使用资源？

• 如何实现在DataWorks上使用MaxCompute表资源？

• 如何下载上传到DataWorks的资源？

• 如何删除MaxCompute资源？

• 在DataWorks如何上传自己本地编写的jar并执行？

• 如何在pyodps调用第三方包？

• Python资源是否支持调用另一个Python资源？

节点相关

• 修改后的节点任务提交发布至生产环境后，是否会覆盖之前生产环境的错误节点？

• 如何查看业务节点提交状态？

• 如何查看节点版本？

• 节点被删除，实例是否受影响？

• 节点删除后如何还原？

• 如何将工作空间下的节点代码导出？

• 当业务流程中包含多个节点时，是否可以批量配置节点的调度信息？

• 如何克隆业务流程？

• 如何对节点、资源、函数等进行相关批量修改相关属性的操作？

• 如何在数据开发页面批量修改业务流程下节点使用的调度资源组？

API调用

• Openapi调用报错access is forbidden. Please first activate DataWorks Enterprise Edition or Flagship Edition.

• 如何获取Python SDK调用案例？

运行及运行日志

运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别？

数据开发界面历史执行日志如何获取？

数据开发运行历史保留多长时间？

EMR引擎

• Hive相关：Hive使用时的常见问题。

• Spark相关：Spark使用时的常见问题。

MaxCompute引擎

• 开发相关：

  • SQL：SQL常见问题

  • 内建函数：内建函数常见问题

  • UDF：MaxCompute UDF（Java）常见问题、MaxCompute UDF（Python）常见问题

  • MapReduce：MapReduce常见问题

  • Pyodps：PyODPS是否支持调用自定义函数来使用第三方包？、PyODPS 3中调用Pickle文件报错：_pickle.UnpicklingError: invalid load key, '\xef.、更多Pyodps常见问题。

• 安全管理相关：

  • 权限管理常见问题

  • 安全配置常见问题

• 运维管理：

  • Information Schema常见问题

  • 其他运维常见问题

• 下载数据相关：如何下载超过1万条的表数据？、任务执行没有instanceid，如何关闭ODPS加速模式？

• BI连接相关：使用Power BI连接MaxCompute报错，该如何处理？

典型配置场景

• 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss

• 如何配置ODPS Spark节点中的时间参数？

• 如何对不便于进行二次处理调度参数返回值的节点进行取值？

• 如何定义调度参数的时区？

• 调度参数往前取一个小时，如何处理跨天参数替换的问题？

• 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]），由于上游节点执行异常导致当前节点第二天0:00才调起，此时参数取值是20:00还是0:00？

• 直接使用MaxCompute日期函数取值和通过调度参数取值有什么区别？

测试运行

• 如何在数据开发测试调度参数？

• 调度参数赋值异常，报错：FAILED: ODPS-0130161:[1,84] Parse exception - invalid token '$'。

• 调度参数赋值异常：报错：params format error，please check your params（key=values）。

运维查看

• 如何查看生产环境调度参数替换情况？

• 如何通过日志查看当前实例执行时调度参数替换情况？

• 节点中调度参数已配置且提交发布，但返回值始终无变化。

配置须知

• 什么是调度依赖？

• 为什么要设置调度依赖？

• DataWorks上如何设置调度依赖？

• 下游任务依赖上游任务的运行规则是什么？

• 节点的输出名称的作用是什么？

• 一个节点可以有多个输出名称吗？

• 哪些场景不支持设置调度依赖？

典型配置场景

• 提交节点报错：当前节点依赖的父节点输出名不存在

• 提交节点时提示：输入输出和代码血缘分析不匹配

• 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？

• 为什么有些节点的本节点的输出中，下游节点名称、下游节点ID有这些数据，有些为空并且不能手动编辑。

• 不需要依赖的表如何删除？

• 不需要依赖的依赖关系如何删除？

• 多个节点往同一张表写数据，自动解析报错节点输出名相同且提交报错，可以有相同的输出名称吗？

• 使用自动解析依赖关系时，如何不解析到中间表？

• 如何设置跨业务流程，同地域跨项目依赖？

• 业务流程最上游节点的父节点配置应该如何配置？

• 有A、B、C三个任务，如何实现每个小时执行一次A->B->C（A执行完了B再执行，B执行完了C再执行）的任务流程？

节点删除、变更相关

• 为什么在节点A搜索上游节点输出名时，搜索到了节点B不存在的输出名？

• 为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？

跨周期依赖场景

• 什么情况下配置依赖上一周期的依赖项为本节点？

• 为什么运维中心有些依赖线是虚线？

• 下游节点同时依赖多个任务运行时，依赖关系如何配置？

• 小时任务设置自依赖对自身及下游节点有什么影响？

• 日调度任务依赖小时调度任务运行的不同场景，依赖关系如何配置？

• 天任务依赖小时任务时，直接设置依赖关系，天任务几点会运行？

• 天任务依赖小时任务时，如何实现天任务依赖小时任务当天具体某个实例，而非依赖所有的小时实例？

• 天任务依赖小时任务时，如何实现天任务依赖小时任务昨天所有的小时实例。而非当天所有小时实例？

• 上游A是小时任务，下游B是日任务，任务每天在A任务全部执行完成后要汇总执行一次，小时任务运行到第二天，天任务是否会运行，参数是否会影响

• 节点A每天每小时整点执行一次，节点B每天运行一次。如何设置节点A每天第一次运行成功后，节点B便开始执行？

其他问题

已配置失败重跑的任务在运行失败后未重跑，并报错Task Run Timed Out， Killed by System！！！