本文为您介绍数据开发的相关问题。

如何处理DataWorks任务未按时调度运行,运行日志中显示槽位等待、正在等待在云端的gateway资源等信息的情况?

DataWorks免费为您提供了一定的任务调度能力,但如果达到一定的任务并发量,则需要等待运行中的任务结束后,才可以继续运行等待中的任务。

在满足业务诉求的前提下,建议您合理安排任务错峰运行,以便在各个时间段,充分利用已购买的计算资源。 如果需要获得更高任务并发调度能力,请将如下内容提交工单以进行评估:
  1. 业务场景。
  2. 期望的高峰期DataWorks任务并发量。
  3. 任务无法错峰运行的原因。
说明 如果后续出现上述问题,请购买DataWorks独享资源,详情请参见DataWorks独享资源
如果您要保障数据集成任务的顺利运行,两种独享资源均需要购买:
  • 独享调度资源可解决等待Gateway的资源。
  • 独享数据集成资源可解决同步任务的资源。

如何对生产表添加字段?

主账号可以在表管理页面,对生产表添加字段后,提交至生产环境。

子账号需要拥有运维或项目管理员角色,才可以在表管理页面,对生产表添加字段后,提交至生产环境。

如何实现在DataWorks上使用MaxCompute表资源?

目前DataWorks不支持直接使用图形界面上传MaxCompute表资源。如果您想在DataWorks上使用MaxCompute表资源,操作如下:
  1. 在DataWorks数据开发页面上传一个File类型资源,资源名称和表名称一致,本示例为userlog3.txt
    说明 请勿选中上传为ODPS资源
  2. 完成上传后,通过MaxCompute CLI客户端添加MaxCompute表资源,示例如下。
    add table userlog3 -f;
  3. 完成添加后,在DataWorks上使用MaxCompute表资源时,直接使用上传的资源即可。

如何控制只能从内网环境访问DataWorks控制台?

如果您希望您所在企业的用户只能通过企业内网访问DataWorks控制台,请进入RAM控制台,仅放通您所在企业的内网地址映射出的公网地址。

关于RAM控制台的详细操作,请参见设置RAM用户安全策略

Python资源是否支持调用另一个Python资源?

两个资源在同一个工作空间的前提下,Python资源支持调用另一个Python资源。

为什么调用API时,无法找到工作空间?

运行createManualDagTest时,报错为工作空间不存在

DataWorks V2.0之前的版本,默认把工作空间名称转成小写,且未提供对外用户的API调用接口。

DataWorks V2.0之后的版本,代码(目前线上提供服务的代码)不会对工作空间名称进行大小写转换。

调用SDK时需要工作空间名称为小写,因此如果DataWorks V2.0之前创建的工作空间名称为大写,会无法找到相应工作空间。

工作空间名称为小写或DataWorks V2.0之后创建的工作空间,则不会出现该问题。

如何配置ODPS Spark节点中的时间参数?

您在创建ODPS Spark节点后,需要单击编辑页面右侧的调度配置,配置节点的时间属性,详情请参见配置时间属性

配置完成后,还需要在编辑页面配置节点的参数,系统会顺序执行。

如何删除生产环境的表?

如果您需要删除生产环境的表,请创建一个ODPS SQL节点,输入并执行DROP语句。创建ODPS SQL节点的详情请参见创建ODPS SQL节点,删除表的语法格式请参见删除表

PyODPS是否支持调用自定义函数来使用第三方包?

如果您不想通过DataFrame的map方法使用test函数,PyODPS同样支持直接调用自定义函数来导入第三方包。

MaxCompute上最多支持显示多少条数据?

目前不支持显示超过10000条数据。如果您的数据较多,请使用Tunnel命令下载数据至本地。详情请参见Tunnel命令参考