本文为您介绍数据开发的相关问题。

如何处理DataWorks任务未按时调度运行,运行日志中显示槽位等待、正在等待在云端的gateway资源等信息的情况?

DataWorks免费为您提供了一定的任务调度能力,但如果达到一定的任务并发量,则需要等待运行中的任务结束后,才可以继续运行等待中的任务。

在满足业务诉求的前提下,建议您合理安排任务错峰运行,以便在各个时间段,充分利用已购买的计算资源。 如果需要获得更高任务并发调度能力,请将如下内容提交工单以进行评估:
  1. 业务场景。
  2. 期望的高峰期DataWorks任务并发量。
  3. 任务无法错峰运行的原因。
说明 如果后续出现上述问题,请购买DataWorks独享资源,详情请参见DataWorks独享资源
如果您要保障数据集成任务的顺利运行,两种独享资源均需要购买:
  • 独享调度资源可解决等待Gateway的资源。
  • 独享数据集成资源可解决同步任务的资源。

如何在开发环境访问生产环境数据?

标准模式下,如果在数据开发界面需要查询生产环境的数据,请使用项目名.表名进行访问。

如果是简单模式升级到标准模式,在数据开发界面需要查询生产环境数据,则需要先申请生产者角色权限,再使用项目名.表名进行访问。申请权限具体请参考申请表权限

如何对生产表添加字段?

主账号可以在表管理页面,对生产表添加字段后,提交至生产环境。

子账号需要拥有运维或项目管理员角色,才可以在表管理页面,对生产表添加字段后,提交至生产环境。

如何实现在DataWorks上使用MaxCompute表资源?

目前DataWorks不支持直接使用图形界面上传MaxCompute表资源。如果您想在DataWorks上使用MaxCompute表资源,操作如下:
  1. 在DataWorks数据开发页面上传一个File类型资源,资源名称和表名称一致,本示例为userlog3.txt
    说明 请勿选中上传为ODPS资源
  2. 完成上传后,通过MaxCompute CLI客户端添加MaxCompute表资源,示例如下。
    add table userlog3 -f;
  3. 完成添加后,在DataWorks上使用MaxCompute表资源时,直接使用上传的资源即可。

如何控制只能从内网环境访问DataWorks控制台?

如果您希望您所在企业的用户只能通过企业内网访问DataWorks控制台,请进入RAM控制台,仅放通您所在企业的内网地址映射出的公网地址。

关于RAM控制台的详细操作,请参见设置RAM用户安全策略

如何查看业务节点提交状态?

如果您希望查看业务节点提交状态,可以选择数据开发>业务流程,展开对应的业务流程列表,即可查看当前业务流程下所有节点状态。如果节点名称左侧存在圆圈图标,表示该节点已提交;如果节点名称左侧不存在圆圈图标,表示该节点未提交。

Python资源是否支持调用另一个Python资源?

两个资源在同一个工作空间的前提下,Python资源支持调用另一个Python资源。

为什么调用API时,无法找到工作空间?

运行createManualDagTest时,报错为工作空间不存在

DataWorks V2.0之前的版本,默认把工作空间名称转成小写,且未提供对外用户的API调用接口。

DataWorks V2.0之后的版本,代码(目前线上提供服务的代码)不会对工作空间名称进行大小写转换。

调用SDK时需要工作空间名称为小写,因此如果DataWorks V2.0之前创建的工作空间名称为大写,会无法找到相应工作空间。

工作空间名称为小写或DataWorks V2.0之后创建的工作空间,则不会出现该问题。

如何配置ODPS Spark节点中的时间参数?

您在创建ODPS Spark节点后,需要单击编辑页面右侧的调度配置,配置节点的时间属性,详情请参见配置时间属性

配置完成后,还需要在编辑页面配置节点的参数,系统会顺序执行。

如何删除生产环境的表?

如果您需要删除生产环境的表,请创建一个ODPS SQL节点,输入并执行DROP语句。创建ODPS SQL节点的详情请参见创建ODPS SQL节点,删除表的语法格式请参见表操作

PyODPS是否支持调用自定义函数来使用第三方包?

如果您不想通过DataFrame的map方法使用test函数,PyODPS同样支持直接调用自定义函数来导入第三方包。

MaxCompute上最多支持显示多少条数据?

目前不支持显示超过10000条数据。如果您的数据较多,请使用Tunnel命令下载数据至本地。详情请参见Tunnel命令

如何处理使用MySQL节点进行数据开发时,选择非连接串模式创建的MySQL数据源,导致任务运行失败?

  • 问题描述

    添加MySQL数据源时,选择了非连接串模式创建的数据源,导致运行任务时失败,报错信息为sql execute failed! 暂不支持的jdbc驱动

  • 问题原因

    出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。

  • 解决方案

    重新选择使用连接串模式创建的数据源。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

FTP Check节点任务,运行报错None Ftp connection info!!

  • 报错内容:FTP Check节点检测FTP数据源中Done文件是否存在时,任务运行失败,错误提示为None Ftp connection info!!
  • 可能原因:FTP数据源配置有误,FTP Check节点未获取到FTP数据源的信息。
  • 解决方案:您可以进入数据源管理页面,检查所使用的数据源配置是否正确。进入数据源管理页面的操作,详情请参见数据源管理如果没有可用的数据源,则您需要新建FTP数据源,详情请参见配置FTP数据源

FTP Check节点任务,运行报错Connect Failed

  • 报错内容:FTP Check节点检测FTP数据源中Done文件是否存在时,任务运行失败,错误提示为Connect Failed
  • 可能原因:FTP数据源连接FTP服务端失败。
  • 解决方案:您可以使用telnet IP 端口命令,检查FTP服务端运行是否正常。IP和端口为FTP数据源的IP和端口信息,您可以登录DataWorks控制台,进入数据源管理页面查看。进入数据源管理页面的操作,详情请参见数据源管理

FTP Check节点任务,运行报错The current time has exceeded the end-check time point!

  • 报错内容:FTP Check节点检测FTP数据源中Done文件是否存在时,任务运行失败,错误提示为The current time has exceeded the end-check time point!
  • 可能原因:表示当前检测时间已经超过检查FTP数据源中Done文件是否存在的Check停止时间,任务直接失败。
  • 解决方案:您可以根据业务需求,为FTP Check节点任务重新配置一个合理的Check停止时间,详情请参见配置检测策略

FTP Check节点任务,运行报错File not Exists or exceeded the end-check time point!

  • 报错内容:FTP Check节点检测FTP数据源中Done文件是否存在时,任务运行失败,错误提示为File not Exists or exceeded the end-check time point!
  • 可能原因:当前检测任务在Check停止时间前最终未检测到FTP数据源中存在Done文件,或当前检测任务的检测时间已经超过配置的Check停止时间
  • 解决方案:该报错为FTP Check节点检测FTP数据源中Done文件不存在的预期报错,收到该报错时,DataWorks不会触发启动FTP Check节点的下游任务。