全部产品
Search
文档中心

大数据开发治理平台 DataWorks:运维助手

更新时间:Jul 25, 2023

运维助手为您提供在独享调度资源组上进行新建、执行和删除命令的工具,以及查看命令执行结果等操作的功能。本文为您介绍如何通过运维助手工具在独享调度资源组上创建命令。

使用限制

  • 功能使用限制

    • 仅支持新建命令,不支持编辑命令,如果您需要修改命令,请删除命令后进行新建。

    • 不支持执行yum命令。

    • 仅独享调度资源组支持使用运维助手功能。

    • 仅支持通过运维助手在独享调度资源组上传不超过50M的资源,但建议您通过DataWorks可视化方式上传不超过50M的资源。可视化上传资源的方式,可参考创建并使用MaxCompute资源

    • DataWorks运维助手中安装的Python第三方包,仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用,如果需要在MaxCompute的Python UDF中引用Python第三方包,详情请参见UDF示例:Python UDF使用第三方包。关于PyODPS使用三方包,详情请参见在PyODPS节点中调用第三方包

  • 权限管控

    仅拥有AliyunDataWorksFullAccessModifyResourceGroup权限的RAM用户可使用运维助手功能,关于权限管控与授权详情请参见产品及控制台权限控制详情:RAM Policy

使用说明

  • 运维助手支持通过命令与快捷安装两种方式安装上传资源,操作详情请参见创建命令

  • 通过手动执行的(任何)命令暂时无法保证成功率,目前快捷安装支持安装的三方包,请参见快捷安装支持安装的包

进入运维助手

  1. 登录DataWorks控制台

  2. 单击左侧导航栏中的资源组列表,默认进入独享资源组页面。

  3. 单击相应调度资源后的image.png图标,选择运维助手

    您可以在运维助手页面进行创建命令执行命令查看结果等操作。

创建命令

  1. 运维助手页面,单击创建命令

  2. 配置创建命令对话框中的参数。

    参数

    描述

    命令名称

    自定义命令的名称。

    命令类型

    执行命令的类型,支持快捷安装环境手动输入

    • 快捷安装环境:DataWorks平台内置相关的python包,您可根据python版本选择对应的包进行快捷安装。

      说明

      截至2022-11-25,独享调度资源组运维支持通过快捷安装的包可参见快捷安装支持安装的包

    • 手动输入:手动输入Shell命令上传包或资源文件。若快捷安装环境中没有您需要的包,您可以选择此方式上传。资源上传完成后,在任务中引用该资源时需要使用绝对路径。

      说明

      通过手动执行的(任何)命令暂时无法保证成功率。推荐您通过DataWorks可视化方式上传不超过50M的资源。以可视化上传MaxCompute资源为例:创建并使用MaxCompute资源

    命令内容

    输入需要执行的命令内容。

    安装目录

    输入需要执行的命令的父目录,用于添加系统路径白名单。多个目录之间使用英文分号进行分隔。

    说明
    • 仅支持在独享调度资源组的/home/admin/usertools/tools/路径下进行写操作。

    • 若未指定安装目录,将默认安装至上述路径下。

    超时时间

    命令执行的超时时间,单位为秒。超时后系统会强制结束命令。

  3. 配置完成后,单击创建,即可在运维助手页面命令列表中查看该条命令。

管理命令

命令创建完成后,您可以在命令列表中找到已创建的命令,并进行如下操作:

  • 运行命令:在独享调度资源组上执行该条命令。

  • 查看结果:查看命令执行的结果和详情。

  • 删除命令:删除不再使用的命令。

快捷安装支持安装的包

截至2022-11-25,独享调度资源组运维支持通过快捷安装的包如下:

python2

python3

aliyun-python-sdk-core

aliyun-python-sdk-core

aliyun-python-sdk-ecs

aliyun-python-sdk-schedulerx2

jieba

Cython

matplotlib

fbprophet

numpy

gensim

openpyxl

jieba

oss2

lxml

pandas

numpy

prophet

openpyxl

pyhive

oss2

requests

pandas

scikit-learn

prophet

thrift

pyhive

thrift_sasl

pymysql

-

pystan

-

requests

-

scikit-learn

-

sqlalchemy

-

thrift

-

thrift_sasl

-

xgboost