全部产品
Search
文档中心

批量计算:准备工作

更新时间:Feb 02, 2023

使用 BatchCompute-cli 命令行工具,您可以快速提交作业,可以很方便的管理作业和集群。

说明:本工具只在 Python 2.7, 3.4, 3.5 版本测试通过,其他Python版本慎用。

安装

pip install batchcompute-cli

# 如果以前安装过,使用以下命令升级
pip install -U batchcompute-cli
  • 遇到权限问题,请在前面加sudo安装。

  • 如果还没有pip命令,请先自行安装。 这里举例ubuntu下的安装方法:

sudo apt-get update
sudo apt-get install Python-pip

设置网络环境

命令行工具支持阿里云内网访问批量计算服务,在命令登录之前设置网络环境即可;注意:使用内网访问批量计算服务不支持跨region访问,例如当前机器在北京 region,那么只能通过内网访问北京 region的批量计算服务不支持访问其他 region 的批量计算服务,默认是通过公网的形式访问批量计算服务。设置内网访问批量计算命令格式如下:

bcs set --networktype VPC

登录

bcs login cn-shenzhen <access_key_id>  <access_key_secret>

或者

bcs login cn-shenzhen   # 回车
input access_key_id:     # 请输入access_key_id
input access_key_secret: # 请输入access_key_secret

其中 access_key_id 和 access_key_secret 是您的AccessKey,可以到AccessKey管理页面获取。

请查看 支持的地域

配置OSS目录

本工具需要配置一个OSS目录,用来将保存上传的用户程序,作业日志等。

请先创建一个bucket(注意,region要与登录的region保持一致,如:cn-shenzhen), 如:mybucket-shenzhen,并且在该bucket下创建一个目录,如:cli。

bcs set --osspath oss://mybucket-shenzhen/cli/

默认镜像(Image)和默认实例类型(InstanceType)

本工具1.3.0以上版本,必须手动设置默认镜像和默认实例类型。

  • 默认镜像和默认实例类型的作用:

在创建集群或提交作业时,如果不显式指定Image或InstanceType,则使用默认的Image或InstanceType。

  • 如何设置:

bcs i    #查看可用的image
bcs set --image img-ubuntu-vpc   #配置默认的Image为 img-ubuntu-vpc
bcs t    #查看可用的InstanceType
bcs set --type ecs.sn1ne.large   #配置默认的InstanceType为 ecs.sn1ne.large (2核4GB)

这里配置的默认镜像,可以为批量计算服务官方提供的镜像资源ID(以img-开头的),也可以为用户自定义并共享给批量计算服务的ECS镜像ID(以m-开头的),推荐使用前者。

设置默认使用VPC

需要batchcompute-cli的1.5.5及以上版本。

bcs set --vpc_cidr_block 192.168.0.0/16

设置默认使用VPC的CIDR IP段,设置完成后,如果提交代码和创建集群时不指定vpc_cidr_block,则使用此默认的192.168.0.0/16配置。

查看帮助(善用 -h)

每个命令都可以加 -h,查看用法等信息。

bcs -h      # 查看bcs命令帮助
bcs job -h  # 查看job命令帮助
bcs sub -h  # 查看submit命令帮助
...

提交作业

关于如何提交作业