临时查询主要针对即席查询(Ad Hoc)的场景,面向数据科学家和数据分析师,其主要使用工具为SQL。运行临时查询作业时,将会在页面下方显示日志和查询结果。E-MapReduce数据开发支持Shell、SparkSQL、Spark
Shell和HiveSQL四种类型的临时查询作业。
背景信息
已创建项目或已被加入到项目中,详情请参见项目管理。
新建作业
- 通过主账号登录阿里云 E-MapReduce 控制台。
- 单击上方的数据开发页签。
- 在项目列表页面,单击对应项目所在行的作业编辑。
- 在作业编辑页面,单击页面左侧的
图标。
- 在临时查询区域,右键单击待操作的文件夹,选择新建作业。
- 在新建交互式作业对话框中,输入作业名称、作业描述,选择作业类型。
- 单击确定。
您还可以通过在文件夹上单击右键,进行新建子文件夹、重命名文件夹和删除文件夹操作。
设置作业
各个具体作业类型的开发与设置,请参见作业部分。 以下介绍的是作业的基础设置、高级设置、共享库和告警设置。
- 单击页面右上角的作业设置。
- 在作业设置页面,设置基础信息。
参数 |
描述 |
作业概要 |
- 作业名称:您创建作业的名称。
- 作业类型:您创建作业的类型。
- 作业描述:可修改作业的描述。
|
运行资源 |
单击右侧的 图标,添加作业执行所依赖的JAR包或UDF等资源。您需要将资源先上传至OSS,然后在运行资源中直接添加即可。
|
配置参数 |
指定作业代码中所引用的变量的值。您可以在代码中引用变量,格式为${变量名}。
单击右侧的 图标,添加Key和Value。其中,Key为变量名,Value为变量的值。另外,您还可以根据调度启动时间在此配置时间变量,详情请参见作业日期设置。
|
- 在作业设置页面,单击高级设置。
配置项 |
说明 |
模式 |
- 提交节点包括以下两种模式,详情请参见作业编辑中的作业提交模式说明。
- 在Worker节点提交:作业通过Launcher在YARN上分配资源进行提交。
- 在Header/Gateway节点提交:作业在分配的机器上直接运行。
- 预期最大运行时长:0~10800秒。
|
环境变量 |
添加作业执行的环境变量,也可以在作业脚本中直接export环境变量。
|
调度参数 |
设置作业运行YARN 队列、内存、虚拟核数、优先级和执行用户等信息。当未设置这些参数时,作业会直接采用Hadoop集群的默认值。
说明 内存设置用于设置启动器Launcher的内存配额。
|
- 高级设置完成后,单击共享库页签。
在依赖库区域,填写库列表。
- 共享库设置完成后,单击告警设置页签。
配置项 |
说明 |
执行失败 |
设置作业执行失败时,是否通知到用户告警组或钉钉告警组。 |
启动超时 |
设置作业启动失败时,是否通知到用户告警组或钉钉告警组。 |
作业执行超时 |
设置作业执行超时时,是否通知到用户告警组或钉钉告警组。 |
执行作业
单击右上方的运行,执行作业。
作业运行后,您可以在页面下方的日志页签中,查看作业的运行日志。
编辑锁
在编辑作业时,您可以单击右上角的上锁为该作业加上编辑锁,保证此时只有您可以编辑作业,项目其他成员无法编辑该作业。只有解锁之后,项目中其他成员才可以编辑该作业。
说明 上锁之后,只有上锁的成员和主账号管理员能够解锁。