本文为您介绍如何创建并运行Spark作业。
创建项目
- 登录阿里云E-MapReduce控制台。
- 单击上方的数据开发页签。
- 在数据开发页面,单击新建项目。
- 在新建项目对话框中,输入项目名称为test和项目描述为test。
- 单击创建。
新建作业
- 在项目列表页面,单击新建项目所在行的作业编辑。
- 在作业编辑区域,在待操作的文件夹上单击右键,选择新建作业。

说明 您还可以通过在文件夹上单击右键,进行创建子文件夹、重命名文件夹和删除文件夹操作。
- 在新建作业对话框中,配置各项参数。
- 设置作业名称为Spark_test。
- 设置作业描述为test。
- 从作业类型列表中,选择Spark。
- 单击确定。
配置并运行作业
- 配置作业内容。
- 在集群基础信息页面,查看Spark的版本。
- 输入如下作业内容。
--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar 10

/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar
中的2.4.5
是您集群中的Spark版本。
- 单击右上角的保存。
- 单击右上角的运行。
- 在运行作业对话框中,单击确定。
查看日志
您可以单击作业下方的
运行记录页签,查看作业的运行情况。

单击详情,您可以查看作业的实例信息、提交日志和YARN容器日志。