本文为您介绍如何创建并运行Spark作业的示例。

创建项目

  1. 登录阿里云E-MapReduce控制台。
  2. 单击上方的数据开发页签。
  3. 在数据开发页面，单击新建项目。
  4. 在新建项目对话框中，输入项目名称为test和项目描述为test。
    create project
  5. 单击创建。

新建作业

  1. 在项目列表页面，单击新建项目所在行的作业编辑。
    project list
  2. 在作业编辑区域，在待操作的文件夹上单击右键，选择新建作业。
    create job
    说明 您还可以通过在文件夹上单击右键，进行创建子文件夹、重命名文件夹和删除文件夹操作。
  3. 在新建作业对话框中，配置各项参数。
    1. 设置作业名称为Spark_test。
    2. 设置作业描述为test。
    3. 从作业类型列表中，选择Spark。
    4. 单击确定。

配置并运行作业

  1. 配置作业内容。
    1. 在集群基础信息页面，查看Spark的版本。
      check spark
    2. 输入如下作业内容。
      --class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar 10

      /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar中的2.4.5是您集群中的Spark版本。

  2. 单击右上角的保存。
  3. 单击右上角的运行。
  4. 在运行作业对话框中，单击确定。

查看日志

您可以单击作业下方的运行记录页签，查看作业的运行情况。log

单击详情，您可以查看作业的实例信息、提交日志和YARN容器日志。