本文介绍如何配置Spark Streaming类型的作业。

前提条件

  • 已创建好项目,详情请参见项目管理
  • 已准备好作业所需的资源,以及作业要处理的数据。

操作步骤

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的数据开发页签。
  3. 项目列表页面,单击对应项目所在行的作业编辑
  4. 在页面左侧,在需要操作的文件夹上单击右键,选择新建作业
    说明 您还可以通过在文件夹上单击右键,进行新建子文件夹、重命名文件夹和删除文件夹操作。
  5. 输入作业名称作业描述,选择Spark Streaming作业类型。
    表示创建的作业是一个Spark Streaming作业。
  6. 单击确定
  7. 作业内容中,填写提交该作业需要提供的命令行参数。
    Spark Streaming作业提交命令的格式:
    spark-submit [options] --class [MainClass] xxx.jar args
    作业名称SlsStreaming为例,作业内容示例如下:
    --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>
    注意
    • 如果作业JAR包保存在OSS中,则引用这个JAR包的方式是ossref://xxx/.../xxx.jar
    • 您可以单击下方的+插入OSS路径,选择文件前缀OSSREF,从文件路径中进行浏览和选择,系统会自动补齐OSS上Spark Streaming脚本的路径。
  8. 单击保存,作业配置即定义完成。