EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。

前提条件

EMR引擎类型包括新版数据湖(DataLake)及Hadoop,不同类型引擎创建节点前需执行的准备工作不同。您需要根据实际情况完成EMR侧及DataWorks侧的准备工作。

使用限制

  • 仅支持使用独享调度资源组运行该类型任务。
  • DataWorks目前已不支持新绑定Hadoop类型的集群,但您之前已经绑定的Hadoop集群仍然可以继续使用。
  • 如果您使用的独享调度资源组和EMR集群是6月10号之前创建的,则需要提交工单升级相关组件。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发
  2. 创建业务流程
    如果您已有业务流程,则可以忽略该步骤。
    1. 鼠标悬停至新建图标,选择新建业务流程
    2. 新建业务流程对话框,输入业务名称
    3. 单击新建
  3. 创建EMR Spark Streaming节点。
    1. 鼠标悬停至新建图标,选择新建节点 > EMR > EMR Spark Streaming
      您也可以找到相应的业务流程,右键单击业务流程,选择新建节点 > EMR > EMR Spark Streaming
    2. 新建节点对话框中,输入名称,并选择引擎实例节点类型路径
      说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
    3. 单击提交,进入EMR Spark节点编辑页面。
  4. 创建并引用EMR JAR资源。
    如果您使用的是DataLake(新版数据湖)集群,则可通过如下步骤引用EMR JAR资源。
    说明 若EMR Spark Streaming节点依赖的资源较大,则无法通过DataWorks页面上传。您可将资源存放至HDFS上,然后在代码中进行引用。代码示例如下。
    spark-submit --master yarn
    --deploy-mode cluster
    --name SparkPi
    --driver-memory 4G
    --driver-cores 1
    --num-executors 5
    --executor-memory 4G
    --executor-cores 1
    --class org.apache.spark.examples.JavaSparkPi
    hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100
    1. 创建EMR JAR资源,详情请参见创建和使用EMR资源。首次使用需要进行一键授权
    2. 引用EMR JAR资源。
      1. 打开创建的EMR Spark Streaming节点,停留在代码编辑页面。
      2. EMR > 资源节点下,找到待引用资源,右键选择引用资源
      3. 选择资源后,当节点编辑页面显示##@resource_reference{""}格式的语句,表明资源引用成功。此时,需要执行下述命令。命令涉及的资源包、Bucket名称、路径信息等为本文示例的内容,使用时,请替换为实际使用的信息。
        ##@resource_reference{"examples-1.2.0-shaded.jar"}
        --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>
  5. 使用EMR Spark Streaming节点进行数据开发。
    1. 选择目标EMR引擎。
      在节点编辑页面的EMR引擎实例列表,选择需要使用的目标EMR引擎。
    2. 编写作业代码。
      在EMR Spark Streaming节点的编辑页面,输入需要执行的作业代码。示例如下。
      spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>
      说明
      • 示例在DataWorks上传的资源为examples-1.2.0-shaded.jar
      • access-key-idaccess-key-secret需要替换为您所使用的阿里云账号的AccessKey ID及AccessKey Secret。您可以登录DataWorks控制台,鼠标悬停至顶部菜单栏右侧的用户头像,进入AccessKey管理,获取AccessKey ID及AccessKey Secret。
      • EMR Spark Streaming节点编辑代码时不支持注释语句。
    3. 配置调度资源组。
      • 单击工具栏中的高级运行图标,在参数对话框中选择需要使用的调度资源组。
      • 单击确定
    4. 保存并运行任务。
      在工具栏中,单击保存图标,保存节点任务,单击运行图标,运行节点任务。
  6. 编辑高级设置
    如果您使用的是DataLake(新版数据湖)集群,则可配置如下高级参数。
    • “queue”:提交作业的调度队列,默认为default队列。
    • “priority”:优先级,默认为1。
    说明
    • 您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的参数。例如,"spark.driver.memory" : "2g"
    • Spark节点仅支持使用Yarn的Cluster和Local模式提交作业。Spark2的Cluster模式支持元数据血缘。
  7. 任务调度配置。
    如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:
  8. 提交并发布节点任务。
    1. 单击工具栏中的保存图标,保存节点。
    2. 单击工具栏中的提交图标,提交节点任务。
    3. 提交新版本对话框中,输入变更描述
    4. 单击确定
    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务
  9. 查看实时计算任务。
    1. 单击编辑界面右上角的运维,进入运维中心。
    2. 查看运行的实时计算任务,详情请参见实时计算任务运行与管理