全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建EMR Spark SQL节点

更新时间:Nov 03, 2023

您可以通过创建EMR(E-MapReduce) Spark SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。

前提条件

  • 数据开发(DataStudio)中已创建业务流程。

    数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见创建业务流程

  • 已创建阿里云EMR集群,并注册EMR集群至DataWroks。

    创建EMR相关节点并开发EMR任务前,您需要先将EMR集群注册至DataWorks工作空间,操作详情请参见注册EMR集群至DataWorks

  • (可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员

  • 已购买独享调度资源组并完成资源组配置,包括绑定工作空间、网络配置等,详情请参见新增和使用独享调度资源组

使用限制

  • 仅支持使用独享调度资源组运行该类型任务。

  • DataLake或自定义集群若要在DataWorks管理元数据,需先在集群侧配置EMR-HOOK。若未配置,则在DataWorks中无法实时展示元数据、生成审计日志、展示血缘关系,EMR相关治理任务将无法开展。配置EMR-HOOK,详情请参见配置Spark SQL的EMR-HOOK

操作步骤

  1. 进入数据开发页面。

    登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 创建EMR Spark SQL节点。

    1. 鼠标悬停至image.png图标,选择新建节点 > EMR > EMR Spark SQL

      您也可以找到相应的业务流程,右键单击业务流程,选择新建节点 > EMR > EMR Spark SQL

    2. 新建节点对话框中,输入名称,并选择引擎实例节点类型路径

    3. 单击确认,进入EMR Spark SQL节点编辑页面。

  3. 使用EMR Spark SQL节点进行数据开发。

    1. 选择资源组。

      在工具栏单击高级运行图标,在参数对话框选择已创建的调度资源组。

      说明
      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见配置资源组与网络连通

      • 如果您后续执行任务需要修改使用的资源组,您可单击带参运行高级运行图标,选择需要更换的调度资源组。

    2. 使用SQL语句创建任务。

      在SQL编辑区域输入任务代码,示例如下。

      show tables; 
      CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
      ip STRING COMMENT'ip地址',
      uid STRING COMMENT'用户ID'
      )PARTITIONED BY(
      dt STRING
      ); --可以结合调度参数使用。
      说明
      • SQL语句最大不能超过130KB。

      • 使用EMR Spark SQL节点查询数据时,返回的查询结果最大支持10000条数据,并且数据总量不能超过10M。

      • 如果您的工作空间绑定多个EMR引擎,则需要根据业务需求选择合适的引擎。如果仅绑定一个EMR引擎,则无需选择。

      如果您需要修改代码中的参数赋值,请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别

      说明

      调度参数使用详情,请参考调度参数支持的格式

    3. 保存并运行SQL语句。

      在工具栏,单击保存图标,保存编写的SQL语句,单击运行图标,运行创建的SQL任务。

  4. 编辑高级设置

    不同类型EMR集群涉及配置的高级参数有差异,具体如下表。对于任务的相关参数配置,请参考Spark Configuration

    集群类型

    高级参数

    DataLake集群(新版数据湖)【EMR on ECS】Custom集群(自定义集群)【EMR on ECS】

    • “queue”:提交作业的调度队列,默认为default队列。关于EMR YARN说明,详情请参见队列基础配置

    • “priority”:优先级,默认为1。

    • “FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:

      • true:表示每次执行多条SQL语句。

      • false:表示每次执行一条SQL语句。

      说明

      该参数仅支持用于数据开发环境测试运行流程。

    • “ENABLE_SPARKSQL_JDBC”:提交SQL代码的方式。取值如下:

      • true:表示采用JDBC的方式提交SQL代码。当EMR集群无Kyuubi服务时,提交SQL代码至Spark Thrift-Server,当EMR集群有Kyuubi服务时,则通过JDBC方式提交SQL代码至Kyuubi,并支持自定义Spark参数。

        两种方式均支持元数据血缘,但提交至Thrift-Server的任务会缺少元数据对应节点任务的产出信息。

      • false:表示采用Spark-submit cluster方式提交SQL代码。此提交方式下,Spark2和Spark3均支持元数据血缘和产出信息。还支持自定义Spark参数。

        说明
        • Spark-submit cluster提交方式默认在EMR集群HDFS的/tmp目录下创建临时文件及目录,您需要保证目录具有读写权限。

        • 当选择Spark-submit cluster方式提交时,您可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的参数。例如,"spark.driver.memory" : "2g"

      默认值为false

    Hadoop集群(数据湖)【EMR on ECS】

    • “queue”:提交作业的调度队列,默认为default队列。关于EMR YARN说明,详情请参见YARN调度器

    • “priority”:优先级,默认为1。

    • “FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:

      • true:表示每次执行多条SQL语句。

      • false:表示每次执行一条SQL语句。

    • “USE_GATEWAY”:设置本节点提交作业时,是否通过Gateway集群提交。取值如下:

      • true:通过Gateway集群提交。

      • false:不通过Gateway集群提交,默认提交到header节点。

    说明

    如果本节点所在的集群未关联Gateway集群,此处手动设置参数取值为true时,后续提交EMR作业时会失败。

    Spark【EMR ON ACK】

    “FLOW_SKIP_SQL_ANALYZE”表示SQL语句执行方式。取值如下:

    • true:表示每次执行多条SQL语句。

    • false:表示每次执行一条SQL语句。

    您可自定义SPARK参数,但需要使用完整参数名称,例如:“spark.executor.instances”:20;同时,支持配置全局Spark参数,详情请参见设置全局Spark参数

  5. 任务调度配置。

    如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:

  6. 提交并发布节点任务。

    1. 单击工具栏中的保存图标,保存节点。

    2. 单击工具栏中的提交图标,提交节点任务。

    3. 提交新版本对话框中,输入变更描述

    4. 单击确定

    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务

  7. 查看周期调度任务。

    1. 单击编辑界面右上角的运维,进入生产环境运维中心。

    2. 查看运行的周期调度任务,详情请参见查看并管理周期任务

    如果您需要查看更多周期调度任务详情,可单击顶部菜单栏的运维中心,详情请参见运维中心概述