创建EMR Spark SQL节点

您可以通过创建EMR（E-MapReduce） Spark SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。

1. 进入数据开发页面。
   1. 登录DataWorks控制台。
   2. 在左侧导航栏，单击工作空间列表。
   3. 选择工作空间所在地域后，单击相应工作空间后的进入数据开发。
2. 鼠标悬停至图标，单击EMR > EMR Spark SQL。
   您也可以找到相应的业务流程，右键单击EMR，选择新建 > EMR Spark SQL。
3. 在新建节点对话框中，输入节点名称，并选择目标文件夹。
   说明 节点名称必须是大小写字母、中文、数字、下划线（_）和小数点（.），且不能超过128个字符。
4. 单击提交。
5. 在节点编辑页面，输入代码。

   -- SQL语句示例。
   -- SQL语句最大不能超过130KB。
   show tables;
   -- 可以结合调度参数使用。
   CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
   ip STRING COMMENT'ip地址',
   uid STRING COMMENT'用户ID'
   )PARTITIONED BY(
   dt STRING
   );
   -- 系统会自动为SELECT语句加上'limit 10000'的限制。

   调度参数使用详情可参考文档：配置调度参数

   如果您需要修改代码中的参数赋值，请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见：运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别

   相关文档：Spark SQL作业配置

   说明 如果您的工作空间绑定多个EMR引擎，需要选择EMR引擎。如果仅绑定一个EMR引擎，则无需选择。
6. 编辑高级配置。
   • "SPARK_CONF": "--conf spark.driver.memory=2g --conf xxx=xxx" ，设置spark 任务运行参数，多个参数在该key中追加。
   • “queue”：提交作业的调度队列，默认为default队列。
   • “vcores”： 虚拟核数，默认为1。
   • “memory”：内存，默认为2048MB（用于设置启动器Launcher的内存配额）。
   • “priority”：优先级，默认为1。
   • “FLOW_SKIP_SQL_ANALYZE”：SQL语句执行方式，参数值为false表示每次执行一条SQL语句；参数值为true表示每次执行多条SQL语句。
   • “USE_GATEWAY”：设置本节点提交作业时，是否通过Gateway集群提交，true标明通过Gateway集群提交，false表明不通过Gateway集群提交，默认提交到header节点。
     说明 如果本节点所在的集群未关联Gateway集群，此处手动设置参数取值为true时，后续提交EMR作业时会失败。
7. 在调度配置界面对节点配置调度相关参数。
   • 配置任务调度的基本信息，详情请参见配置基础属性。
   • 配置时间调度周期、重跑属性和上下游依赖关系，详情请参见时间属性配置说明及配置同周期调度依赖。
     说明 您需要设置节点的重跑属性和依赖的上游节点，才可以提交节点。

   相关配置详情请参见：配置基础属性
8. 保存并提交节点。
   注意 您需要设置节点的重跑属性和依赖的上游节点，才可以提交节点。
   1. 单击工具栏中的图标，保存节点。
   2. 单击工具栏中的图标。
   3. 在提交新版本对话框中，输入变更描述。
   4. 单击确认。
   如果您使用的是标准模式的工作空间，提交成功后，请单击右上方的发布。具体操作请参见发布任务。
9. 测试节点，详情请参见查看周期任务。