连接EMR处理大数据 - 人工智能平台 PAI

DSW可以连接EMR集群，提交并执行Spark作业。您可以利用EMR的大数据处理能力高效处理数据，并无缝衔接模型开发，实现大数据与AI的融合。

背景信息

数据预处理在机器学习和大语言模型领域中至关重要，但通常耗时且复杂，涵盖数据清洗、转换及特征构建等步骤。DSW与开源大数据平台EMR合作推出了一站式大数据与AI整合方案。

EMR是阿里云的全托管大数据处理服务，集成了Apache Spark，用户可在云环境中搭建、管理和使用Spark集群，执行大规模数据处理、实时计算、机器学习及图形处理等任务。

说明

每个DSW实例最多可以连接一个EMR集群，连接完成后不支持切换到其它集群。

已开通EMR并创建EMR集群，具体操作参见创建集群。
已创建DSW实例，镜像的操作系统版本不高于ubuntu 20.04，网络配置中需指定与EMR集群相同的VPC和安全组。具体操作参见创建DSW实例。
重要
DSW实例的VPC和安全组，必须与EMR集群相同，否则会导致后续配置失败。

进入DSW开发环境。
1. 登录PAI控制台。
2. 在页面左上方，选择DSW实例所在的地域。
3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入工作空间。
4. 在左侧导航栏，选择模型开发与训练 > 交互式建模（DSW）。
5. 单击需要打开的实例操作列下的打开，进入DSW开发环境。
在Notebook页签的Launcher页面，单击快速开始区域Tool下的DSW Gallery，打开DSW Gallery页面。
在DSW Gallery页面中，搜索大数据和AI一体化：向EMR集群提交Spark作业，单击在DSW中打开，即可自动将教程所需的资源和文件下载至DSW实例中，下载完成后自动打开教程文件。

在打开的教程文件emr_connect.ipynb中，可以查看教程内容并直接运行。

在教程文件中单击运行对应步骤的命令，完成一个步骤后再顺次运行下一步。

from IPython.display import display, HTML, Javascript
display(Javascript('emr$cluster$selector(element)'))

本教程包括以下4个运行步骤：

DSW实例重启后，需要重新执行选择EMR集群。和连接指定集群。，初始化EMR集群的连接信息。

执行EMR集群连接操作成功后，需要新建Terminal加载Spark环境参数。可执行以下命令检查当前会话中Spark配置是否生效，如果返回为空则未生效。

env | grep -i SPARK_HOME

该错误表示Driver所在客户端的Python版本与集群Worker节点的Python版本不匹配。

集群中Executor使用的Python环境没有安装PySpark应用依赖的包，推荐使用spark.archives配置将本地Python环境同步到远端，或手动在集群每个Worker节点安装相关依赖。

在Notebook页签的工具栏，选择Kernel > Restart Kernel。