本文以开发WordCount MapReduce作业为例,为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包,并在MaxCompute客户端上运行MapReduce作业。
前提条件
请确认您已满足如下条件:
- 已安装并配置MaxCompute客户端。
更多安装并配置MaxCompute客户端操作,请参见安装并配置MaxCompute客户端。
- 已安装MaxCompute Studio并连接MaxCompute项目。
更多安装MaxCompute Studio及连接MaxCompute项目操作,请参见安装MaxCompute Studio和管理项目连接。
- 已准备好源数据文件并保存至本地。
本文的示例数据文件名称为data.txt,内容为
hello,odps
,保存位置为MaxCompute客户端的bin
目录。
注意事项
如果您使用Maven开发MapReduce程序,可以从Maven库中搜索odps-sdk-mapred、odps-sdk-commons和odps-sdk-core获取不同版本的Java SDK,pom.xml文件需要配置的依赖信息如下。
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>odps-sdk-mapred</artifactId>
<version>0.36.4-public</version>
</dependency>
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>odps-sdk-commons</artifactId>
<version>0.36.4-public</version>
</dependency>
<dependency>
<groupId>com.aliyun.odps</groupId>
<artifactId>odps-sdk-core</artifactId>
<version>0.36.4-public</version>
</dependency>
操作流程
- 步骤一:开发MapReduce程序
通过MaxCompute Studio编写、运行调试MapReduce程序。
- 步骤二:生成并上传MapReduce JAR包
将编译成功的WordCount.java脚本打包为JAR包并上传至MaxCompute项目中。
- 步骤三:运行MapReduce作业
基于上传至MaxCompute项目的JAR包,使用
jar
命令运行MapReduce作业。
步骤一:开发MapReduce程序
- 创建MaxCompute Java Module。
- 启动IntelliJ IDEA,在顶部菜单栏,单击 。
- 在New Module对话框的左侧导航栏,单击MaxCompute Java。
- 配置Module SDK,单击Next。
- 填写Module name,例如mapreduce,单击Finish。
- 编写并运行调试WordCount MapReduce程序。