文档中心
E-MapReduce
E-MapReduce
动态与公告
文档最新动态
产品简介
什么是E-MapReduce
产品优势
产品架构
使用场景
使用限制
发行版本
版本概述
版本说明(EMR-4.x系列)
EMR-4.6.x版本说明
EMR-4.5.x版本说明
EMR-4.4.1版本说明
EMR-4.4.0版本说明
EMR-4.3.0版本说明
版本说明
EMR-3.33.x版本说明
EMR-3.32.x版本说明
EMR-3.30.x版本说明
EMR-3.29.x版本说明
EMR-3.28.x版本说明
EMR-3.27.x版本说明
EMR-3.26.x版本说明
EMR-3.25.x版本说明
EMR-3.24.x版本说明
EMR-3.23.x版本说明
EMR-3.22.x版本说明
EMR-3.22.x之前版本说明
产品计费
费用组成
包年包月
按量计费
到期与欠费
续费流程
按量转包月
快速入门
入门概述
准备工作
创建集群
创建并运行作业
集群管理
集群规划
选型配置说明
实例类型
配置EMR角色
角色授权
EMR服务角色
ECS应用角色(EMR 3.32及之前版本和EMR 4.5及之前版本)
ECS应用角色(EMR 3.32之后版本和EMR 4.5之后版本)
使用自定义ECS应用角色访问同账号云资源
用户管理
RAM用户授权
组件角色部署
Gateway实例概述
ECS实例概述
存储说明
本地盘机型支持
经典网络与VPC互访
集群容灾能力
集群配置
创建集群
创建Gateway
查看集群列表与详情
扩容集群
缩容集群
释放集群
管理集群标签
使用资源组
集群续费管理
使用SSH连接主节点
访问Web UI
通过SSH隧道方式访问开源组件Web UI
访问链接与端口
查看服务列表
组件参数配置
软件自定义配置
集群脚本
安全组
管理集群资源
集群资源概述
Fair Scheduler使用说明
Capacity Scheduler使用说明
配置弹性伸缩
弹性伸缩概述
新建弹性伸缩机器组
管理弹性伸缩
按时间伸缩规则配置
查看弹性伸缩记录
设置弹性伸缩监控告警
配置专有网络
集群服务管理页面
服务管理
添加服务
重启服务
变更配置
升级节点配置
磁盘扩容
移除异常节点
新增机器组
第三方软件
引导操作
集群运维
状态表
集群端口配置
E-MapReduce 集群运维指南
常用文件路径
集群管理常见问题
集群类型
Hadoop集群
SmartData
Alluxio
Hudi
Kudu
Zeppelin
Oozie
ZooKeeper
OpenLDAP
Flink(VVR)
Sqoop
Knox
Tez
Phoenix
Spark
Spark
管理LDAP认证
Hive
简介
Hive基础操作
Hive连接方式
Impala
简介
连接Impala
ESS
简介
Delta
EMR Delta概述
快速入门
应用场景
场景一:流式入库
场景二:数据同步
场景三:冷热分层
基本操作
批式读写
流式读写
删除、更新与合并数据
优化表
转换表
修改表
数据质量与Schema演化
访问历史信息
使用Hive读Delta table
使用Presto读Delta table
附录
附录1 重要参数介绍
附录2 优化建议
附录3 常见问题
Presto
简介
系统组成
基本概念
通过命令行工具访问Presto
使用JDBC
管理LDAP认证
Flume
使用说明
同步EMR Kafka数据至HDFS
配置说明
同步LogHub数据至HDFS
Hue
使用说明
Hue对接LDAP
Hue连接开启LDAP认证的引擎
实现Hue多实例负载均衡
Ranger
Ranger 简介
组件集成
HDFS配置
HBase配置
Hive配置
Spark配置
Presto配置
YARN配置
Ranger对接LDAP
Ranger Usersync集成LDAP
Ranger Admin集成LDAP
Hive数据脱敏
Kerberos
概述
兼容MIT Kerberos认证
RAM认证
数据开发认证
跨域互信
组件授权
HDFS授权
YARN授权
Hive授权
HBase授权
Kafka集群
Kafka
概述
跨集群访问Kafka
使用Kafka Ranger
使用SSL连接Kafka
Kafka常见问题
Kafka Manager
ZooKeeper
OpenLDAP
Knox
Ranger
概述
Kafka配置
Ranger对接LDAP
Ranger Usersync集成LDAP
Ranger Admin集成LDAP
组件授权
Kafka授权
DataScience集群
概述
PAI-Alink
Alink调度
Faiss-Server
AutoML
TensorFlow
Jupyterhub
Druid集群
Druid
Druid 简介
使用Druid
数据格式描述文件
Kafka Indexing Service
SLS Indexing Service
常见问题
Superset
ZooKeeper
Knox
OpenLDAP
Dataflow集群
ZooKeeper
Knox
OpenLDAP
数据开发
简介
项目管理
作业编辑
工作流编辑
临时查询
运维中心
集群模板
云监控事件编码
作业
作业日期设置
Shell作业配置
Hive作业配置
Hive SQL作业配置
Spark作业配置
Spark SQL作业配置
Spark Shell作业配置
Spark Streaming作业配置
Hadoop MapReduce作业配置
Sqoop作业配置
Pig作业配置
Flink(VVR)作业配置
Streaming SQL作业配置
Presto SQL作业配置
Impala SQL作业配置
数据开发常见问题
元数据管理
Hive元数据管理
Hive统一元数据
Hive元数据基本操作
配置独立RDS
Hive元数据迁移
从统一元数据库迁出到用户自建的RDS实例
Kafka元数据管理
元数据管理常见问题
监控与报警
监控大盘
概述
仪表盘
事件列表
集群监控
服务监控
概述
HDFS监控
YARN 监控
Hive监控
Zookeeper监控
Spark监控
Druid监控
Kafka监控
作业监控
配置事件订阅
订阅事件编码对照表
日志搜索
查询自定义指标
报警管理
管理集群报警
服务状态接入云监控
开发指南
准备
开发准备
OSS 参考使用说明
示例项目使用说明
Python使用说明
Spark
准备工作
参数说明
Spark对接OSS
Spark对接MaxCompute
Spark对接RocketMQ
Spark对接Table Store
Spark + LogService
实时 Spark Streaming 消费示例
离线 Spark 消费示例
开发入门
Spark对接MNS
Spark对接HBase
Spark对接Kafka
Spark对接MySQL
Spark-Submit 参数设置说明
Spark Streaming SQL
简介
流式查询
作业模板(EMR-3.23.0及之后版本)
作业模板
配置说明
DDL概述
建表语句
SCAN语句
STREAM语句
查询概述
SELECT语句
WHERE语句
GROUP BY语句
JOIN语句
WATERMARK语句
UNION ALL语句
DML概述
MERGE INTO
INSERT INTO
窗口函数
概述
滚动窗口
滑动窗口
数据源
数据源支持概述
HBase数据源
JDBC数据源
Kafka数据源
Loghub数据源
TableStore数据源
Redis数据源
Druid数据源
DataHub数据源
Hadoop
参数说明
MapReduce开发手册
Hive开发手册
Pig开发手册
Hadoop Streaming
Hive + TableStore
MR+TableStore
HBase
访问HBase
备份HBase集群
最佳实践
SmartData
迁移Hadoop文件系统数据至JindoFS
使用MapReduce处理JindoFS上的数据
使用Hive查询JindoFS上的数据
使用Spark处理JindoFS上的数据
使用Flink处理JindoFS上的数据
使用Impala/Presto查询JindoFS上的数据
使用JindoFS作为HBase的底层存储
基于JindoFS存储YARN MR/SPARK作业日志
将Kafka数据导入JindoFS
跨集群访问JindoFS
改写Jindo HDFS客户端路径
支持Flink可恢复性写入JindoFS或OSS
集群管理
使用YARN CGroups功能对CPU进行控制测试
OSS数据权限隔离
数据开发
通过Presto查询RDS或MySQL数据库
使用E-MapReduce采集Kafka客户端Metrics数据
SparkSQL自适应执行
E-MapReduce数据迁移方案
通过Flink作业处理OSS数据
Gateway 节点运行 Flume 进行数据同步
通过Spark Streaming作业处理Kafka数据
通过Kafka Connect进行数据迁移
通过Hive作业处理TableStore数据
通过JDBC连接HiveServer2来访问Hive数据
通过PyFlink作业处理Kafka数据
SmartData
JindoFS介绍和使用
SmartData 3.2.x
SmartData 3.2.x版本简介
JindoFS Block模式
Block模式使用说明
使用RocksDB作为元数据后端
使用Raft-RocksDB-Tablestore作为存储后端
AuditLog使用说明
访问JindoFS Web UI
权限功能
数据管理策略
文件元数据离线分析
JindoFS Cache模式
Cache模式使用说明
使用JindoFS SDK免密功能
AuditLog使用说明
Jindo Job Committer使用说明
Credential Provider使用说明
访问JindoFS Web UI
权限功能
JindoTable
开启ORC查询加速
JindoTable使用说明
JindoCube使用说明
JindoTable表分区访问热度收集
工具集
FUSE使用说明
Jindo DistCp使用说明
Jindo DistCp场景化使用指导
分层存储命令使用说明
SmartData 3.1.x
SmartData 3.1.x版本简介
JindoFS Block模式
Block模式使用说明
使用RocksDB作为元数据后端
使用Raft-RocksDB-Tablestore作为存储后端
AuditLog使用说明
访问JindoFS Web UI
权限功能
数据管理策略
文件元数据离线分析
JindoFS Cache模式
Cache模式使用说明
使用JindoFS SDK免密功能
AuditLog使用说明
Jindo Job Committer使用说明
Credential Provider使用说明
访问JindoFS Web UI
权限功能
JindoTable
JindoTable使用说明
JindoTable表或分区的访问热度收集
JindoCube使用说明
工具集
FUSE使用说明
Jindo DistCp使用说明
Jindo DistCp场景化使用指导
分层存储命令使用说明
SmartData 3.0.x
SmartData 3.0.x版本简介
JindoFS Block模式
JindoFS Block模式使用说明
使用RocksDB作为元数据后端
使用Raft-RocksDB-Tablestore作为存储后端
访问JindoFS Web UI
权限功能
AuditLog使用说明
文件元数据离线分析
JindoFS Cache模式
JindoFS缓存模式使用说明
使用JindoFS SDK免密功能
访问JindoFS Web UI
JindoFS权限功能
Jindo Job Committer使用说明
JindoFS AuditLog使用说明
Credential Provider使用说明
JindoTable
JindoTable使用说明
JindoCube使用说明
工具集
JindoFS FUSE使用说明
分层存储命令使用说明
Jindo DistCp使用说明
Jindo DistCp场景化使用指导
SmartData 2.7.3-2.7.4
JindoFS Block模式
Block模式使用说明
使用Tablestore作为存储后端
使用RocksDB作为元数据后端
使用Raft-RocksDB-Tablestore作为存储后端
JindoFS权限功能
Jindo AuditLog使用说明
JindoFS Cache模式
JindoFS缓存模式使用说明
使用JindoFS SDK免密功能
Jindo Job Committer使用说明
JindoFS权限功能
Jindo AuditLog使用说明
JindoTable
JindoCube使用说明
工具集
Jindo DistCp使用说明
FUSE使用说明
SmartData 2.6.0-2.7.2
SmartData 2.6.0-2.7.2版本简介
JindoFS Block模式
JindoFS块存储模式使用说明
使用Tablestore作为存储后端
使用RocksDB作为元数据后端
使用Raft-RocksDB-Tablestore作为存储后端
JindoFS权限功能
JindoFS Cache模式
JindoFS缓存模式使用说明
JindoFS权限功能
Jindo Job Committer使用说明
JindoTable
JindoCube使用说明
工具集
Jindo DistCp使用说明
SmartData 2.2.x及之前版本
JindoFS使用说明(EMR-3.20.0~3.22.0版本)
JindoFS 使用说明(E-MapReduce-3.22.0及以上版本)
JindoFS块存储模式
JindoFS缓存模式
使用JindoFS SDK免密功能
JindoFS 外部客户端
API参考
API概览
调用说明
请求结构
公共参数
签名机制
返回结果
集群
创建集群
创建集群模板
通过模版创建集群
删除集群模版
查询集群模版详情
查询集群基本信息
查询集群信息
查询集群主机列表
查询集群列表
查询集群模版列表
查询服务的快捷链接
查询集群机器组列表
查询可用集群信息列表
查询可用资源
查看EMR版本信息
修改集群模版
修改集群名称
释放集群
集群扩容
加入资源组
集群缩容
集群服务
添加服务
修改伸缩配置项
创建资源池
创建资源队列
删除指定资源池
删除资源队列
查看集群操作日志
查看资源池策略类型
查询服务信息
查询服务配置详情
查询集群服务配置标签
查询组件列表
查询集群的操作历史列表
查看指定主机的任务列表
查询操作历史的主机列表
查询集群已安装服务列表
查询指定主机的任务列表
查看集群支持的服务列表
查询集群的服务列表
查看健康信息列表
查询服务配置的修改历史
查询资源池列表
修改集群指定服务的配置信息
更新资源池
修改资源池调度类型
修改资源队列
同步资源池并配置到集群
运行指定操作
弹性伸缩
创建伸缩组
新建弹性伸缩配置项
修改伸缩组
查看伸缩组
查看伸缩配置项
查看伸缩活动
查询伸缩配置项详情
查看伸缩组实例详情
查询伸缩组详情
操作伸缩组实例
删除弹性伸缩配置项
标签
查询标签列表
创建并绑定标签
解绑标签
数据开发
克隆工作流
克隆作业
创建工作流目录文件夹
创建工作流
创建作业
创建数据开发项目
创建项目集群设置
添加项目用户
删除工作流
删除工作流目录
删除作业
删除数据开发项目
删除项目集群设置
删除项目用户
查询工作流信息
查询目录信息
获取目录树
获取工作流实例信息
查询作业信息
查询节点实例详情
查询节点实例容器日志
查询节点实例启动器日志
查询项目详情
查询项目设置详情
停止作业实例
查询工作流列表
查询项目中可用的集群列表
查询数据开发中可用的集群列表
获取提交代理节点列表
查询可提交作业的客户端列表
查询工作流实例列表
查询作业列表
查询作业运行实例列表
查询工作流节点实例列表
查询节点实例的容器状态详情
查询节点实例SQL结果
查询项目列表
查询项目集群设置列表
查询项目用户信息
修改工作流
查询工作流目录
修改项目集群设置
重命名目录
修改图形信息的工作流
修改数据开发项目
修改作业
重试工作流
恢复工作流
提交运行工作流
提交运行作业
暂停工作流
常用API教程
创建集群
修改集群配置
扩容集群
管理项目
编辑作业
运行工作流
SDK参考
E-MapReduce SDK发布说明
Java SDK
SDK下载
快速开始
示例项目
Python SDK
安装SDK
样例代码
常见问题
常见问题汇总
all-products-head
搜索本产品
搜索本产品
全部产品
E-MapReduce
E-MapReduce
全部产品
E-MapReduce
E-MapReduce
更多
更少
动态与公告
文档最新动态
更多
更少
产品简介
什么是E-MapReduce
产品优势
产品架构
使用场景
使用限制
发行版本
更多
更少
产品计费
费用组成
包年包月
按量计费
到期与欠费
续费流程
按量转包月
更多
更少
快速入门
入门概述
准备工作
创建集群
创建并运行作业
更多
更少
集群管理
集群规划
集群配置
服务管理
变更配置
第三方软件
集群运维
集群管理常见问题
更多
更少
集群类型
Hadoop集群
Kafka集群
DataScience集群
Druid集群
Dataflow集群
更多
更少
数据开发
简介
项目管理
作业编辑
工作流编辑
临时查询
运维中心
集群模板
云监控事件编码
作业
数据开发常见问题
更多
更少
元数据管理
Hive元数据管理
Kafka元数据管理
元数据管理常见问题
更多
更少
监控与报警
监控大盘
报警管理
服务状态接入云监控
更多
更少
开发指南
准备
Spark
Spark Streaming SQL
Hadoop
HBase
更多
更少
最佳实践
SmartData
集群管理
数据开发
更多
更少
SmartData
JindoFS介绍和使用
SmartData 3.2.x
SmartData 3.1.x
SmartData 3.0.x
SmartData 2.7.3-2.7.4
SmartData 2.6.0-2.7.2
SmartData 2.2.x及之前版本
更多
更少
API参考
API概览
调用说明
集群
集群服务
弹性伸缩
标签
数据开发
常用API教程
更多
更少
SDK参考
E-MapReduce SDK发布说明
Java SDK
Python SDK
更多
更少
常见问题
常见问题汇总
更多
更少
免费试用
免费试用