开源大数据平台 E-MapReduce - 阿里云E-MapReduce新增Remote Shuffle Service
Jan 05 2021
开源大数据平台 E-MapReduce适用客户
数字营销/在线教育/互联网娱乐头部企业
新增功能/规格
ESS(EMR Remote Shuffle Service)是EMR在优化计算引擎的Shuffle操作上,推出的扩展组件。使用Push-Style Shuffle代替Pull-Style,减少Mapper的内存压力。支持IO聚合,Shuffle Read的连接数从M*N降到N,同时更改随机读为顺序读。支持两副本机制,降低Fetch Fail概率。支持计算与存储分离架构,可以部署Shuffle Service至特殊硬件环境中,与计算集群分离。解决Spark on Kubernetes时对本地磁盘的依赖。