本文汇总了集群创建与配置时的常见问题。

错误提示:“The specified zone is not available for purchase.”

您选择创建集群的可用区暂时停止了按量计费ECS的售卖,建议您更换可用区购买。

错误提示:“The request processing has failed due to some unknown error, exception or failure.”

您可以稍等一会重试,也可以立即提交工单处理。

错误提示:“The Node Controller is temporarily unavailable.”

请稍等一会再重试创建集群。

错误提示:“Zone或者Cluster的库存不够了”

待创建E-MapReduce集群可用区的ECS实例库存不足。您可以尝试手动选择其他可用区重新创建集群,或者使用随机模式创建集群。

错误提示:“指定的InstanceType未授权使用”

ECS的按量付费高配机型(8核以上的所有机型)需要用户申请开通以后才可以使用,请单击提交工单申请。请申请8核16 GiB、8核32 GiB、16核32 GiB和16核64 GiB这四种目前E-MapReduce使用的机型。

创建集群失败,构建失败 “The specified instance Type exceeds the maximum limit for the PostPaid instances”

问题分析:
  • 您的按量节点数量已达到上限。
  • 您没有创建这个机型的权限。
解决方法:
  • 申请增加节点数量。
  • 在ECS开通这个机型的使用权限。

如何登录Core节点?

  1. 在Master节点上切换到hadoop账号。
    su hadoop
  2. 免密码登录到对应的Core节点。
    ssh emr-worker-1
  3. 通过sudo获得root权限。
    sudo vi /etc/hosts

为什么集群已续费但还是会收到没有续费的通知?

问题分析:因为E-MapReduce涉及E-MapReduce和ECS两部分费用,大部分的用户都只是续费了ECS而没有续费E-MapReduce。

解决方法:您可以进入集群基础信息页面,在费用管理 > 续费页面,查看ECS和E-MapReduce到期时间。

E-MapReduce是否支持自动续费?

E-MapReduce支持自动续费操作,包括E-MapReduce和ECS的自动续费。

E-MapReduce如何退款?

如果您需要申请退款,请提交工单处理。

集群创建失败需要处理吗?

可以不用处理。对应的计算资源并没有真正地创建出来。创建失败的集群三天后自动隐藏。

集群机器如何分工?

E-MapReduce中包含一个Master节点和多个Slave(或者Worker)节点。其中Master节点不参与数据存储和计算任务,Slave节点用来存储数据和计算任务。例如,3台4核8 GiB机型的集群,其中一台机器用来作为Master节点,另外两台用来作为Slave节点,也就是集群的可用计算资源为2台4核8 GiB机型。

如何处理Kafka集群磁盘异常?

问题分析:常见磁盘异常包括磁盘写满和磁盘损坏。

解决方法:
  • 磁盘写满:
    1. 登录服务器。
    2. 查找到写满的磁盘,然后按照以下原则清理数据。
      • 切勿直接删除Kafka的数据目录,否则所有数据会丢失。
      • 切勿清理Kafka的系统topic,例如consumer_offsets和schema等。
      • 查找到占用空间较多或者明确不需要的topic,选择其中某些Partition,从最早的日志数据开始删除。删除Segment及相应的index和timeindex文件。
    3. 重启Kafka broker服务。
  • 磁盘损坏:
    • 磁盘损坏不超过25%时,无需处理。
    • 磁盘损坏超过25%时,请提交工单处理。

错误提示“The specified DataDisk Size beyond the permitted range, or the capacity of snapshot exceeds the size limit of the specified disk category”

磁盘参数设置太小,建议您调整到40 GB以上重试。

错误提示"Your account does not have enough balance"

账号余额不足。

错误提示“The maximum number of Pay-As-You-Go instances is exceeded: create ecs vcpu quota per region limited by user quota [xxx]”

您按量计费的ECS使用量达到上限,需要申请提高ECS使用量上限,详情请参见或者释放部分按量计费的ECS以便继续创建E-MapReduce集群。

E-Mapreduce主节点是否支持安装其他软件?

不建议安装。因此安装其他软件可能会影响集群的稳定性和可靠性,所以不建议安装。

各个节点上的服务开机会自动启动吗?服务异常中断也会自动重启吗?

会自动启动。服务异常中断会自动恢复。

thrift的Hbase端口号是多少?

9099端口。

E-MapReduce是否支持竞价实例?

E-MapReduce在使用弹性伸缩功能时,支持抢占式实例,详情请参见创建抢占式实例

错误提示FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

问题描述:创建集群时选择了统一meta库,但执行Hive报错。

通常是因为集群没有公网EIP,导致集群未创建成功。您可以提交工单处理。

之前购买了一套EMR-3.4.3版本,现在需要再购买一套,为什么选不到3.4.3版本?

E-MapReduce的主版本会定期升级,对于部分老版本会做下线处理。您可以查看现有E-MapReduce版本中各个软件的版本(如Hive和Spark)是否满足您的需求。如果您需要已下线的EMR版本,请提交工单处理。

E-MapReduce和MaxCompute的区别是什么?

两者都是大数据处理解决方案。E-MapReduce是完全在开源基础上构建的大数据平台,对开源软件的使用方式和实践方式100%兼容。MaxCompute由阿里巴巴开发,对外不开源,但是封装后使用起来比较方便,而且运维成本也较低。

存储会自动负载均衡还是需要手动均衡?如果需要手动均衡在哪里操作?

需要手动均衡,操作步骤如下:
  1. 登录阿里云E-MapReduce控制台
  2. 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组
  3. 单击上方的集群管理页签。
  4. 集群管理页面,单击相应集群所在行的详情
  5. 单击左侧导航栏的集群服务 > HDFS
  6. 单击右上角的操作 > Rebalance
  7. 执行集群操作对话框中,配置各项参数,单击确定
  8. 确认对话框中,单击确定

如何申请高配机型?

提交工单处理。