当E-MapReduce集群的数据存储空间不足时,您可以根据本文进行磁盘(数据盘和系统盘)扩容。本文为您介绍如何对磁盘进行扩容。

背景信息

根据E-MapReduce版本和磁盘属性不同,E-MapReduce支持的磁盘扩容方式也不同,具体说明如下:
  • 数据盘:支持在E-MapReduce控制台直接对数据盘进行扩容。不支持缩容。
  • 系统盘:支持在ECS控制台对系统盘进行扩容。

数据盘扩容

E-MapReduce控制台仅支持数据盘扩容操作,如果需要对系统盘进行扩容,请参见系统盘扩容

注意 进行数据盘扩容操作前,请确保当前账号余额充足。数据盘扩容会自动扣款,如果余额不足,则扩容流程会中断。
  1. 进入集群详情页面。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
  2. 集群基础信息页面的右上方,选择资源变配 > 磁盘扩容
  3. 在弹出的磁盘扩容对话框中,在选择机器组下拉列表选择实例组,修改数据盘容量。
    磁盘扩容
  4. 完成配置后,单击确定
    磁盘扩容完成后,在 主机信息区域,实例组会显示 扩容磁盘已完成,重启机器组生效磁盘扩容信息
    注意 磁盘扩容成功后,您需要重启集群以使磁盘扩容生效。重启集群会重启集群中的ECS实例,ECS实例重启过程中大数据服务不可用,请确保在不影响业务的情况下进行重启操作。
  5. 单击扩容磁盘已完成,机器组待重启,设置集群重启的机制。
    info_en

    集群重启机制配置项。

    配置项 说明
    滚动重启 滚动重启说明如下:
    • 选中滚动重启复选框:在一个ECS实例重启完成且该实例上的大数据服务全部恢复后,再启动下一个ECS实例。每个节点重启耗时约5分钟。
    • 清除滚动重启复选框:同时重启ECS实例。
    只重启变配节点 变配节点是指已经完成磁盘扩容或者升级配置操作的节点,例如,CORE和MASTER等。只重启变配节点说明如下:
    • 选中只重启变配节点复选框:只重启变配节点,未变配的节点不会被重启。例如,如果只对CORE(核心实例组)的节点做了磁盘扩容,则只重启CORE(核心实例组)下的ECS实例。
    • 清除只重启变配节点复选框:重启所有节点,即集群下的所有ECS实例均会重启。
  6. 完成上述配置后,单击确认,确认重启集群。
    说明 扩容完成后,请登录ECS查看磁盘情况,如果扩容没有生效,请重启对应的ECS实例。

系统盘扩容

注意 系统盘扩容是一个比较复杂的操作,如果非特殊需要,建议不要进行系统盘扩容。对于非HA集群,扩容系统盘期间集群不可用。
  1. 进入集群详情页面。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
  2. 集群基础信息页面下方的主机信息区域,单击待扩容ECS实例的ECS ID
    跳转至ECS控制台。
  3. 扩容系统盘。
    1. 在左侧导航栏中,单击云盘
    2. 云盘页面,系统盘所在行的操作列,选择更多 > 云盘扩容
    3. 磁盘扩容页面,选择在线扩容,并设置扩容后容量
      说明 设置的 扩容后容量不允许小于当前容量。
    4. 确认费用,阅读并选中云服务器ECS服务条款后,单击确认扩容
    5. 磁盘扩容须知对话框中,单击已阅读,继续扩容,完成支付。
    在线扩容云盘存在多种限制,如果您的集群不能完全满足这些条件,请使用离线扩容云盘方式。详情请参见 在线扩容云盘(Linux系统)离线扩容云盘(Linux系统)
  4. 系统盘扩容完成后,您需要对扩容的磁盘进行扩展分区和文件系统操作,详情请参见扩展分区和文件系统_Linux系统盘
    说明
    • 在扩展分区和文件系统过程中,如果umount命令运行失败,请先在集群上关闭YARNHDFS服务。
    • 在Disk1操作时,如果出现ilogtail写日志而无法umount的情况,此时您可以通过sudo pgrep ilogtail | sudo xargs kill命令暂时关闭ilogtail。扩展分区和文件系统完成后,重启节点恢复ilogtail服务。
  5. 完成以上操作后,通过SSH方式登录本ECS实例,并通过df -h命令查看扩容结果。
    说明 系统盘扩容完成后,ECS实例存在以下问题:
    • ECS实例会对磁盘做一些处理,这可能导致ECS实例的/etc/hosts文件发生变化,您需要在扩容完成后修复/etc/hosts文件。
    • SSH免登录配置失效(不影响服务),您可以手动修复。