全部产品
Search
文档中心

HDFS

更新时间: 2022-01-14

如果您的数据存储在HDFS中,需要您提供计算节点(配置不低于16核64 GB),通过将HDFS和闪电立方Mini设备都挂载至计算节点上进行数据迁移。本文介绍挂载HDFS和闪电立方Mini设备至计算节点的操作步骤。

前提条件

  • 已准备计算节点。

  • 在挂载闪电立方Mini设备至计算节点前,请先确认计算节点,已经通过网线直连方式或交换机方式,连接到闪电立方Mini设备的网口或光口上,并确认网线、光纤线和光模块连接正常,端口连接指示灯正常。

步骤一:配置业务IP地址

  1. 登录硬件控制台。具体操作,请参见安装硬件

  2. 选择控制台>网络与虚拟交换机>网络适配器

  3. 选择状态为已连接的适配卡,单击编辑图标。

  4. 在IPv4中,选择使用固定IP地址,并根据您的实际网络环境配置固定IP地址子网掩码默认网关,单击应用

    说明

    请记录此IP地址,在挂载闪电立方至计算节点时,需配置此IP地址。

步骤二:挂载HDFS至计算节点

您可以参考以下方法使用FUSE挂载HDFS至计算节点。

注意

该方法仅供您参考,如果挂载失败,请自行寻找其他挂载方式。

  1. 部署CDH并下载hadoop-hdfs-fuse包。

  2. 登录计算节点(Linux系统)。

  3. 执行以下命令安装hadoop-hdfs-fuse。

    • 与Red hat兼容的系统

      sudo yum install hadoop-hdfs-fuse

    • Ubuntu系统

      sudo apt-get install hadoop-hdfs-fuse

    • SLES系统

      sudo zypper install hadoop-hdfs-fuse

  4. 执行以下命令设置并测试挂载点。

    • 非HA安装

      mkdir -p <mount_point>

      hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port> <mount_point>

      其中namenode_port为NameNode的RPC端口。

    • HA安装

      mkdir -p <mount_point>

      hadoop-fuse-dfs dfs://<nameservice_id> <mount_point>

      其中nameservice_idfs.defaultFS的值。

  5. 按下Ctrl+C组合键结束fuse-dfs程序。

  6. 执行以下命令,清理测试。

    umount <mount_point>

  7. 打开/etc/fstab,在底部添加如下行。

    hadoop-fuse-dfs#dfs://<name_node_hostname>:<namenode_port> <mount_point> fuse allow_other,usetrash,rw 2 0

    例如:hadoop-fuse-dfs#dfs://localhost:8020 /mnt/hdfs fuse allow_other,usetrash,rw 2

    在HA部署中,使用HDFS命名服务,即“hdfs-site.xml”中“dfs.nameservices”的值而不是NameNode URI。

  8. 执行以下命令,测试以确保系统正常运行。

    mount <mount_point>

    系统配置为允许使用ls命令,并可以像使用普通系统磁盘一样使用该挂载点。

步骤三:挂载闪电立方至计算节点

  1. 登录计算节点(Linux系统)。

  2. 执行以下命令创建本地目录,作为闪电立方的挂载目录。

    mkdir /mnt/cube

  3. 执行以下命令查看闪电立方的共享目录。

    showmount -e 172.16.0.1

    172.16.0.1为步骤一中配置的业务IP地址,请根据实际情况替换。

    如果回显信息中存在filedata目录,则表明闪电立方共享目录可以被挂载。

  4. 执行以下命令挂载闪电立方Mini设备至计算节点。

    mount 172.16.0.1:/filedata /mnt/cube

  5. 执行以下命令查看挂载结果。

    df -h

    如果回显包含如下类似信息,说明挂载成功。接入数据源-挂载-007 (2)

后续步骤

挂载HDFS和闪电立方Mini设备至计算节点后,需要通过闪电立方II、III型的迁移方式完成迁移任务。具体操作,请参见创建及执行数据迁移任务