全部产品
Search
文档中心

云备份:添加数据源

更新时间:Nov 28, 2023

阿里云云备份提供非结构化文件系统类数据同步功能,可以将源端数据源(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步至目的端数据源(包括阿里云上)。首次数据同步前,您需要添加源端数据源和目的端数据源。本文介绍如何在云备份控制台添加数据源。

前提条件

  • 已开通阿里云云备份服务。开通云备份不收取任何费用,数据同步功能公测中,不收取任何费用。

  • 已完成授权和安装客户端。更多操作,请参见准备工作

操作步骤

  1. 登录云备份Cloud Backup控制台

  2. 在左侧导航栏,选择同步>数据同步

  3. 在顶部菜单栏左上角,选择所在地域。

  4. 数据源列表页签,单击添加数据源

  5. 添加数据源面板,配置如下参数,单击确定

    • 数据源类型网络附属存储(NAS)

      1. 配置重要参数,描述如下:

        参数

        描述

        数据源类型

        数据源来源类型,此处选择网络附属存储(NAS)

        数据源名称

        数据源名称。

        NAS网络地址

        待同步数据的NAS的网络地址。

        NAS共享目录

        共享相对/根目录的路径,例如/myshare,表示共享/myshare路径,用于后续数据同步。

        • 如何查询NAS共享目录,请参见如何查询NAS共享目录

        • 仅支持中文、英文大小写,数字以及特殊符号 ,-_=/.:\

          说明

          在大多数情况下,文件存储 NAS的NFS协议文件系统挂载后的根目录为/,而SMB协议文件系统挂载后的根目录为/myshare。然而,请注意,在实际操作中,挂载的目录可能会有所不同。因此,请根据您的实际挂载情况进行操作。

        协议类型

        支持的NAS协议类型。

        • NFS:NAS的协议是NFS时,选择该值。

        • SMB:NAS的协议是SMB时,选择该值。

        • GlusterFS:NAS的协议是GlusterFS时,选择该值。

        重要
        • 如果您挂载的是阿里云NAS,请在高级设置里设置参数vers的取值。

        • 必须在客户端机器上安装NFS/SMB/GlusterFS客户端。您可以参考如下命令安装NFS/SMB/GlusterFS客户端。

          NFS
          -CentOS: sudo yum install nfs-utils
          -Ubuntu: sudo apt-get install nfs-common
          SMB
          -Centos: sudo yum install cifs-utils
          -Ubuntu: sudo apt-get install cifs-utils
          -openSUSE: sudo zypper install cifs-utils
          GlusterFS
          -CentOS: sudo yum install glusterfs-client
          -Ubuntu: sudo apt-get install glusterfs-client
          -Reference: https://docs.gluster.org/en/latest/Install-Guide/Overview/
      2. (可选)单击高级设置,然后单击+配置挂载参数

        各挂载参数说明如下表所示。

        参数

        描述

        vers

        文件系统版本。

        • vers=3:使用NFS v3协议挂载文件系统。

        • vers=4:使用NFS v4协议挂载文件系统。

        • vers=4.0:使用NFS v4.0协议挂载文件系统。

        nolock

        是否启用文件锁。

        proto

        文件系统挂载协议。

        rsize

        定义数据块的大小,用于客户端与文件系统之间读取数据。

        建议值:1048576字节

        wsize

        定义数据块的大小,用于客户端与文件系统之间写入数据。

        建议值:1048576字节

        hard

        在文件存储NAS暂时不可用的情况下,使用文件系统上某个文件的本地应用程序时会停止并等待至该文件系统恢复在线状态。建议启用该参数。

        timeo

        指定时长,单位为0.1秒,即NFS客户端在重试向文件系统发送请求之前等待响应的时间。

        建议值:600(60秒)

        retrans

        NFS客户端重试请求的次数。

        建议值:2

    • 数据源类型Hadoop分布式文件系统(HDFS)

      配置重要参数,描述如下:

      参数

      描述

      数据源类型

      数据源来源类型,此处选择Hadoop分布式文件系统(HDFS)

      数据源名称

      用于表示HDFS的数据源名称。您可以根据情况自行定义合适的名称。例如back-end-hdfs。

      NameNode 网络地址

      用于表示HDFS主服务器的网络地址。

      NameNode作为主服务器,管理HDFS文件系统的命名空间和客户端对文件的访问操作。例如网络地址为47.100.XX.XX,端口为9000,则数据源地址为47.100.XX.XX:9000

      NameNode 端口

      用于表示HDFS主服务器的端口号。例如9000

      Secondary NameNode 网络地址

      用于表示HDFS的辅助节点网络地址。

      辅助节点用于协助主服务器的管理工作。

      Secondary NameNode 端口

      用于表示HDFS的辅助节点网络端口号。

      HDFS用户名

      用于表示HDFS的用户名。

      说明

      请确保HDFS用户有足够的权限(推荐用hadoop或hdfs),否则可能导致数据同步时无法读取文件。

    • 数据源类型阿里云对象存储(OSS)

      配置重要参数,描述如下:

      参数

      描述

      数据源类型

      数据源来源类型,此处选择阿里云对象存储(OSS)

      数据源名称

      用于表示OSS数据源名称。

      用HTTPS传输数据

      选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。

      OSS Bucket

      从下拉框中选择待同步的OSS Bucket名称。云备份会自动获取您账号下该地域的所有Bucket列表。

      OSS Endpoint

      从下拉框中选择OSS Bucket的Endpoint。OSS各地域Endpoint请参见访问域名和数据中心

      • 如果通过公网进行数据同步,请选择Bucket的公网域名。例如杭州为oss-cn-hangzhou.aliyuncs.com

      • 如果通过阿里云VPC进行数据同步,请选择Bucket的内网域名。例如杭州为oss-cn-hangzhou-internal.aliyuncs.com

    • 数据源类型文件存储CPFS

      配置重要参数,描述如下:

      参数

      描述

      数据源名称

      用于表示文件存储CPFS的数据源名称。该名称便于您快速识别数据源,您可以根据情况自行定义合适的名称。例如cpfs。

      CPFS挂载路径

      文件存储CPFS的挂载路径。例如挂载路径为/cpfs/00d0******1b-000001

      如果您的文件存储CPFS还未添加POSIX挂载点、安装CPFS-POSIX客户端。请先添加挂载点和完成安装。

      您可以在CPFS集群管理节点执行以下命令,查询CPFS集群实例状态、查询挂载路径。

      • 查询CPFS集群实例状态

        • 执行命令

          mmgetstate -a
        • 返回示例

           Node number  Node name                            GPFS state  
          ---------------------------------------------------------------
                     1  cpfs-00d0******1b-000001-qr-001  active
                     2  cpfs-00d0******1b-000001-qr-002  active
                     3  cpfs-00d0******1b-000001-qr-003  active
                     4  iZbp******haqrZ              active
      • 查询CPFS挂载路径

        • 执行命令

          df -h
        • 返回示例

        Filesystem               Size  Used Avail Use% Mounted on
        devtmpfs                 3.8G     0  3.8G   0% /dev
        tmpfs                    3.8G   16K  3.8G   1% /dev/shm
        tmpfs                    3.8G  528K  3.8G   1% /run
        tmpfs                    3.8G     0  3.8G   0% /sys/fs/cgroup
        /dev/vda1                 40G  7.3G   33G  19% /
        tmpfs                    763M     0  763M   0% /run/user/0
        00d0******1b-000001  3.6T  564M  3.6T   1% /cpfs/00d0******1b-000001

        其中,/cpfs/00d0******1b-000001为CPFS挂载路径。

    • 数据源类型OSS协议兼容存储

      配置重要参数,描述如下:

      参数

      描述

      数据源类型

      数据源来源类型,此处选择OSS协议兼容存储

      数据源名称

      用于表示OSS协议兼容存储的数据源名称。您可以根据情况自行定义合适的名称。例如oss-bucket。

      用HTTPS传输数据

      选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。

      OSS Bucket

      OSS协议兼容存储的Bucket名称。由存储服务商提供。

      OSS Endpoint

      由存储服务商提供专有网络地址(Endpoint)。请从OSS协议兼容存储管理员处获取Endpoint。

      AccessKey ID

      由存储服务商提供访问专有网络的AccessKey ID和AccessKey Secret。请从OSS兼容存储管理员处获取访问密钥,该Key应该具有完全读取OSS协议兼容存储数据的权限。

      AccessKey Secret

    • 数据源类型S3协议兼容存储

      配置重要参数,描述如下:

      参数

      描述

      数据源类型

      数据源来源类型,此处选择S3协议兼容存储

      数据源名称

      用于表示S3的数据源名称。您可以根据情况自行定义合适的名称。例如awss3。

      用HTTPS传输数据

      选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。

      S3存储桶

      用于表示S3存储空间名称。

      S3 Endpoint

      用于表示可用于执行S3对象操作的存储空间的网络终端节点。例如:s3.us-east-1.amazonaws.com。请从S3兼容存储管理员处获取Endpoint。

      Access Key

      用于表示以IAM身份访问S3的安全凭证。请从S3兼容存储管理员处获取访问密钥,该Key应该具有完全读取S3数据的权限。

      Secret Key

    添加完成后,您可以在数据源列表页签看到已添加数据源。

相关操作

对于已经添加的数据源,您还可以在目标数据源的更多中,执行如下操作:

操作

描述

编辑数据源

修改您已创建的数据源配置参数。

注销数据源

当您确认不需要同步数据时,可以注销数据源。注销后,不再进行数据同步。

  1. 同步计划页签,删除该数据源所有的同步计划。

  2. 数据源列表页签,找到目标数据源,选择更多>注销数据源,完成数据源注销。

  3. 查看客户端组面板,删除同步任务的客户端。

  4. 在安装同步客户端的机器上,卸载同步客户端。如何卸载,请参见如何卸载云备份客户端

后续步骤

创建同步计划