阿里云云备份提供非结构化文件系统类在线数据同步功能,可以将源端数据源(包括对象存储OSS、CPFS、OSS协议兼容存储等)同步至目的端数据源。本文介绍云备份的数据同步功能概览,包括简介、工作原理、操作流程和费用等。
关键优势
增量同步
支持增量策略,同步任务可以按照预设时间自动运行,增量同步时仅同步变化的文件,大幅提升同步效率。
操作简单
云上数据源原生支持,配置简单。
性能卓越
优化的数据传输链路,相比传统拷贝工具性能大幅提升。
工作原理
云备份支持通过公网、VPN或专线同步至阿里云。对于通过公网同步,只需要安装云备份客户端的服务器能够访问公网即可,不需要将该服务器向公网暴露IP。
使用限制
OSS不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。
操作流程
使用云备份控制台进行数据同步的步骤如下所示:
同步CPFS、对象存储OSS和OSS协议兼容存储前,您需要在执行同步任务的服务器上安装客户端,服务器要求和数据源节点网络互通。客户端用于和云备份建立通信服务和管控服务。
在云备份控制台添加CPFS、对象存储OSS和OSS协议兼容存储数据源。
创建数据同步计划,云备份启动并按照同步计划持续同步数据。在执行同步任务时,云备份客户端组会对指定的文件夹进行扫描,识别需要同步的文件,将增量数据传输到目的端,完成同步。
数据同步服务仅提供数据传输能力,无法保证数据的一致性和完整性。同步任务完成后,请您全量校验传输的数据,务必自行做好源端和目的端数据一致性校验。
请您务必在数据同步任务完成后,校验目的端传输数据,确保数据无误。删除源数据前,未校验目的端传输数据无误,导致数据丢失所引起的一切损失和后果均由您自行承担。
增量文件列表(ChangeList)
按照增量文件列表同步数据,不需要进行全量扫描,能够减少扫描文件成本,提升同步效率。创建同步计划,若您选择的数据源为对象存储OSS,则可以使用定制化增量文件列表同步功能。
增量文件列表是一个包含数据源上需要同步的文件信息的CSV表格。每一行代表一个文件,其中的Name字段表示相对于数据源同步路径的相对路径。例如,如下是一个名称为
changeList1.csv的表格,Name字段是必须列,用于记录待同步文件列表。其他列暂不支持。
说明Name取值不能重复,否则在数据同步时会相互覆盖。
Name不能取值为目录,必须指定为一个文件。
在创建数据同步计划时,填写增量文件列表所在的目录路径。数据同步任务启动时,会读取源端数据源上该路径下的所有CSV文件,并进行解析,将需要同步的文件传输到目的端。
说明例如,创建OSS到OSS同步计划,可用增量文件列表指定待同步的文件列表。增量文件列表
changeList1.csv和changeList2.csv保存于源端/changelist目录下,则增量文件列表路径取值为/changelist。每个CSV表格内的文件处理完成后,该CSV表格会被移动到更深一层的
/Completed目录中,用于记录处理完成。处理前CSV表格目录
处理后CSV表格目录
/changelist/changeList1.csv /changelist/changeList2.csv
/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
费用
数据同步功能公测中,云备份暂不收取同步费用。
使用阿里云OSS,OSS收取文件存储费用。更多信息,请参见阿里云OSS计费概述。
使用阿里云CPFS,CPFS会根据存储规格、配置容量大小和时长收取一定的存储费用。更多信息,请参见阿里云CPFS计费概述。