全部产品
Search
文档中心

在线迁移服务:使用限制

更新时间:Mar 08, 2023

本文介绍在线迁移的一些使用限制和性能指标。

新版和旧版在线迁移通用的使用限制及性能指标如下。

限制项

说明

迁移范围

在线迁移目前仅支持单次迁移单个Bucket数据,无法将整个账号的数据一次性迁移。

数据地址

创建数据地址时,请保证数据地址中至少有一个文件。

说明

创建数据地址时,会抽取一个文件做数据地址有效性校验,如无文件,则会创建数据地址失败。

迁移数据

OSS源

若您迁移的源地址中设置了静态网站托管,数据迁移时会额外扫描出实际不存在的目录。例如上传文件myapp/resource/1.jpg,开启静态网站托管后,迁移服务扫描会得到3个对象,分别为:

myapp/
myapp/resource/
myapp/resource/1.jpg

其中myapp/myapp/resource/会迁移失败,但不影响myapp/resource/1.jpg的正常迁移。

多版本迁移

  • 仅支持AWS S3多版本单次迁移单个Bucket的所有版本的数据,无法将整个账号的数据一次性迁移。每个版本的数据迁移由文件名和版本号唯一确定。

  • OSS多版本,默认仅迁移最新版本。

迁移带宽

  • 在线迁移会占用源地址和目的地址的网络资源。若您的业务比较重要,建议您对迁移任务设置限速,或在空闲时间启动迁移任务。

  • 当源站为第三方源时,读取源站数据带宽受限时,请联系源站存储提供商请求更大的带宽。

  • 当目的端OSS有其他业务运行中,为防止影响业务带宽,请您在创建迁移任务前,谨慎评估迁移数据所需带宽,当您业务有更大带宽需求时(10 Gbit/s~100 Gbit/s),请联系技术支持

说明

OSS带宽阈值:单个阿里云账号在中国内地各地域的上行及下行带宽各为10 Gbit/s、非中国内地各地域的上行及下行带宽各为5 Gbit/s。如达到该阈值,请求会被流控。

结果校验

  • OSS之间迁移,会全链路做CRC64校验。

  • 如果源端支持CRC、CRC64或MD5校验,则会根据源端校验方式全链路做校验。

  • 如果源端不支持CRC、CRC64或MD5校验,则源端到在线迁移服务之间不做校验,无法保证下载数据的正确性、完整性,在线迁移服务到目的端之间依然会进行CRC64校验。

  • 出于数据安全性和一致性考虑,建议您使用HTTPS,确保传输链路中的数据安全。

重要

请您务必在迁移任务完成后,校验目的端迁移数据,确保数据无误。您在删除源数据前,未校验目的端迁移数据无误,导致数据丢失所引起的一切损失和后果均由您自行承担。

归档数据

对于归档类型的数据,需要您进行解冻操作,待解冻完成后再创建迁移任务,解冻时请注意如下事项:

  • 请您务必完成解冻操作后再创建源数据地址和迁移任务。

  • 请您根据待迁移的数据总量确保解冻时长,以防迁移期间数据再次变成冻结状态。

  • 解冻操作可能会收取一定的费用,计费规则可咨询您的源存储空间服务运营商。

说明

在线迁移服务并不会对源端数据执行解冻操作。若您源端有未解冻、解冻中的文件,则这些文件都会迁移失败。归档类型的数据解冻请参见归档迁移方案

跨境迁移

  • 如源端和目的端均为OSS,推荐在目的端开通传输加速,提高迁移速度,开启了传输加速的Bucket会收取传输加速费用。关于传输加速的更多信息,请参见传输加速

  • 如为第三方源跨境迁移时,走公网带宽,因网络不稳定,时常会迁移失败,需要多次重试。

说明

GCP源不支持直接迁移到中国地域的OSS,需要先迁移到海外地域的OSS,再由海外地域的OSS做中转迁移到中国地域的OSS。

仅旧版在线迁移涉及的使用限制及性能指标如下。

限制项

说明

迁移数据

NAS源

  • 迁移文件中包含如下非常规的磁盘文件类型则不支持迁移:

    • 块设备文件(Block device file)

    • 字符设备文件(Character device file)

    • 管道文件(FIFO/pipe)

    • socket文件

    • 文件系统/操作系统无法识别的未知类型

  • 源地址中有空目录,迁移时会被忽略。

  • 迁移时会将源地址中所有文件的权限、用户组、最后修改时间等属性同步到目的端,但不会将文件各级目录(包括根目录及各级子目录)的属性同步到目的端。

  • 若您迁移的源地址中有软链接,数据迁移时,会直接迁移软链接对应的实际文件或目录,并以软链接的名称命名。例如:

    • 当软链接指向文件时:源地址A有个软链接a,对应的实际文件是b.jpg,则迁移时会将b.jpg迁移到目的地址,并命名为a

    • 当软链接指向目录时:源地址B有个软链接b.txt,对应的实际目录是c/,则迁移时会将c/迁移到目的地址,并命名为b.txt/

  • 源地址中有循环软链接(例如:a > bb > cc > a,或目录类型的软链接指向其上层目录),则迁移时会永远扫描不完,导致任务数据量一直增长,建议您使用unlink命令移除循环软链接。

重要

迁移文件中包含软链接,会导致迁移完成量大于预估量,迁移进度大于100%的情况,请以实际迁移量为准。

FTP源

源地址中如果有空目录,迁移时会被忽略。

增量任务

  • 增量迁移次数:1~30次(设置1次增量与全量任务一样只会执行一次迁移)。

  • 增量迁移间隔:1~24小时(从上一次任务结束到下一次任务开始的时间)。

例如:增量迁移任务,设置增量迁移3次,增量迁移间隔6小时,在2023年01月01日10时00分开始迁移,迁移进度如下:

  1. 从01月01日10时00分~01月01日14时00分结束,间隔6小时。

  2. 从01月01日20时00分~01月01日22时00分结束,间隔6小时。

  3. 从01月02日04时00分~01月02日06时00分结束,结束迁移。

同步任务

在线迁移不支持同步任务。

说明

如您的同步任务时间间隔不超过一天,且不超过30次,可通过增量任务完成迁移,增量任务支持最高30次,每次迁移最大间隔时间一天。