在线迁移服务：在线迁移服务参数说明

请填写正确的存储空间名称，前缀和后缀不带空格、换行、制表符等非法字符。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

访问密钥，简称为AK和SK。迁移服务的AK和SK可以是阿里云账号、RAM用户的密钥，不能是临时用户的密钥。更多信息，请参见访问控制。目前尚不支持服务费授权。

如果OSS作为迁移服务的数据源，RAM用户可以使用以下Policy授权：

如果OSS作为迁移服务的目标，RAM用户可以使用以下Policy授权：

您可以为迁移服务创建特定RAM用户，生成专用的AK和SK，迁移任务完成后删除相应的AK和SK。

存储空间下的存储量和文件数可以通过OSS管理控制台查看。

请填写正确的存储空间名称，前缀和后缀不带空格、换行、制表符等非法字符。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

请在AWS控制台的IAM页面，创建用户并授予AmazonS3ReadOnlyAccess权限，然后再创建访问密钥。迁移完成后删除用户。

请认真评估，确保与实际值相符。

容器即Azure中的container。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

COS Bucket（存储桶）名称由自定义名称-APPID构成。例如空间名称为example-1234567890。迁移服务的Bucket项为example。

迁移指定目录下的文件，即指定前缀的文件。请以正斜线（/）开头，以正斜线（/）结尾，例如/docs/。

请在腾讯云对象存储控制台，选择云产品 > 管理工具 > API密钥管理。在访问控制页面，查看或新建密钥。推荐您为迁移服务新建密钥，迁移完成后删除。

即七牛云对象存储的存储空间。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，如docs/。

登录百度云对象存储BOS控制台，单击Bucket列表，选择Bucket名称后，可在概览界面查看Bucket的区域。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

登录百度云对象存储BOS控制台，选择安全认证 > Access Key查看。

登录百度云对象存储BOS控制台，单击Bucket列表，选择Bucket名称后，可在概览页面查看Bucket的存储量。文件个数请认真评估，尽量准确。

HTTP/HTTPS列表文件包括2类文件，1个manifest.json文件和1个或多个example.csv.gz文件，example.csv.gz为CSV压缩后的列表文件，单个example.csv.gz文件大小不超过50 MB，manifest.json为对CSV文件进行列配置的文件，支持上传至OSS或者AWS S3。

1. 创建CSV列表文件
   在本地创建CSV格式的列表文件。列表文件最多支持8项，项与项之间用英文逗号（,）分隔；每行一个文件，文件之间用\n换行。各项的含义如下表所示。

   重要 Key和Url为必填项，其余项可以不填写。

   • 必填项

     名称	是否必填	说明
     Url	是	在线迁移服务使用该链接的Get请求下载文件内容，Head请求获取文件元数据。 说明 Url需确保可以直接使用 [curl --HEAD "$url"]、[curl --GET "$url"] 等命令正常访问。
     Key	是	迁移后的Object Name为prefix+文件名。

     例如创建的本地列表文件名称为example.csv，格式为CSV，列表文件内容如下所示。

     http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/docs/my.log,docs/my.docir/example.log,,,,,,,
     http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/docs/my.doc,docs/my.docir/example.txt,,,,,,,

     其中Url、Key项必须要做编码处理，编码后可避免冲突和歧义导致的迁移失败，编码后的列表内容如下。

     http%3A%2F%2Fdocs-aliyun.cn-hangzhou.oss.aliyun-inc.com%2Fdocs%2Fmy.log, docs%2Fmy.docir%2Fexample.log,,,,,,,
     http%3A%2F%2Fdocs-aliyun.cn-hangzhou.oss.aliyun-inc.com%2Fdocs%2Fmy.doc, docs%2Fmy.docir%2Fexample.txt,,,,,,,

     说明

     • Url项的编码原则：在curl等命令行工具可正常访问的基础上，再进行一次URL编码。
     • Key项的编码原则：在您期望该文件在OSS上的ObjectName基础之上，再进行一次URL编码。

     Python编码参考示例如下所示。

     # -*- coding: utf-8 -*-
     import sys
     # 兼容Python2和3版本。
     if sys.version_info.major == 3:
         from urllib.parse import quote_plus
     else:
         from urllib import quote_plus
     
     # url项需确保可以直接使用[curl --HEAD "$url"]、[curl --GET "$url"]命令正常访问。
     # key项为迁移至OSS后的ObjectName（相对路径），当任务的目的端配置包含前缀(Prefix)时，OSS的完整ObjectName为Prefix+key。
     raw_urls = [
         # 格式：($url, $key)。
         ("http://asciiweb.com/path/f1.txt?t=aef87e23c",                   "path/f1.txt"),
         ("http://unicodeweb.com/path/中国α%β.txt?t=aef87e23c",            "path/中国α%β.txt"),
         ("http://urlencodedweb.com/path/%CE%B1%25%CE%B2.jpg?t=aef87e23c", "path/%CE%B1%25%CE%B2.jpg"),
         ("http://specialcharsweb.com/path/a%b, c\\d.txt?t=aef87e23c",      "path/a%b, c\\d.txt")
     ]
     
     for item in raw_urls:
         url,key = item[0],item[1]
         enc_url = quote_plus(url)
         enc_key = quote_plus(key)
         # enc_url, enc_key即为HTTP清单csv中对应的Url、Key项，编码后可完全避免冲突和歧义导致的失败。
         print("(%s, %s) -> (%s, %s)" % (url, key, enc_url, enc_key))

   • 全部项

     名称	是否必填	说明
     Key	是	迁移后的Object Name为prefix+文件名。
     Url	是	在线迁移服务使用该链接的Get请求下载文件内容，Head请求获取文件元数据。
     Size	否	迁移文件的大小。
     StorageClass	否	源Bucket的存储类型。
     LastModifiedDate	否	待迁移文件的最后修改时间。
     ETag	否	待迁移文件的ETag。
     HashAlg	否	待迁移文件的Hash算法。
     HashValue	否	待迁移文件的Hash值。

     说明 以上示例中各项的顺序并非固定顺序，只需与manifest.json文件中fileSchema项顺序保持一致即可。
2. 压缩CSV文件
   需要将CSV文件压缩为csv.gz文件，压缩方法如下：

   • 压缩单个文件
     例如dir目录下有一个文件file1，需执行如下压缩命令：

     gzip -r dir

     说明 执行以上gzip命令压缩文件，不会保留源文件，如需保留源文件压缩，请执行命令gzip -c 源文件 >源文件.gz。

     压缩后得到file1.gz文件。
   • 压缩多个文件
     例如dir目录下有三个文件file1、file2和 file3，需执行如下压缩命令：

     gzip -r dir

     说明 gzip命令不会打包目录，而是将指定目录下所有子文件分别进行压缩。

     压缩后得到三个文件file1.gz、file2.gz和file3.gz。
3. 创建manifest.json文件
   支持配置多个CSV文件，具体内容如下。

   • fileFormat：指定列表文件格式为CSV
   • fileSchema：对应CSV中文件项，请注意顺序。
   • files：
     • key：CSV文件在Bucket中的位置。
     • mD5checksum：16进制的MD5字符串，不区分大小写。例如：91A76757B25C8BE78BC321DEEBA6A5AD，如果不填写该值，则不会做校验。
     • size：列表文件大小。
   示例如下。

   {
       "fileFormat":"CSV",
       "fileSchema":"Key, Url, Bucket, Size, StorageClass, LastModifiedDate, ETag, HashAlg, HashValue ",
       "files":[{
           "key":"dir/example1.csv.gz",
           "mD5checksum":"",
           "size":0
       },{
           "key":"dir/example2.csv.gz",
           "mD5checksum":"",
           "size":0
       }]
   
   }

4. 您可以选择将创建的2类列表文件上传到OSS或AWS S3。
   • 将创建的2类列表文件上传到OSS的具体操作请参见简单上传。
     说明

     • 列表文件上传到OSS后，在线迁移服务会下载列表文件，并根据指定的地址迁移文件。
     • 新建任务时，请填写文件列表所在Bucket信息，列表路径的格式为列表所在目录/manifest.json，例如dir/manifest.json。
   • 将创建的2类列表文件上传到AWS S3。
     说明

     • 列表文件上传到AWS S3后，在线迁移服务会下载列表文件，并根据指定的地址迁移文件。
     • 新建任务时，请填写文件列表所在Bucket信息，列表路径的格式为列表所在目录/manifest.json，例如dir/manifest.json。

• OSS的Endpoint支持如下四种格式：

  序号	格式	说明
  1	http://oss-cn-hangzhou.aliyuncs.com	使用公网，以HTTP方式上传或下载数据。
  2	http://oss-cn-hangzhou-internal.aliyuncs.com	使用内网，以HTTP方式上传或下载数据。
  3	https://oss-cn-hangzhou.aliyuncs.com	使用公网，以HTTPS方式上传或下载数据。
  4	https://oss-cn-hangzhou-internal.aliyuncs.com	使用内网，以HTTPS方式上传或下载数据。

  OSS的Endpoint详细列表，请参见访问域名。
• AWS S3的域名（Endpoint）请参见AWS S3。

http://127.0.0.1/docs/my.doc    docs/my.doc
http://127.0.0.1/pics/my.jpg    pics/my.jpg
http://127.0.0.1/exes/my.exe    exes/my.exe

列表地址格式：

oss://mybucket/httplist.txt

迁移服务需要使用该AK和SK下载列表文件。该AK和SK可以是阿里云账号的AK和SK，也可以是RAM用户的AK和SK，需要授予GetObject权限。

请认真评估，确保与实际值相符。

登录又拍云控制台，在云存储中查看。

迁移指定目录下的文件，请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

登录又拍云控制台，在云存储 > 功能配置页面，查看Bucket的存储量和文件个数。请认真评估，尽量准确。

即金山云对象存储的空间。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

登录金山云管理控制台，在身份与管理 > 用户管理页面，创建用户并授予KS3FullAccess权限，然后在用户页面新建密钥。在迁移完成后删除该用户。

登录金山云管理控制台，在存储与内容传输 > 对象存储 > 我的空间 > 空间详情页面，查看Bucket的存储量和文件个数。请认真评估，尽量准确。

即华为云OBS桶的名称。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

登录华为云控制台，将鼠标移至右上角的账号上，在下拉列表中选择我的凭证。在左侧导航栏，选择访问密钥，单击新增访问密钥获取密钥。

即对象存储空间（Bucket）。

迁移指定目录下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以正斜线（/）结尾，不要以正斜线（/）开头，例如docs/。

登录UCloud控制台，在API密钥页面中，查看PublicKey和PrivateKey。

登录UCloud控制台，在对象存储UFile页面中的存储空间详情的概览页面查看存储量。文件个数请认真评估，尽量准确。