:事前準備

ステップ1：リストファイルのアップロード

HTTP/HTTPS リストファイルは、スキーマを定義する manifest.json ファイルと、実際のファイルリストを含む 1 つ以上の .csv.gz ファイルの 2 つのコンポーネントで構成されます。各 .csv.gz ファイルは 100 MB を超えないようにしてください。

1. CSV リストファイルの作成

   ローカルマシンで CSV 形式のリストファイルを作成します。各行は 1 つのファイルを表します。行は改行 (\n) で区切られ、各行内の列はカンマ (,) で区切られます。

   重要

   • [Key] と [Url] は必須です。その他のフィールドはすべてオプションです。

   • 各行は改行で終わる必要があります。改行がないと CSV 解析が失敗し、移行タスクが中断されます。

   • 必須項目

     名前	必須	説明	注意事項
     Url	はい	Data Online Migration はこの URL を使用してファイルコンテンツをダウンロード (GET リクエスト) し、ファイルメタデータを取得 (HEAD リクエスト) します。 説明 [Url] は、curl --HEAD "$Url" や curl --GET "$Url" などのコマンドでアクセスできる必要があります。Data Online Migration は URL リダイレクトをサポートしていません。	[Url] と [Key] の両方に特殊文字が含まれる場合は、URL エンコードする必要があります。エンコードしないと、移行が失敗する可能性があります。 [Url]：curl などのコマンドラインツールで (リダイレクトなしで) アクセスできるように URL を URL エンコードしてください。 [Key]：OSS 内のファイルの目的のオブジェクト名を URL エンコードしてください。 重要 エンコード後、以下を確認してください。そうしないと、移行が失敗したり、宛先のファイルパスが想定と異なったりする可能性があります。 元の文字列のプラス記号 (+) は %2B としてエンコードされます。 元の文字列のパーセント記号 (%) は %25 としてエンコードされます。 元の文字列のカンマ (,) は %2C としてエンコードされます。 たとえば、元の文字列 a+b%c,d.file は a%2Bb%25c%2Cd.file にエンコードされます。
     Key	はい	移行後の OSS 内のオブジェクト名。最終的な名前は prefix + Key 値 になります。たとえば、プレフィックスが backup/ で、Key が images/photo.jpg の場合、オブジェクトは backup/images/photo.jpg として保存されます。

     次の例は、plain_example.csv という名前のプレーン (エンコードされていない) CSV ファイルで、Url と Key の 2 つの列があります。URL は curl コマンドを使用して直接アクセスでき、Key 値は OSS 内の目的のオブジェクト名です。

     https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1354977961/p486238.jpg,assets/img/zh-CN/1354977961/p486238.jpg
     https://www.example-fake1.com/url-that-can-be-accessed-only-after-encoding/123.png,url-that-can-be-accessed-only-after-encoding/123.png
     https://www.example-fake2.com/url-that-can-be-accessed-without-encoding/123.png,url-that-can-be-accessed-without-encoding/123.png
     https://www.example-fake3.com/Chinese/Japanese/Korean/123.png,Chinese/Japanese/Korean/123.png

     重要

     Windows のメモ帳を使用して manifest.json や plain_example.csv を編集しないでください。メモ帳はファイルの最初の 3 バイトにバイトオーダーマーク (BOM) (0xefbbbf) を追加する可能性があり、Data Online Migration で解析エラーが発生します。Linux または macOS では、od -c plain_example.csv | less を実行して BOM が存在するかどうかを確認してください。Windows では、代わりに Notepad++ または Visual Studio Code を使用してください。

     URL やキーに特殊文字が含まれている場合は、使用前にエンコードしてください。次の Python スクリプトは、plain_example.csv を 1 行ずつ読み取り、URL エンコードされた出力を example.csv に書き込みます。

     # -*- coding: utf-8 -*-
     import sys
     
     if sys.version_info.major == 3:
         from urllib.parse import quote_plus
     else:
         from urllib import quote_plus
         reload(sys)
         sys.setdefaultencoding("utf-8")
     
     # ソース CSV ファイルのパス。
     src_path = "plain_example.csv"
     # URL エンコードされたファイルのパス。
     out_path = "example.csv"
     
     # サンプル CSV には url と key の 2 つの列のみが含まれます。
     with open(src_path) as fin, open(out_path, "w") as fout:
         for line in fin:
             items = line.strip().split(",")
             url, key = items[0], items[1]
             enc_url = quote_plus(url.encode("utf-8"))
             enc_key = quote_plus(key.encode("utf-8"))
             # enc_url と enc_key 変数はエンコードされた文字列です。
             fout.write(enc_url + "," + enc_key + "\n")
     

     スクリプトを実行すると、example.csv には次のエンコードされたコンテンツが含まれます。

     https%3A%2F%2Fhelp-static-aliyun-doc.aliyuncs.com%2Fassets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg,assets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg
     https%3A%2F%2Fwww.example-fake1.com%2Furl-that-can-be-accessed-only-after-encoding%2F123.png,url-that-can-be-accessed-only-after-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake2.com%2Furl-that-can-be-accessed-without-encoding%2F123.png,url-that-can-be-accessed-without-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake3.com%2FChinese%2FJapanese%2FKorean%2F123.png,Chinese%2FJapanese%2FKorean%2F123.png

   • すべての項目

     名前	必須	注意事項
     Key	はい	移行後の OSS 内のオブジェクト名。最終的な名前は prefix + Key 値 になります。
     Url	はい	Data Online Migration はこの URL を使用してファイルコンテンツをダウンロード (GET リクエスト) し、ファイルメタデータを取得 (HEAD リクエスト) します。
     Size	いいえ	移行するファイルのサイズ (バイト単位)。 説明 このフィールドは、移行されたファイルのストレージ使用量を計算するために使用されます。省略すると、コンソールのストレージ使用量グラフが利用できません。

     説明

     項目の順序は固定されていませんが、manifest.json の [fileSchema] フィールド内のフィールドの順序と一致する必要があります。

2. CSV ファイルの圧縮

   gzip を使用して各 CSV ファイルを .csv.gz ファイルに圧縮します。

   • 単一ファイルの圧縮

     example.csv という名前の単一ファイルを圧縮するには、次のコマンドを実行します。

     gzip -c example.csv > example.csv.gz

     説明

     gzip コマンドで -c フラグを指定しないと、圧縮後にソースファイルが削除されます。ソースファイルを保持するには、gzip -c <source_file> > <source_file>.gz を使用してください。

     これにより、.csv.gz ファイルが生成されます。

   • 複数ファイルの圧縮

     ディレクトリ内のすべての CSV ファイルを圧縮するには (たとえば、dir ディレクトリ内の example1.csv、example2.csv、example3.csv)、次のコマンドを実行します。

     gzip -r dir

     説明

     gzip コマンドは、ディレクトリ内の各ファイルを個別に圧縮し、ディレクトリ自体をパッケージ化しません。ソースファイルは保持されません。

     これにより、dir ディレクトリ内に example1.csv.gz、example2.csv.gz、example3.csv.gz が生成されます。

3. manifest.json ファイルの作成

   manifest.json ファイルはスキーマを定義し、すべての CSV リストファイルを参照します。次のフィールドを設定してください。

   • fileFormat：CSV に設定します。

   • fileSchema：CSV ファイル内の列名を、列と同じ順序でリストします。

     説明

     CSV ファイル内の列数は、fileSchema 内のフィールド数と一致する必要があります。移行サービスは、タスク作成時にこれを検証します。

   • files：CSV ファイルへの参照の配列。各エントリには次が含まれます。

     • key：バケット内の .csv.gz ファイルへのパス。

     • MD5checksum：32 桁の16進数 MD5 チェックサム文字列 (大文字と小文字は区別されません)。例：91A76757B25C8BE78BC321DEEBA6A5AD。チェックサムチェックをスキップするには、空白にします。

     • size：.csv.gz ファイルのサイズ。

   例：

   {
       "fileFormat":"CSV",
       "fileSchema":"Url, Key",
       "files":[{
           "key":"dir/example1.csv.gz",
           "MD5checksum":"",
           "size":0
       },{
           "key":"dir/example2.csv.gz",
           "MD5checksum":"",
           "size":0
       }]
   }

4. マニフェストファイルを OSS または AWS S3 にアップロードします。

   1. manifest.json とすべての .csv.gz ファイルをアップロードします。バケット内のファイル名は、manifest.json で参照されているファイル名と一致する必要があります。

   2. manifest.json へのパスを記録してください。ソースデータアドレスを作成する際に、このパスを指定する必要があります。

ステップ 2: 移行先バケットの作成

移行データを保存するための送信先バケットを作成します。詳細については、「バケットの作成」をご参照ください。

ステップ 3: RAM ユーザーの作成と権限付与

Alibaba Cloud アカウントで RAM コンソールにログオンします。[ユーザー] ページで、作成した RAM ユーザーを見つけ、[アクション] 列の [権限の追加] をクリックします。

1. システムポリシー： オンライン移行サービスの管理権限 (AliyunOSSImportFullAccess)。

2. カスタムポリシー： このポリシーには、ram:CreateRole、ram:CreatePolicy、ram:AttachPolicyToRole、ram:ListRoles の権限が必要です。

   権限の管理方法の詳細については、「カスタムポリシーの作成」をご参照ください。以下はサンプルポリシーです。

   {
       "Version":"1",
       "Statement":[
           {
               "Effect":"Allow",
               "Action":[
                   "ram:CreateRole",
                   "ram:CreatePolicy",
                   "ram:AttachPolicyToRole",
                   "ram:ListRoles"
               ],
               "Resource":"*"
           }
       ]
   }

ステップ4：インベントリバケットへのアクセス許可の付与

インベントリバケットがお客様のアカウントに属しているかどうかによって手順が異なります。

ステップ5：宛先バケットへのアクセス許可の付与

送信先バケットの所有者に応じて、以下の手順に従ってください。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:List*",
        "oss:Get*",
        "oss:Put*",
        "oss:AbortMultipartUpload"
      ],
      "Principal": [
         "arn:sts::<myUid>:assumed-role/<roleName>/*"
      ],
      "Resource": [
        "acs:oss:*:<otherUid>:<otherDestBucket>",
        "acs:oss:*:<otherUid>:<otherDestBucket>/*"
      ]
    }
  ]
}