Data Online Migration:準備

ステップ 1: リストファイルのアップロード

HTTP/HTTPS リストファイルには、manifest.json ファイルと 1 つ以上の example.csv.gz ファイルの 2 種類のファイルが含まれます。example.csv.gz ファイルは、圧縮された CSV リストファイルです。1 つの example.csv.gz ファイルのサイズは 100 MB を超えることはできません。manifest.json ファイルは、マニフェストのスキーマと一連の CSV ファイルを定義します。

1. CSV リストファイルの作成

   ローカルマシンに CSV 形式のリストファイルを作成します。各行はファイルを表し、行は改行 (\n) で区切られます。各ファイルには複数のプロパティがあり、カンマ (,) で区切られます。

   重要

   • [Key] と [Url] は必須ですが、他の項目はオプションです。

   • 各行は改行で終わる必要があります。そうしないと、CSV の解析失敗によりタスクが中断される可能性があります。

   • 必須項目

     名前	必須	説明	注意
     Url	はい	Data Online Migration は、このリンクを使用して GET リクエストでファイルコンテンツをダウンロードし、HEAD リクエストでファイルメタデータを取得します。 説明 [Url] が `curl --HEAD "$Url"` や `curl --GET "$Url"` などのコマンドでアクセスできることを確認してください。Data Online Migration は `$Url` のリダイレクトをサポートしていません。	[Url] と [Key] 項目はエンコードする必要があります。エンコードされておらず、特殊文字が含まれている場合、ファイル移行が失敗する可能性があります。 [Url] 項目: curl などのコマンドラインツールでアクセス可能な URL (リダイレクトなし) を URL エンコードします。 [Key] エンコーディングの原則: OSS 内のファイルの目的のオブジェクト名に対して URL エンコーディングを実行します。 重要 [Url] と [Key] 項目をエンコードした後、以下を確認してください。そうしないと、ファイル移行が失敗したり、移行先のファイルパスが期待どおりにならない可能性があります。 元の文字列のプラス記号 (+) は %2B としてエンコードされます。 元の文字列のパーセント記号 (%) は %25 としてエンコードされます。 元の文字列のカンマ (,) は %2C としてエンコードされます。 たとえば、元の文字列が a+b%c,d.file の場合、エンコードされた文字列は a%2Bb%25c%2Cd.file になります。
     Key	はい	移行後のオブジェクト名は `プレフィックス + ファイル名` です。

     URL エンコードされていない plain_example.csv という名前の CSV ファイルを生成したとします。ファイルには 2 つの列しかありません。最初の列は Url で、これらの URL は curl コマンドを使用して直接アクセスできます。2 番目の列は Key で、これらのキーは OSS 内のファイルに期待するオブジェクト名です。以下に例を示します。

     https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1354977961/p486238.jpg,assets/img/zh-CN/1354977961/p486238.jpg
     https://www.example-fake1.com/url-that-can-be-accessed-only-after-encoding/123.png,url-that-can-be-accessed-only-after-encoding/123.png
     https://www.example-fake2.com/url-that-can-be-accessed-without-encoding/123.png,url-that-can-be-accessed-without-encoding/123.png
     https://www.example-fake3.com/Chinese/Japanese/Korean/123.png,Chinese/Japanese/Korean/123.png

     重要

     Windows の組み込みのメモ帳アプリケーションを使用して manifest.json または plain_example.csv を編集しないでください。このアプリケーションは、ファイルの最初の 3 バイトにバイトオーダーマーク (BOM) (0xefbbbf) を追加する可能性があり、Data Online Migration で解析エラーが発生する可能性があります。Linux または macOS では、od -c plain_example.csv | less を実行して、ファイルの最初の 3 バイトにこのマークが含まれているかどうかを確認できます。Windows では、Notepad++ や Visual Studio Code などのアプリケーションを使用してファイルを作成または編集してください。

     次のサンプル Python コードは、plain_example.csv を 1 行ずつ読み取り、エンコードされた結果を example.csv に出力します。このコードは参照用です。必要に応じて変更できます。

     # -*- coding: utf-8 -*-
     import sys
     
     if sys.version_info.major == 3:
         from urllib.parse import quote_plus
     else:
         from urllib import quote_plus
         reload(sys)
         sys.setdefaultencoding("utf-8")
     
     # ソース CSV ファイルのパス。
     src_path = "plain_example.csv"
     # URL エンコードされたファイルのパス。
     out_path = "example.csv"
     
     # サンプル CSV には url と key の 2 つの列のみが含まれます。
     with open(src_path) as fin, open(out_path, "w") as fout:
         for line in fin:
             items = line.strip().split(",")
             url, key = items[0], items[1]
             enc_url = quote_plus(url.encode("utf-8"))
             enc_key = quote_plus(key.encode("utf-8"))
             # enc_url と enc_key 変数はエンコードされた形式です。
             fout.write(enc_url + "," + enc_key + "\n")
     

     上記のコードを実行すると、example.csv の内容は次のようになります:

     https%3A%2F%2Fhelp-static-aliyun-doc.aliyuncs.com%2Fassets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg,assets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg
     https%3A%2F%2Fwww.example-fake1.com%2Furl-that-can-be-accessed-only-after-encoding%2F123.png,url-that-can-be-accessed-only-after-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake2.com%2Furl-that-can-be-accessed-without-encoding%2F123.png,url-that-can-be-accessed-without-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake3.com%2FChinese%2FJapanese%2FKorean%2F123.png,Chinese%2FJapanese%2FKorean%2F123.png

   • すべての項目

     名前	必須	注意
     Key	はい	移行後のオブジェクト名は `プレフィックス + ファイル名` です。
     Url	はい	Data Online Migration は、このリンクを使用して GET リクエストでファイルコンテンツをダウンロードし、HEAD リクエストでファイルメタデータを取得します。
     Size	いいえ	移行するファイルのサイズ (バイト単位)。 説明 このフィールドは、移行されたファイルのストレージ使用量を計算するために使用されます。このフィールドがない場合、コンソールのストレージ使用量チャートは利用できなくなります。

     説明

     上記の例の項目の順序は固定されていません。順序は、manifest.json ファイルの [fileSchema] フィールドの項目の順序と一致する必要があります。

2. CSV ファイルの圧縮

   CSV ファイルを .csv.gz ファイルに圧縮します。次の圧縮方法が利用可能です:

   • 単一ファイルの圧縮

     たとえば、dir ディレクトリに example.csv という名前のファイルが存在する場合、次のコマンドを実行して圧縮できます:

     gzip -c example.csv > example.csv.gz

     説明

     上記の gzip コマンドを実行してファイルを圧縮すると、ソースファイルは保持されません。ソースファイルを保持するには、gzip -c <source_file> > <source_file>.gz コマンドを実行します。

     圧縮後、.csv.gz ファイルが生成されます。

   • 複数ファイルの圧縮

     たとえば、dir ディレクトリに example1.csv、example2.csv、example3.csv という名前の 3 つのファイルが存在する場合、次のコマンドを実行して圧縮できます:

     gzip -r dir

     説明

     gzip コマンドはディレクトリをパッケージ化しません。代わりに、指定されたディレクトリ内の各ファイルを個別に圧縮し、対応するソースファイルを保持しません。

     圧縮後、dir ディレクトリに example1.csv.gz、example2.csv.gz、example3.csv.gz という 3 つのファイルが生成されます。

3. manifest.json ファイルの作成

   複数の CSV ファイルを構成できます。詳細は次のとおりです:

   • fileFormat: リストファイルの形式が CSV であることを指定します。

   • fileSchema: CSV ファイル内の項目に対応します。順序に注意してください。

     説明

     CSV ファイルの列数がこの構成のフィールド数と同じであることを確認してください。移行サービスは一貫性をチェックします。

   • files:

     • key: バケット内の CSV ファイルの場所。

     • MD5checksum: 16 桁の 16 進数 MD5 文字列。値は大文字と小文字を区別しません。例: 91A76757B25C8BE78BC321DEEBA6A5AD。この値を指定しない場合、チェックは実行されません。

     • size: リストファイルのサイズ。

   以下の例は参照用です。

   {
       "fileFormat":"CSV",
       "fileSchema":"Url, Key",
       "files":[{
           "key":"dir/example1.csv.gz",
           "MD5checksum":"",
           "size":0
       },{
           "key":"dir/example2.csv.gz",
           "MD5checksum":"",
           "size":0
       }]
   }

4. 作成したマニフェストファイルを OSS または AWS S3 にアップロードします。

   1. manifest.json ファイルと圧縮された CSV リストファイルをアップロードします。CSV リストファイルの名前は、manifest.json ファイル内の CSV ファイル名と一致する必要があります。

   2. manifest.json ファイルのパスを記録します。ソースデータアドレスを作成するときにマニフェストの場所を指定する必要があります。

ステップ 2: 移行先バケットの作成

移行したデータを保存する移行先として Object Storage Service (OSS) バケットを作成します。詳細については、「バケットの作成」をご参照ください。

ステップ 3: RAM ユーザーの作成と RAM ユーザーへの権限付与

Alibaba Cloud アカウントで RAM コンソールにログインします。[ユーザー] ページで、作成した RAM ユーザーを見つけ、[操作] 列の [権限を追加] をクリックします。

1. システムポリシー: AliyunOSSImportFullAccess。このポリシーは、Data Online Migration を管理する権限を付与します。

2. カスタムポリシー: ポリシーには、ram:CreateRole、ram:CreatePolicy、ram:AttachPolicyToRole、および ram:ListRoles 権限を含める必要があります。

   カスタムポリシーのアタッチ方法の詳細については、「カスタムポリシーの作成」をご参照ください。次のサンプルコードは、カスタムポリシーの例を示しています:

   {
       "Version":"1",
       "Statement":[
           {
               "Effect":"Allow",
               "Action":[
                   "ram:CreateRole",
                   "ram:CreatePolicy",
                   "ram:AttachPolicyToRole",
                   "ram:ListRoles"
               ],
               "Resource":"*"
           }
       ]
   }

ステップ 4: マニフェストバケットに権限を付与する

インベントリリストを保存するバケットが現在の Alibaba Cloud アカウントに属しているかどうかに基づいて、対応する操作を実行します。

ステップ 5: 移行先バケットに権限を付与する

移行先バケットが現在の Alibaba Cloud アカウントに属しているかどうかに基づいて、対応する操作を実行します。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:List*",
        "oss:Get*",
        "oss:Put*",
        "oss:AbortMultipartUpload"
      ],
      "Principal": [
         "arn:sts::<myUid>:assumed-role/<roleName>/*"
      ],
      "Resource": [
        "acs:oss:*:<otherUid>:<otherDestBucket>",
        "acs:oss:*:<otherUid>:<otherDestBucket>/*"
      ]
    }
  ]
}