Data Online Migration:Amazon S3 から OSS へのデータ移行

考慮事項

Online Migration Service を使用する場合は、次の点に注意してください：

• Online Migration Service は、ソースプロバイダーのパブリック API を介してソースデータにアクセスします。サービスの動作は、プロバイダーの API 実装に依存します。

• 移行では、ソースと移行先の両方でリソースを消費するため、ワークロードに影響する可能性があります。ミッションクリティカルなサービスの場合は、レート制限を設定するか、オフピーク時間にタスクを実行してください。

• サービスは移行前に、ソースと移行先のファイルを確認します。両方の場所に同名のファイルが存在し、タスクで上書きが設定されている場合、移行先のファイルは直接上書きされます。データ損失を防ぐため、内容が異なるファイルはバックアップするか名前を変更してください。

• オンライン移行では、ソースファイルの最終更新日時が保持されます。移行先バケットにライフサイクルルールが設定されている場合、最終更新日時に基づいて、移行されたファイルが削除またはトランジションされることがあります。

移行の制限事項

• 一度に移行できるのは 1 つのバケットからのデータのみです。1 回の操作でアカウント全体を移行することはできません。

• Amazon S3 から移行する場合、属性の扱いは以下のとおりです。

  • 対応属性： x-amz-meta-*、LastModifyTime、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language、Expires

  • 非対応属性： StorageClass、Acl、サーバー側の暗号化、タギング

    説明

    このリストはすべてを網羅しているわけではありません。リストに記載されていない属性の移行動作は保証できません。移行完了後に結果を確認してください。

• Volcano Engine (TOS) や NetEase Cloud など、S3 インターフェイスと互換性のないデータソースでは、移行が失敗したり、予期しない結果が生じたりする可能性があります。これらのソースからは、HTTP ベースの移行を使用してください。

ステップ 1：リージョンの選択

1. 作成した RAM ユーザーとして Data Online Migration コンソールにログインします。

2. 上部ナビゲーションバーの左上隅にあるリージョンセレクターを使用して、移行サービスのデプロイリージョンを選択します。データソースのリージョンまたは地理的に最も近いリージョンを選択してください。

   利用可能なデプロイリージョン：中国本土の China (Beijing)、China (Shanghai)、China (Hangzhou)、China (Shenzhen)、および China (Ulanqab)、ならびに China (Hong Kong)、Singapore (Singapore)、Germany (Frankfurt)、および US (Virginia)。

   重要

   • データソースアドレスと移行タスクはリージョンごとに異なります。リージョンを慎重に選択してください。

   • データソースのリージョンを選択してください。そのリージョンが利用できない場合は、地理的に最も近いリージョンで移行タスクを作成してください。

   • クロスボーダー移行の場合、速度を向上させるために Transfer Acceleration を有効にしてください。Transfer Acceleration が有効になっているバケットには、Transfer Acceleration 料金が発生します。「Transfer Acceleration を使用した OSS へのアクセス」をご参照ください。

ステップ 2：ソースアドレスの作成

1. 左側のナビゲーションペインで、Data Online Migration > Address Management に移動し、Create Address をクリックします。

2. [Create Data Address] ページで、次のパラメーターを設定し、[OK] をクリックします。

   パラメーター	必須	説明
   [名前]	必須	ソースの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   [タイプ]	必須	[AWS S3] を選択します。
   [ドメイン名]	必須	AWS S3 のサービスエンドポイントを入力します。 エンドポイントの一覧については、「Amazon S3 エンドポイント」をご参照ください。
   [AccessKeyId]	必須	IAM ユーザーのアクセスキーを入力します。このキーは、ソースデータへの読み取りアクセスを認証するために使用されます。
   [SecretAccessKey]	必須
   [バケット]	必須	ソース AWS S3 バケットの名前を入力します。 説明 バケット名の先頭または末尾に、スペース、改行、タブは使用できません。
   [Prefix]	任意	プレフィックスを指定すると、データの一部を移行できます。 指定した場合、そのプレフィックス配下のデータのみが移行されます。プレフィックスの先頭にスラッシュ (/) は使用できませんが、末尾にはスラッシュが必要です。 このパラメーターを省略した場合、バケット内のすべてのデータが移行されます。
   [Tunnel]	任意	使用するチャネルを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 宛先がローカルファイルシステム (LocalFs) である場合、または Finance Cloud や Apsara Stack などのサービス向けの専用線経由で移行する場合には、エージェントが必要です。
   [Agent]	任意	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ 3：宛先アドレスの作成

1. 左側のナビゲーションペインで、Data Online Migration > Address Management に移動し、Create Address をクリックします。

2. [アドレスの作成] パネルで、次のパラメーターを設定し、[OK] をクリックします。

パラメーター	必須	説明
[名前]	必須	宛先アドレスの名前を入力します。名前は次の要件を満たす必要があります： 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
[タイプ]	必須	[Alibaba OSS] を選択します。
カスタムドメイン名	任意	宛先のカスタムドメイン名を指定します。
[リージョン]	必須	宛先のリージョンを選択します (例: [China (Hangzhou)])。
RAM ロール	必須	宛先バケットが現在の Alibaba Cloud アカウントにある場合： 移行コンソールでのロールの権限付与 (推奨) 手動での権限付与 (代替) 宛先バケットが別の Alibaba Cloud アカウントにある場合： OSS コンソールでのロールの権限付与
[バケット]	必須	現在のアカウントの宛先バケット名を入力します。
[Prefix]	任意	特定のディレクトリにデータを移行するには、プレフィックスを指定します。プレフィックスの先頭に / は使用せず、末尾には / を付ける必要があります (例: data/to/oss/)。 たとえば、ソースプレフィックス example/src/ の中に example.jpg というファイルがあり、宛先プレフィックスを example/dest/ に設定した場合、移行後のファイルのフルパスは example/dest/example.jpg になります。 このフィールドを空欄にした場合、データは宛先バケットのルートディレクトリに移行されます。
[Tunnel]	任意	使用するチャネルを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 宛先がローカルファイルシステム (LocalFs) である場合、または Finance Cloud や Apsara Stack などのサービス向けの専用線経由で移行する場合には、エージェントが必要です。
[Agent]	任意	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ 4：移行タスクの作成

1. 左側のナビゲーションペインで、Data Online Migration > Migration Tasks を選択し、Create Task をクリックします。

2. Select Address ページで、以下のパラメーターを設定し、Next をクリックします。

   パラメーター	必須	説明
   [Name]	はい	移行タスクの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   [Source Address]	はい	事前に作成したソースアドレスを選択します。
   [Destination Address]	はい	事前に作成した送信先アドレスを選択します。

3. Task Configurations ページで、以下のパラメーターを設定します。

   パラメーター	必須	説明
   基本設定
   [Migration Bandwidth]	いいえ	移行帯域幅の設定。 [Default]：利用可能な最大帯域幅を使用します。実際の移行速度は、ファイルサイズとファイル数によって異なります。 [Specify an upper limit]：コンソールのプロンプトに従って帯域幅の上限を指定します。 重要 実際の移行帯域幅は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。帯域幅は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   [Files Migrated Per Second]	いいえ	秒間に移行されるファイル数。 [Default]：1 秒あたりに移行されるファイルのデフォルト数。 [Specify an upper limit]: コンソールのプロンプトに従って上限値を指定します。 重要 実際の移行速度は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。速度は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   [Overwrite Mode]	はい	送信先に同じ名前のファイルが存在する場合の処理方法。 [Do not overwrite]：ファイルの移行をスキップします。 [Overwrite All]：ソースファイルが宛先ファイルを上書きします。 [Overwrite based on the last modification time]： ソースファイルの最終更新日時が新しい場合、送信先ファイルが上書きされます。 最終更新日時が同じ場合、[サイズ] または [Content-Type] が異なるときに送信先ファイルが上書きされます。 警告 Overwrite based on the last modification time ポリシーは、古いファイルが新しいファイルを上書きしないことを保証するものではありません。 Overwrite based on the last modification time を選択した場合は、ソースデータが 最終変更時刻、サイズ、 Content-Type などのメタデータを返すようにしてください。そうでない場合、上書きポリシーが期待どおりに機能せず、意図しない移行結果につながる可能性があります。 [上書きしない] または [最終更新日時に基づいて上書き] を選択した場合、サービスはソースと送信先の両方からオブジェクトメタデータを要求して比較を行います。これにより、ソースと送信先の両方でリクエスト料金が発生します。
   監査
   [Migration Report]	はい	移行レポートの配信方法。 [Do not push] (デフォルト): 移行レポートは移行先バケットにプッシュされません。 [Push]: 移行レポートを移行先バケットにプッシュします。詳細なパスについては、「次のステップ」をご参照ください。 重要 移行レポートをプッシュすると、送信先バケットのストレージ容量が消費されます。 移行レポートの配信が遅延する場合があります。 各タスク実行レコードには一意の ID があります。移行レポートはレコードごとに 1 回のみプッシュされます。削除する際はご注意ください。
   [Migration Logs]	はい	移行ログの配信方法。 [Do not push] (デフォルト): 移行ログはプッシュされません。 [Push]: 移行ログを Log Service にプッシュします。Log Service で移行ログを表示できます。 [Push only file error logs.]：ファイル移行エラーのログのみを Log Service にプッシュします。これらのエラーログは Log Service で表示できます。 Push または Push only file error logs. を選択した場合、オンライン移行サービスは、ログサービスに aliyun-oss-import-log-Alibaba Cloud アカウント ID-現在のリージョン という名前のプロジェクトを作成します。 例: aliyun-oss-import-log-137918634953****-cn-hangzhou。 重要 Push または Push only file error logs. を選択する前に、必ず次の操作を完了してください。そうでない場合、移行タスクが失敗する可能性があります。 Log Service がアクティブ化されていること。 Authorize ページで必要な権限が付与されています。
   [Authorize]	いいえ	このオプションは、Migration Logs が Push または Push only file error logs. に設定されている場合にのみ表示されます。 Authorize をクリックして [クラウドリソースアクセス承認] ページに移動します。 システムは AliyunOSSImportSlsAuditRole という名前のロールを作成し、そのロールに権限を付与します。 [承認に同意] をクリックして承認を完了します。
   フィルター
   [File Name]	いいえ	ファイル名のフィルター。 RE2 ライブラリ の正規表現構文 (サポートされているのは式の一部のみです) に基づいて、Include および Exclude フィルタリングルールを使用できます。 例: [.*\.jpg$] は、[.jpg] で終わるすべてのファイルに一致します。 [^file.*] は、ルートディレクトリ内の [file] で始まるすべてのファイルに一致します。 ソースアドレスにプレフィックスが設定されている場合 (例：[data/to/oss/])、そのプレフィックス下の [file] で始まるすべてのファイルに一致させるには、[^data/to/oss/file.*] を使用する必要があります。 [.*/picture/.*] は、任意のレベルの [picture] という名前のサブディレクトリ内の任意のファイルに一致します。 重要 含むルールを設定した場合、少なくとも 1 つのルールに一致するファイルが移行されます。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。含むルール [.*\.jpg$] を追加すると、[picture.jpg] のみが移行されます。さらに含むルール [.*\.png$] を追加すると、両方のファイルが移行されます。 除外ルールを設定した場合、少なくとも 1 つのルールに一致するファイルは移行されません。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。除外ルール [.*\.jpg$] を追加すると、[picture.png] のみが移行されます。さらに除外ルール [.*\.png$] を追加すると、どちらのファイルも移行されません。 除外ルールは含むルールよりも優先されます。除外ルールと含むルールの両方に一致するファイルは移行されません。 たとえば、ファイル [file.txt] があるとします。除外ルール [.*\.txt$] と含むルール [file.*] を設定した場合、ファイル [file.txt] は移行されません。
   [File Modification Time]	いいえ	ファイルの最終更新日時に基づくフィルター。 時間範囲を指定して、その範囲内で更新されたファイルのみを移行します。 開始日時のみを指定し (例: 2019 年 1 月 1 日)、終了日時を指定しない場合、2019 年 1 月 1 日以降に最終更新されたファイルのみが移行されます。 終了日時のみを指定し (例: 2022 年 1 月 1 日)、開始日時を指定しない場合、2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。 開始日時を 2019 年 1 月 1 日、終了日時を 2022 年 1 月 1 日に指定した場合、2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。
   移行設定
   ファイルの最終更新日時を保持	はい	ソースファイルの最終更新日時を保持するかどうか。 [保持] (デフォルト)：ソースファイルの最終更新日時が送信先オブジェクトに保持されます。 [保持しない]：最終更新日時は保持されません。
   追加可能オブジェクトを通常またはマルチパートに変換	いいえ	追加可能オブジェクトを通常またはマルチパートオブジェクトに変換するかどうか。 [はい]：ソースの追加可能オブジェクトは、送信先で通常またはマルチパートオブジェクトに変換されます。 [いいえ]：変換は実行されません。ソースの追加可能オブジェクトは、送信先でも追加可能オブジェクトのままです。 重要 このオプションは、アカウントが許可リストに登録されている場合にのみ表示および設定できます。 このオプションは、送信先が OSS のタスクでのみサポートされます。
   送信先オブジェクトのストレージクラスを指定	いいえ	送信先オブジェクトのストレージクラスを設定するかどうか。 [指定]：移行されたオブジェクトは、指定したストレージクラスに設定されます。次のストレージクラスが利用可能です。 Standard 低頻度アクセス アーカイブ コールドアーカイブ ディープコールドアーカイブ [指定しない] (デフォルト)：ストレージクラスは変更されません。移行されたオブジェクトは、送信先バケットのデフォルトストレージクラスを使用します。 重要 このオプションは、アカウントが許可リストに登録されている場合にのみ表示および設定できます。 このオプションは、送信先が OSS のタスクでのみサポートされます。
   タスクのスケジューリング
   実行時刻	いいえ	重要 次の実行がスケジュールされている時点でタスクがまだ実行中の場合、現在の実行が完了し、スケジュールされた実行はスキップされ、タスクは次の間隔で実行されます。 同時実行可能な移行タスクの上限：中国本土および China (Hong Kong) リージョンでは最大 10、その他のリージョンでは最大 5。 移行タスクを実行するタイミングを指定します。 [Immediately]: タスクをすぐに実行します。 [At the Specified Time]：タスクを毎日実行する時間枠を設定します。デフォルトでは、タスクは指定された開始時刻に開始し、指定された停止時刻に一時停止します。 [Periodic Scheduling]：指定された頻度と実行回数に基づいてタスクを実行します。 [実行頻度]：サポートされる頻度は、毎時、毎日、毎週、特定の曜日、およびカスタムです。実行頻度をご参照ください。 [実行回数]：タスクが実行される回数を指定します。設定されていない場合、タスクはデフォルトで 1 回実行されます。最大実行回数については、コンソールのプロンプトを参照してください。 重要 スケジュールされた実行時刻に関係なく、いつでも手動でタスクを開始および一時停止できます。

4. オンライン移行サービス規約を読み、コンプライアンスに関する誓約を理解・確認し、移行タスク完了後に移行データの整合性を検証する義務と責任があることを承諾しますのチェックボックスを選択し、次にNextをクリックします。

5. 設定情報を確認し、内容が正しければ OK をクリックして、移行タスクが実行されるのを待ちます。

実行頻度

ステップ 5：データの検証