Data Online Migration:OSS からローカルファイルシステムへの移行

考慮事項

データを移行する際は、次の点に留意してください。

• [Directory To Be Migrated] は、フォワードスラッシュ (/) で始まり、フォワードスラッシュ (/) で終わる絶対パスでなければなりません。パスには、環境変数や特殊文字を含めることはできません。

• [Directory To Be Migrated] が存在し、有効であることを確認してください。

• 移行サービスは、ソースストレージプロバイダーの標準的なパブリック API を使用してソースデータにアクセスします。サービスの動作は、プロバイダーの特定の API 実装に依存します。

• 移行は、ソースとデスティネーションの両方でリソースを消費します。ビジネスクリティカルなワークロードへの影響を避けるため、帯域幅調整を設定するか、オフピーク時にタスクを実行することを推奨します。

• サービスは移行前に、ソースとデスティネーションの両方にあるファイルを検査します。上書きモードが有効になっている場合、名前が一致するデスティネーションファイルは上書きされます。ファイルの内容が異なる場合にデータ損失を防ぐため、移行を開始する前にデスティネーションファイルの名前を変更するか、バックアップしてください。

移行の制限事項

• ソースバケットで静的ウェブサイトホスティングが有効になっている場合、移行スキャンで存在しないディレクトリが検出される場合があります。たとえば、myapp/resource/1.jpg をアップロードすると、スキャンで myapp/、myapp/resource/、myapp/resource/1.jpg が検出されます。myapp/ と myapp/resource/ の移行は失敗しますが、myapp/resource/1.jpg は正常に移行されます。

• ソースオブジェクト名がフォワードスラッシュ (/) で終わる場合、その属性は移行先のファイルシステム の対応するディレクトリに適用されます。このようなオブジェクトに対しては、タスクの上書きモードは無視されます。

• ソースバケットにフォワードスラッシュ (/) で終わる名前のオブジェクトが含まれている場合、それらは移行先でディレクトリとして扱われます。たとえば、ソースに a/、a/b/、a/b/c/ というオブジェクトが含まれている場合、移行後にネストされたディレクトリパス a/b/c/ が作成されます。

• 移行タスクごとに、1 つのバケットからのみデータを移行できます。アカウント全体からデータを移行するには、バケットごとに個別のタスクを作成する必要があります。

• Alibaba Finance Cloud または Alibaba Gov Cloud からの移行はサポートされていません。

• Alibaba Cloud OSS からローカルファイルシステムへのデータ移行では、すべてのオブジェクト属性が保持されるわけではありません。

  • サポート対象：LastModifyTime が移行され、ローカルファイルシステムで ModifyTime として設定されます。

  • サポート対象外 (すべてを網羅したものではありません)：x-oss-meta-*、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language、Expires、ストレージクラス、ACL、サーバー側の暗号化、タギング、および x-oss-persistent-header などのユーザー定義ヘッダー。

    説明

    リストに記載されていない属性の動作は保証されません。移行後は、必ず移行先でデータを検証してください。

ステップ 1：リージョンの選択

1. RAM ユーザーで Data Online Migration コンソール にログインします。

2. 上部ナビゲーションバーの左上隅で、エージェントのリージョンを選択します。

   重要

   • トンネル、エージェント、データアドレス、移行タスクはリージョン固有です。リージョンは慎重に選択してください。

   • エージェントのリージョンを選択してください。利用できない場合は、最も近いリージョンを選択してください。

ステップ 2：トンネルの作成

1. 左側のナビゲーションペインで、Data Online Migration > Channel Management を選択し、Create Tunnel をクリックします。

2. Create Tunnel ダイアログボックスで、次のパラメーターを設定し、OK をクリックします。

   パラメーター	必須	説明
   名前	はい	トンネルの名前。 名前は空にできず、最大 100 文字までです。 名前には、文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
   [Maximum Bandwidth]	はい	トンネルが使用できる最大帯域幅。 このパラメーターを設定しない場合、デフォルト値の 0 が使用されます。これは、トンネルの帯域幅が無制限であることを意味します。 このパラメーターを設定する場合は、コンソールの注意書きに基づいて値を入力してください。 重要 トンネルで使用できる帯域幅は、ネットワーク接続の実際の帯域幅によって決まります。
   [Requests/s]	はい	トンネル経由の秒間リクエスト数の最大値。 このパラメーターを設定しない場合、デフォルト値の 0 が使用されます。これは、トンネル経由の秒間リクエスト数が無制限であることを意味します。 このパラメーターを設定する場合は、コンソールの注意書きに基づいて値を入力してください。 警告 このパラメーターを設定する前に、データソースのストレージシステムの性能を評価することを推奨します。このパラメーターを大きな値に設定すると、お客様のビジネスに影響を及ぼすおそれがあります。コンソールの注意書きに基づいて値を入力することを推奨します。

ステップ 3：エージェントの作成

1. 左側のメニューで、Data Online Migration > Agent Management を選択し、New Agent をクリックします。

2. New Agent ダイアログボックスで、次のパラメーターを設定し、OK をクリックします。

   パラメーター	必須	説明
   名前	はい	エージェントの名前です。 名前は 3～63 文字である必要があります。 小文字英字、数字、ハイフン（-）、アンダースコア（_）を使用できます。大文字と小文字は区別されます。 名前は UTF-8 エンコードである必要があり、ハイフン（-）またはアンダースコア（_）で始まってはいけません。
   [Network Type]	はい	ネットワークタイプ。有効な値は次のとおりです。 VPC（推奨）：VPC 経由で接続します。ホストマシンは、対応するリージョン内のデータオンライン移行の内部エンドポイントに到達できる必要があります。たとえば、中国 (北京) リージョンでは、エージェントが {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com にアクセスできる必要があります。エージェントは、コンソールと同じリージョンの ECS インスタンスにデプロイしてください。 インターネット：インターネット経由で接続します。ホストマシンは、対応するリージョン内のデータオンライン移行のパブリックエンドポイントに到達できる必要があります。たとえば、中国 (北京) リージョンでは、エージェントが {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com にアクセスできる必要があります。 説明 TunnelId はトンネルの ID です。 エージェントと移行サービス間のネットワーク接続性をテストするには、ping コマンドを使用してください。
   デプロイ方法	はい	デプロイ方法。スタンドアロンプロセスモードのみサポートされています。
   [Tunnel]	はい	エージェントに関連付けるトンネルです。各エージェントは 1 つのトンネルにのみバインドされ、その帯域幅はトンネルの合計帯域幅によって制限されます。 たとえば、tunnel-1 という名前のトンネルの最大帯域幅が 10 Gbit/s の場合、この tunnel-1 に agent-1、agent-2、および agent-3 の 3 つのエージェントを関連付けた場合、これらのエージェントの帯域幅の合計は 10 Gbit/s を超えてはいけません。agent-1 に 3 Gbit/s の帯域幅を割り当てた場合、agent-2 と agent-3 で共有できる帯域幅は残りの 7 Gbit/s のみです。帯域幅割り当てを適切に計画してください。

3. エージェントデプロイスクリプトを生成します。手順については、「エージェントデプロイスクリプトの生成」をご参照ください。

ステップ 4：ソースアドレスの作成

1. ナビゲーションペインで、Data Online Migration > [Address Management] を選択し、[Create Address] をクリックします。

2. [Create Address] パネルで、次のパラメーターを設定し、OK をクリックします。

   パラメーター	必須	説明
   名前	はい	ソースの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   タイプ	はい	[OSS] を選択します。
   [Region]	はい	ソースバケットのリージョンを選択します。例：[China (Hangzhou)]。
   RAM ロール	はい	ソースバケットがご自身の Alibaba Cloud アカウントに属する場合： 移行コンソールでのロールの自動承認 (推奨)。 移行コンソールでのロールの手動承認 (代替)。 ソースバケットが別の Alibaba Cloud アカウントに属する場合： OSS コンソールでのロールの承認。
   バケット	はい	ソースバケット名を入力します。
   [Agent]	いいえ	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ 5：宛先アドレスの作成

1. 左側メニューで、Data Online Migration > [Address Management] を選択し、[Create Address] をクリックします。

2. [Create Address] パネルで、以下のパラメーターを設定し、[OK] をクリックします。

   パラメーター	必須	説明
   名前	はい	移行先アドレスの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   タイプ	はい	[LocalFS] を選択します。
   [Directory To Be Migrated]	はい	移行先ディレクトリのパスプレフィックス。 ソースデータはこの場所に移行されます。 パスは、フォワードスラッシュ (/) で始まり、フォワードスラッシュ (/) で終わる絶対パスでなければなりません。 環境変数および特殊文字はサポートしていません。 たとえば、プレフィックスが /example/src/ でファイル example.jpg を含むソースデータアドレスがあるとします。 このパラメーターを /example/dest/ に設定すると、ファイルは /example/dest/example.jpg に移行されます。 重要 データアドレスが複数のエージェントに関連付けられている場合は、各エージェントがディレクトリにアクセスできることを確認してください。 そうしないと、一部のデータが移行に失敗する可能性があります。
   [Tunnel]	いいえ	使用するチャネルを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 宛先がローカルファイルシステム (LocalFs) である場合、または Finance Cloud や Apsara Stack などのサービス向けの専用線経由で移行する場合には、エージェントが必要です。
   [Agent]	いいえ	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ 6：移行タスクの作成

1. 左側のナビゲーションペインで、Data Online Migration > [移行タスク] を選択し、Create Task をクリックします。

2. Select Address ページで、以下のパラメーターを設定し、Next をクリックします。

   パラメーター	必須	説明
   [Name]	はい	移行タスクの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   [Source Address]	はい	事前に作成したソースアドレスを選択します。
   [Destination Address]	はい	事前に作成した送信先アドレスを選択します。

3. Task Configurations ページで、次のパラメーターを設定します。

   パラメーター	必須	説明
   基本設定
   [Migration Bandwidth]	いいえ	移行帯域幅の設定。 [Default]：利用可能な最大帯域幅を使用します。実際の移行速度は、ファイルサイズとファイル数によって異なります。 [Specify an upper limit]：コンソールのプロンプトに従って帯域幅の上限を指定します。 重要 実際の移行帯域幅は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。帯域幅は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   [Files Migrated Per Second]	いいえ	秒間に移行されるファイル数。 [Default]：1 秒あたりに移行されるファイルのデフォルト数。 [Specify an upper limit]: コンソールのプロンプトに従って上限値を指定します。 重要 実際の移行速度は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。速度は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   [Overwrite Mode]	いいえ	送信先に同じ名前のファイルが存在する場合の処理方法。 [Do not overwrite]：ファイルの移行をスキップします。 [Overwrite All]：ソースファイルが宛先ファイルを上書きします。 [Overwrite based on the last modification time]： ソースファイルの最終更新日時が新しい場合、送信先ファイルが上書きされます。 最終更新日時が同じ場合、[サイズ] または [Content-Type] が異なるときに送信先ファイルが上書きされます。 警告 Overwrite based on the last modification time ポリシーは、古いファイルが新しいファイルを上書きしないことを保証するものではありません。 Overwrite based on the last modification time を選択した場合は、ソースデータが 最終変更時刻、サイズ、 Content-Type などのメタデータを返すようにしてください。そうでない場合、上書きポリシーが期待どおりに機能せず、意図しない移行結果につながる可能性があります。 [上書きしない] または [最終更新日時に基づいて上書き] を選択した場合、サービスはソースと送信先の両方からオブジェクトメタデータを要求して比較を行います。これにより、ソースと送信先の両方でリクエスト料金が発生します。
   監査設定
   [Migration Report]	はい	移行レポートの配信方法です。 プッシュしない (デフォルト)：レポートは移行先にプッシュされません。 プッシュ：レポートは移行先の LocalFS にプッシュされます。 レポートパスについては、「後続の操作」をご参照ください。 重要 移行レポートをプッシュすると、移行先のストレージ容量が消費されます。 レポートの配信が遅れる場合があります。 レポートが生成されるまでお待ちください。 各タスクの実行には一意の ID があります。 レポートは一度しかプッシュされません。 レポートを削除する際はご注意ください。
   [Migration Logs]	はい	移行ログの配信方法。 [Do not push] (デフォルト): 移行ログはプッシュされません。 [Push]: 移行ログを Log Service にプッシュします。Log Service で移行ログを表示できます。 [Push only file error logs.]：ファイル移行エラーのログのみを Log Service にプッシュします。これらのエラーログは Log Service で表示できます。 Push または Push only file error logs. を選択した場合、オンライン移行サービスは、ログサービスに aliyun-oss-import-log-Alibaba Cloud アカウント ID-現在のリージョン という名前のプロジェクトを作成します。 例: aliyun-oss-import-log-137918634953****-cn-hangzhou。 重要 Push または Push only file error logs. を選択する前に、必ず次の操作を完了してください。そうでない場合、移行タスクが失敗する可能性があります。 Log Service がアクティブ化されていること。 Authorize ページで必要な権限が付与されています。
   [Authorize]	いいえ	このオプションは、Migration Logs が Push または Push only file error logs. に設定されている場合にのみ表示されます。 Authorize をクリックして [クラウドリソースアクセス承認] ページに移動します。 システムは AliyunOSSImportSlsAuditRole という名前のロールを作成し、そのロールに権限を付与します。 [承認に同意] をクリックして承認を完了します。
   フィルター
   [File Name]	いいえ	ファイル名のフィルター。 RE2 ライブラリ の正規表現構文 (サポートされているのは式の一部のみです) に基づいて、Include および Exclude フィルタリングルールを使用できます。 例: [.*\.jpg$] は、[.jpg] で終わるすべてのファイルに一致します。 [^file.*] は、ルートディレクトリ内の [file] で始まるすべてのファイルに一致します。 ソースアドレスにプレフィックスが設定されている場合 (例：[data/to/oss/])、そのプレフィックス下の [file] で始まるすべてのファイルに一致させるには、[^data/to/oss/file.*] を使用する必要があります。 [.*/picture/.*] は、任意のレベルの [picture] という名前のサブディレクトリ内の任意のファイルに一致します。 重要 含むルールを設定した場合、少なくとも 1 つのルールに一致するファイルが移行されます。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。含むルール [.*\.jpg$] を追加すると、[picture.jpg] のみが移行されます。さらに含むルール [.*\.png$] を追加すると、両方のファイルが移行されます。 除外ルールを設定した場合、少なくとも 1 つのルールに一致するファイルは移行されません。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。除外ルール [.*\.jpg$] を追加すると、[picture.png] のみが移行されます。さらに除外ルール [.*\.png$] を追加すると、どちらのファイルも移行されません。 除外ルールは含むルールよりも優先されます。除外ルールと含むルールの両方に一致するファイルは移行されません。 たとえば、ファイル [file.txt] があるとします。除外ルール [.*\.txt$] と含むルール [file.*] を設定した場合、ファイル [file.txt] は移行されません。
   [File Modification Time]	いいえ	ファイルの最終更新日時に基づくフィルター。 時間範囲を指定して、その範囲内で更新されたファイルのみを移行します。 開始日時のみを指定し (例: 2019 年 1 月 1 日)、終了日時を指定しない場合、2019 年 1 月 1 日以降に最終更新されたファイルのみが移行されます。 終了日時のみを指定し (例: 2022 年 1 月 1 日)、開始日時を指定しない場合、2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。 開始日時を 2019 年 1 月 1 日、終了日時を 2022 年 1 月 1 日に指定した場合、2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。
   特殊なエンティティの移行	いいえ	特殊なエンティティタイプを移行するかどうかを制御します。 シンボリックリンク： 有効：ソースのシンボリックリンクが移行キューに追加され、ファイルおよびストレージの統計にカウントされます。 対応するシンボリックリンクファイルが、移行可能な UserMeta 属性に基づいて属性付きで移行先に作成されます。 Target 属性は [Convert target] オプションによって決まります。 無効：ソースのシンボリックリンクは無視され、ファイル数およびストレージの統計から除外されます。 重要 シンボリックリンクが指すオブジェクトは自動的に移行されません。 タスクのスコープに含まれている場合にのみ移行されます。
   移行設定
   ターゲットの変換	いいえ	ソースシンボリックリンクの Target 属性を変換して、移行されたリンクが正しいターゲットファイルを指すようにするかどうかを制御します。 重要 このオプションは、シンボリックリンクの移行が有効になっている場合にのみ有効になります。 ターゲットが変換されるかどうかに関わらず、移行サービスはターゲットファイルが存在するか、そのタイプが有効か、または必要なアクセス権限があるかどうかをチェックしません。 有効：文字列の置換が実行されます。 ソースシンボリックリンクの Target 属性がソースプレフィックス (SrcPrefix) と一致する場合、プレフィックスは移行先プレフィックス (DestPrefix) に置き換えられます。 結果は、移行先シンボリックリンクの Target 属性として設定されます。 説明 例： 移行タスクが SrcPrefix="cloud_base/" および DestPrefix="/mnt/nas1/" で設定されているとします。 ソースシンボリックリンクオブジェクトは cloud_base/links/a.lnk に存在します。 その Target 属性が "cloud_base/data/a.txt" の場合、置換条件に一致します。 移行先での最終的な Target は "/mnt/nas1/data/a.txt" になります。 その Target 属性が "cloud_outer/data/a.txt" の場合、置換条件に一致しません。 移行先での最終的な Target は "cloud_outer/data/a.txt" のままです。 無効：変換は実行されません。 ソースシンボリックリンクの元の Target 属性が、移行先シンボリックリンクに設定されます。
   最終更新日時を保持	はい	ソースファイルの最終更新日時を保持するかどうかを制御します。 保持 (デフォルト)：ソースファイルの最終更新日時が移行先ファイルに設定されます。 保持しない：最終更新日時は保持されません。
   タスクスケジューリング
   実行時間	いいえ	重要 次の実行がスケジュールされている時点でタスクがまだ実行中の場合、現在の実行が完了し、スケジュールされた実行はスキップされ、タスクは次の間隔で実行されます。 同時実行可能な移行タスクの上限：中国本土および China (Hong Kong) リージョンでは最大 10、その他のリージョンでは最大 5。 移行タスクを実行するタイミングを指定します。 [Immediately]: タスクをすぐに実行します。 [At the Specified Time]：タスクを毎日実行する時間枠を設定します。デフォルトでは、タスクは指定された開始時刻に開始し、指定された停止時刻に一時停止します。 [Periodic Scheduling]：指定された頻度と実行回数に基づいてタスクを実行します。 [実行頻度]：サポートされる頻度は、毎時、毎日、毎週、特定の曜日、およびカスタムです。実行頻度をご参照ください。 [実行回数]：タスクが実行される回数を指定します。設定されていない場合、タスクはデフォルトで 1 回実行されます。最大実行回数については、コンソールのプロンプトを参照してください。 重要 スケジュールされた実行時刻に関係なく、いつでも手動でタスクを開始および一時停止できます。

4. オンライン移行サービス規約を読み、コンプライアンスに関する誓約を理解・確認し、移行タスク完了後に移行データの整合性を検証する義務と責任があることを承諾しますのチェックボックスを選択し、次にNextをクリックします。

5. 設定情報を確認し、内容が正しければ OK をクリックして、移行タスクが実行されるのを待ちます。

実行頻度

ステップ 7：データの検証