Data Online Migration:データ移行

注意事項

Data Online Migration を使用する際は、次の点に注意してください：

• 移行元データアドレスを作成する際は、Directory To Be Migrated に絶対パスを指定してください。このパスはスラッシュ (/) で始まり、スラッシュ (/) で終わる必要があり、環境変数や特殊文字を含めることはできません。

• 移行元データアドレスを作成する際、指定したDirectory To Be Migratedが存在し、有効であることを確認してください。

• 移行では、ソースと移行先の両方でリソースを消費するため、ワークロードに影響する可能性があります。ミッションクリティカルなサービスの場合は、レート制限を設定するか、オフピーク時間にタスクを実行してください。

• サービスは移行前に、ソースと移行先のファイルを確認します。両方の場所に同名のファイルが存在し、タスクで上書きが設定されている場合、移行先のファイルは直接上書きされます。データ損失を防ぐため、内容が異なるファイルはバックアップするか名前を変更してください。

• オンライン移行では、ソースファイルの最終更新日時が保持されます。移行先バケットにライフサイクルルールが設定されている場合、最終更新日時に基づいて、移行されたファイルが削除またはトランジションされることがあります。

移行の制限

• 移行元データアドレスにある次のデータタイプは、移行の対象外です。空のディレクトリ、シンボリックリンク (ファイルまたはディレクトリ)、キャラクタデバイスファイル、ブロックデバイスファイル、ソケットファイル、およびパイプラインファイル。

• 移行元データアドレスにあるハードリンクは、リンク関係を保持せず、通常のファイルに変換されます。

• 移行では、親ディレクトリの属性は移行されません。

• 移行では、SUID、SGID、SBID などの特殊なファイルパーミッションは移行されません。

• ローカルファイルシステムから OSS へデータを移行する場合、次の属性に関する制限があります。

  • サポートされる属性：移行では、ModifyTime を X-Oss-Meta-Mtime に、Permissions を X-Oss-Meta-Perms に、Uid:Gid を X-Oss-Meta-Owner にマッピングします。

    説明

    • Permissions：読み取り、書き込み、実行アクセスに関する 9 つのパーミッションビットが含まれます。

    • Uid:Gid：コロン (:) で区切られたユーザー ID とグループ ID を表します。

  • サポートされない属性：例として、AccessTime、ChangeTime、Attr、Acl などがあります。

    説明

    ここに記載されていない属性の移行動作は保証されません。移行完了後、お客様自身で検証していただく必要があります。

ステップ 1：リージョンの選択

1. 作成した RAM ユーザーで Data Online Migration コンソールにログインします。

2. トップナビゲーションバーの左上で、エージェントが配置されているリージョンを選択します。

   重要

   • あるリージョンで作成したトンネル、エージェント、データアドレス、移行タスクは、他のリージョンでは使用できません。リージョンは慎重に選択してください。

   • エージェントが配置されているリージョンを選択してください。そのリージョンが利用できない場合は、最も近いリージョンを選択して移行タスクを作成してください。

   • クロスボーダー移行では、移行速度を向上させるため、Transfer Acceleration を有効にすることを推奨します。バケットで Transfer Acceleration を有効にすると、Transfer Acceleration 料金が発生します。詳細については、「Transfer Acceleration を使用した OSS へのアクセス」をご参照ください。

ステップ 2：トンネルの作成

1. 左側のナビゲーションペインで、Data Online Migration > Channel Management の順に選択し、Create Tunnel をクリックします。

2. Create Tunnel ダイアログボックスで、次のパラメーターを設定し、OK をクリックします。

   パラメーター	必須	説明
   名前	はい	トンネルの名前。 名前は空にできず、最大 100 文字までです。 名前には、文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
   [Maximum Bandwidth]	はい	トンネルが使用できる最大帯域幅。 このパラメーターを設定しない場合、デフォルト値の 0 が使用されます。これは、トンネルの帯域幅が無制限であることを意味します。 このパラメーターを設定する場合は、コンソールの注意書きに基づいて値を入力してください。 重要 トンネルで使用できる帯域幅は、ネットワーク接続の実際の帯域幅によって決まります。
   [Requests/s]	はい	トンネル経由の秒間リクエスト数の最大値。 このパラメーターを設定しない場合、デフォルト値の 0 が使用されます。これは、トンネル経由の秒間リクエスト数が無制限であることを意味します。 このパラメーターを設定する場合は、コンソールの注意書きに基づいて値を入力してください。 警告 このパラメーターを設定する前に、データソースのストレージシステムの性能を評価することを推奨します。このパラメーターを大きな値に設定すると、お客様のビジネスに影響を及ぼすおそれがあります。コンソールの注意書きに基づいて値を入力することを推奨します。

ステップ 3：エージェントの作成

1. 左側メニューで、Data Online Migration > Agent Management を選択し、New Agent をクリックします。

2. New Agent ダイアログボックスで、次のパラメーターを設定し、OK をクリックします。

   パラメーター	必須	説明
   名前	はい	エージェントの名前です。 名前は 3～63 文字である必要があります。 小文字英字、数字、ハイフン（-）、アンダースコア（_）を使用できます。大文字と小文字は区別されます。 名前は UTF-8 エンコードである必要があり、ハイフン（-）またはアンダースコア（_）で始まってはいけません。
   [Network Type]	はい	ネットワークタイプ。有効な値は次のとおりです。 VPC（推奨）：VPC 経由で接続します。ホストマシンは、対応するリージョン内のデータオンライン移行の内部エンドポイントに到達できる必要があります。たとえば、中国 (北京) リージョンでは、エージェントが {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com にアクセスできる必要があります。エージェントは、コンソールと同じリージョンの ECS インスタンスにデプロイしてください。 インターネット：インターネット経由で接続します。ホストマシンは、対応するリージョン内のデータオンライン移行のパブリックエンドポイントに到達できる必要があります。たとえば、中国 (北京) リージョンでは、エージェントが {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com にアクセスできる必要があります。 説明 TunnelId はトンネルの ID です。 エージェントと移行サービス間のネットワーク接続性をテストするには、ping コマンドを使用してください。
   デプロイ方法	はい	デプロイ方法。スタンドアロンプロセスモードのみサポートされています。
   [Tunnel]	はい	エージェントに関連付けるトンネルです。各エージェントは 1 つのトンネルにのみバインドされ、その帯域幅はトンネルの合計帯域幅によって制限されます。 たとえば、tunnel-1 という名前のトンネルの最大帯域幅が 10 Gbit/s の場合、この tunnel-1 に agent-1、agent-2、および agent-3 の 3 つのエージェントを関連付けた場合、これらのエージェントの帯域幅の合計は 10 Gbit/s を超えてはいけません。agent-1 に 3 Gbit/s の帯域幅を割り当てた場合、agent-2 と agent-3 で共有できる帯域幅は残りの 7 Gbit/s のみです。帯域幅割り当てを適切に計画してください。

3. エージェントデプロイスクリプトを生成します。詳細については、「エージェントデプロイスクリプトの生成」をご参照ください。

ステップ 4：ソースアドレスの作成

1. 左側メニューで、 Data Online Migration > [Address management] を選択し、 [Create address] をクリックします。

2. [Create address] パネルで、次のパラメーターを設定し、 OK をクリックします。

   パラメーター	必須	説明
   名前	はい	ソースの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   タイプ	はい	LocalFS を選択します。
   [Directory To Be Migrated]	はい	移行対象のディレクトリのパスを指定します。パスは、先頭と末尾にフォワードスラッシュ (/) を使用した絶対パスである必要があり、環境変数や特殊文字を含めることはできません。 たとえば、ソースプレフィックスが /example/src/ で、送信先プレフィックスが example/dest/ の場合、example.jpg などのソースファイルは example/dest/example.jpg に移行されます。 重要 このデータアドレスに複数のエージェントが関連付けられている場合は、各エージェントがこのディレクトリにアクセスできることを確認してください。そうでない場合、一部のデータが移行に失敗する可能性があります。 LocalFS ソースが、複数のマシンにローカルディレクトリとしてマウントされた NAS ファイルシステムである場合は、各マシンでマウントディレクトリが同じ名前であることを確認してください。データアドレスを作成するときは、このローカルディレクトリ名を移行対象のディレクトリとして指定します。
   [Tunnel]	いいえ	使用するチャネルを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 宛先がローカルファイルシステム (LocalFs) である場合、または Finance Cloud や Apsara Stack などのサービス向けの専用線経由で移行する場合には、エージェントが必要です。
   [Agent]	いいえ	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ 5：移行先アドレスの作成

1. ナビゲーションペインで、[Data Online Migration] > Address Management を選択し、Create Address をクリックします。

2. [アドレスの作成] パネルで、以下のパラメーターを設定し、[OK] をクリックします。

   パラメーター	必須	説明
   名前	はい	移行先アドレスの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   タイプ	はい	OSS を選択します。
   [Region]	いいえ	移行先リージョンを選択します。例：[China (Hangzhou)]。
   ロールの権限付与	はい	移行先バケットが Data Online Migration に使用している Alibaba Cloud アカウントに属している場合： Data Online Migration コンソールでロールに権限を付与する (推奨)。 Data Online Migration コンソールでロールに手動で権限を付与する (代替)。 移行先バケットが別の Alibaba Cloud アカウントに属している場合： OSS コンソールでロールに権限を付与する。
   バケット	はい	現在のアカウント内の移行先 OSS バケット名を入力します。
   [Agent]	いいえ	1 つ以上のエージェントを選択します。 重要 このパラメーターは、自己管理型ストレージからクラウドにデータを移行する場合、または専用接続や VPN 経由でデータを移行する場合にのみ必要です。 指定したチャネルでは、最大 200 個のエージェントを選択できます。

ステップ6：移行タスクの作成

1. 左側のナビゲーションペインで、Data Online Migration > Migration Tasks を選択し、Create Task をクリックします。

2. Select Address ページで、以下のパラメーターを設定し、Next をクリックします。

   パラメーター	必須	説明
   [Name]	はい	移行タスクの名前を入力します。名前は次の要件を満たす必要があります。 名前は 3～63 文字です。 名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) のみ使用できます。 名前はハイフン (-) またはアンダースコア (_) で始めることはできません。
   [Source Address]	はい	事前に作成したソースアドレスを選択します。
   [Destination Address]	はい	事前に作成した送信先アドレスを選択します。

3. Task Configurations ページで、次のパラメーターを設定します。

   パラメーター	必須	説明
   [Basic configurations]
   Migration Bandwidth	いいえ	移行帯域幅の設定。 [Default]：利用可能な最大帯域幅を使用します。実際の移行速度は、ファイルサイズとファイル数によって異なります。 [Specify an upper limit]：コンソールのプロンプトに従って帯域幅の上限を指定します。 重要 実際の移行帯域幅は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。帯域幅は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   Files Migrated Per Second	いいえ	秒間に移行されるファイル数。 [Default]：1 秒あたりに移行されるファイルのデフォルト数。 [Specify an upper limit]: コンソールのプロンプトに従って上限値を指定します。 重要 実際の移行速度は、データソース、ファイルサイズ、ネットワーク状態、および送信先側のスロットリングの影響を受けます。速度は指定した上限に達しない場合があります。 この値を設定する前に、データソース、送信先、ワークロード、およびネットワーク帯域幅を評価してください。不適切なスロットリングは、業務に影響を及ぼす可能性があります。
   Overwrite Mode	いいえ	送信先に同じ名前のファイルが存在する場合の処理方法。 [Do not overwrite]：ファイルの移行をスキップします。 [Overwrite All]：ソースファイルが宛先ファイルを上書きします。 [Overwrite based on the last modification time]： ソースファイルの最終更新日時が新しい場合、送信先ファイルが上書きされます。 最終更新日時が同じ場合、[サイズ] または [Content-Type] が異なるときに送信先ファイルが上書きされます。 警告 Overwrite based on the last modification time ポリシーは、古いファイルが新しいファイルを上書きしないことを保証するものではありません。 Overwrite based on the last modification time を選択した場合は、ソースデータが 最終変更時刻、サイズ、 Content-Type などのメタデータを返すようにしてください。そうでない場合、上書きポリシーが期待どおりに機能せず、意図しない移行結果につながる可能性があります。 [上書きしない] または [最終更新日時に基づいて上書き] を選択した場合、サービスはソースと送信先の両方からオブジェクトメタデータを要求して比較を行います。これにより、ソースと送信先の両方でリクエスト料金が発生します。
   [Auditing method]
   Migration Report	はい	移行レポートの配信方法。 [Do not push] (デフォルト): 移行レポートは移行先バケットにプッシュされません。 [Push]: 移行レポートを移行先バケットにプッシュします。詳細なパスについては、「次のステップ」をご参照ください。 重要 移行レポートをプッシュすると、送信先バケットのストレージ容量が消費されます。 移行レポートの配信が遅延する場合があります。 各タスク実行レコードには一意の ID があります。移行レポートはレコードごとに 1 回のみプッシュされます。削除する際はご注意ください。
   Migration Logs	はい	移行ログの配信方法。 [Do not push] (デフォルト): 移行ログはプッシュされません。 [Push]: 移行ログを Log Service にプッシュします。Log Service で移行ログを表示できます。 [Push only file error logs.]：ファイル移行エラーのログのみを Log Service にプッシュします。これらのエラーログは Log Service で表示できます。 Push または Push only file error logs. を選択した場合、オンライン移行サービスは、ログサービスに aliyun-oss-import-log-Alibaba Cloud アカウント ID-現在のリージョン という名前のプロジェクトを作成します。 例: aliyun-oss-import-log-137918634953****-cn-hangzhou。 重要 Push または Push only file error logs. を選択する前に、必ず次の操作を完了してください。そうでない場合、移行タスクが失敗する可能性があります。 Log Service がアクティブ化されていること。 Authorize ページで必要な権限が付与されています。
   Authorize	いいえ	このオプションは、Migration Logs が Push または Push only file error logs. に設定されている場合にのみ表示されます。 Authorize をクリックして [クラウドリソースアクセス承認] ページに移動します。 システムは AliyunOSSImportSlsAuditRole という名前のロールを作成し、そのロールに権限を付与します。 [承認に同意] をクリックして承認を完了します。
   [Filter]
   File Name	いいえ	ファイル名のフィルター。 RE2 ライブラリ の正規表現構文 (サポートされているのは式の一部のみです) に基づいて、Include および Exclude フィルタリングルールを使用できます。 例: [.*\.jpg$] は、[.jpg] で終わるすべてのファイルに一致します。 [^file.*] は、ルートディレクトリ内の [file] で始まるすべてのファイルに一致します。 ソースアドレスにプレフィックスが設定されている場合 (例：[data/to/oss/])、そのプレフィックス下の [file] で始まるすべてのファイルに一致させるには、[^data/to/oss/file.*] を使用する必要があります。 [.*/picture/.*] は、任意のレベルの [picture] という名前のサブディレクトリ内の任意のファイルに一致します。 重要 含むルールを設定した場合、少なくとも 1 つのルールに一致するファイルが移行されます。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。含むルール [.*\.jpg$] を追加すると、[picture.jpg] のみが移行されます。さらに含むルール [.*\.png$] を追加すると、両方のファイルが移行されます。 除外ルールを設定した場合、少なくとも 1 つのルールに一致するファイルは移行されません。 たとえば、[picture.jpg] と [picture.png] という 2 つのファイルがあるとします。除外ルール [.*\.jpg$] を追加すると、[picture.png] のみが移行されます。さらに除外ルール [.*\.png$] を追加すると、どちらのファイルも移行されません。 除外ルールは含むルールよりも優先されます。除外ルールと含むルールの両方に一致するファイルは移行されません。 たとえば、ファイル [file.txt] があるとします。除外ルール [.*\.txt$] と含むルール [file.*] を設定した場合、ファイル [file.txt] は移行されません。
   File Modification Time	いいえ	ファイルの最終更新日時に基づくフィルター。 時間範囲を指定して、その範囲内で更新されたファイルのみを移行します。 開始日時のみを指定し (例: 2019 年 1 月 1 日)、終了日時を指定しない場合、2019 年 1 月 1 日以降に最終更新されたファイルのみが移行されます。 終了日時のみを指定し (例: 2022 年 1 月 1 日)、開始日時を指定しない場合、2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。 開始日時を 2019 年 1 月 1 日、終了日時を 2022 年 1 月 1 日に指定した場合、2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前に最終更新されたファイルのみが移行されます。
   [Migrate special entities]	いいえ	特殊なタイプのエンティティを移行するかどうかを指定します。チェックボックスをオンにして移行を有効にし、オフにして無効化します。 [Directory]: [Enable]：ソースのディレクトリが移行キューに追加され、タスクのファイル数とストレージボリュームの統計に含まれます。対応するフォワードスラッシュ (/) で終わる空のオブジェクトが宛先に作成され、ソースディレクトリの属性 (サポートされている場合) が宛先オブジェクトのユーザーメタデータとして設定されます。 [Disable]：ソースのディレクトリは無視され、タスクのファイル数とストレージボリュームの統計には含まれません。対応する空のオブジェクトは宛先に作成されません。 [Symbolic link]: [Enable]：ソースのシンボリックリンクが移行キューに追加され、タスクのファイル数とストレージボリュームの統計に含まれます。対応するシンボリックリンクオブジェクトが宛先に作成され、ソースシンボリックリンクの属性 (サポートされている場合) がシンボリックリンクオブジェクトのユーザーメタデータとして設定されます。シンボリックリンクオブジェクトの Target 属性は、[Convert target] の設定に依存します。 [Disable]：ソースのシンボリックリンクは無視され、タスクのファイル数とストレージボリュームの統計には含まれません。 重要 シンボリックリンクが指すターゲットファイルやディレクトリは、それらのターゲットも移行範囲内にある場合を除き、サービスは移行しません。
   [Migration configurations]
   [Convert target]	いいえ	ソースシンボリックリンクの Target 属性を変換して、宛先シンボリックリンクが正しいターゲットオブジェクトを指すようにします。チェックボックスをオンにして変換を有効にし、オフにして無効化します。 重要 このオプションは、シンボリックリンクの移行が有効になっている場合にのみ有効です。 この設定に関わらず、移行ではターゲットオブジェクトが存在するか、そのタイプが有効か、またはそれにアクセスする権限があるかどうかはチェックされません。 [Enable]：サービスはまず、Target 属性をシンボリックリンクのディレクトリに対する最短の絶対パス (AbsTarget) に解決します。次に、文字列置換を実行し、AbsTarget 内の SrcPrefix (一致する場合) を DestPrefix に置き換えます。結果の値が、宛先シンボリックリンクオブジェクトの Target 属性として設定されます。 説明 例：移行タスクが SrcPrefix="/mnt/nas1/" と DestPrefix="cloud_base/" で構成されていると仮定します。ソースにはシンボリックリンク /mnt/nas1/links/a.lnk が存在します。次の Target 属性を考えます。 Target が "../data/./a.txt" の場合、解決された最短の絶対パスは "/mnt/nas1/data/a.txt" です。最終的に置換された Target 値は "cloud_base/data/a.txt" になります。 Target が "/mnt/nas1/verbose/../data/./a.txt" の場合、解決された最短の絶対パスは "/mnt/nas1/data/a.txt" です。最終的に置換された Target 値は "cloud_base/data/a.txt" になります。 Target が "/root/outer/../data/./a.txt" の場合、解決された最短の絶対パスは "/root/data/a.txt" です。プレフィックスの一致が見つからないため、最終的な Target 値は "/root/data/a.txt" のままです。 [Disable]：変換は実行されません。ソースシンボリックリンクの元の Target 属性値が、宛先シンボリックリンクオブジェクトに設定されます。
   [Preserve last modified time]	はい	ソースファイルの最終更新日時を保持するかどうかを指定します。 [Preserve] (デフォルト)：ソースファイルの最終更新日時が宛先オブジェクトに設定されます。 [Do not preserve]：最終更新日時は設定されません。
   [Destination storage class]	いいえ	宛先オブジェクトのストレージクラスを設定するかどうかを指定します。 [Specify]：移行されたオブジェクトは指定されたストレージクラスに設定されます。次のストレージクラスが利用可能です。 標準 低頻度アクセス アーカイブ コールドアーカイブ ディープコールドアーカイブ [Not specified] (デフォルト)：ストレージクラスは設定されず、移行されたファイルは宛先のデフォルトのストレージクラスに従います。 重要 このオプションは、アカウントがこの機能の許可リストに追加されている場合にのみ表示されます。 このオプションは現在、宛先がOSSであるタスクでのみサポートされています。
   [Task scheduling]
   [Execution time]	いいえ	重要 次の実行がスケジュールされている時点でタスクがまだ実行中の場合、現在の実行が完了し、スケジュールされた実行はスキップされ、タスクは次の間隔で実行されます。 同時実行可能な移行タスクの上限：中国本土および China (Hong Kong) リージョンでは最大 10、その他のリージョンでは最大 5。 移行タスクを実行するタイミングを指定します。 [Immediately]: タスクをすぐに実行します。 [At the Specified Time]：タスクを毎日実行する時間枠を設定します。デフォルトでは、タスクは指定された開始時刻に開始し、指定された停止時刻に一時停止します。 [Periodic Scheduling]：指定された頻度と実行回数に基づいてタスクを実行します。 [実行頻度]：サポートされる頻度は、毎時、毎日、毎週、特定の曜日、およびカスタムです。実行頻度をご参照ください。 [実行回数]：タスクが実行される回数を指定します。設定されていない場合、タスクはデフォルトで 1 回実行されます。最大実行回数については、コンソールのプロンプトを参照してください。 重要 スケジュールされた実行時刻に関係なく、いつでも手動でタスクを開始および一時停止できます。

4. オンライン移行サービス規約を読み、コンプライアンスに関する誓約を理解・確認し、移行タスク完了後に移行データの整合性を検証する義務と責任があることを承諾しますのチェックボックスを選択し、次にNextをクリックします。

5. 設定情報を確認し、内容が正しければ OK をクリックして、移行タスクが実行されるのを待ちます。

実行頻度

ステップ 7：データの検証