このトピックでは、Azure Blob から Alibaba Cloud Object Storage Service (OSS) にデータを移行するための使用上の注意、制限、および手順について説明します。
使用上の注意
データオンライン移行を使用してデータを移行する場合は、次の点に注意してください。
データオンライン移行は、ソースデータアドレスのストレージサービスプロバイダーが提供するパブリックインターフェイスを使用して、ソースデータアドレスにアクセスします。 アクセス動作は、ストレージサービスプロバイダーのインターフェイスの実装によって異なります。
データオンライン移行を移行に使用すると、ソースと宛先データアドレスのリソースが消費されます。 これにより、ビジネスが中断される可能性があります。 業務継続性を確保するために、移行タスクの速度制限を有効にするか、慎重な評価の後、オフピーク時に移行タスクを実行することをお勧めします。
移行タスクが開始される前に、データオンライン移行はソースと宛先データアドレスのファイルをチェックします。 ソースデータアドレスのファイルと宛先データアドレスのファイルの名前が同じで、移行タスクのファイル上書き方法パラメーターが [はい] に設定されている場合、移行中に宛先データアドレスのファイルが上書きされます。 2 つのファイルに異なる情報が含まれていて、宛先データアドレスのファイルを保持する必要がある場合は、一方のファイルの名前を変更するか、宛先データアドレスのファイルをバックアップすることをお勧めします。
ソースファイルの LastModifyTime 属性は、ファイルが宛先バケットに移行された後も保持されます。 ライフサイクルルールが宛先バケットに構成されていて有効になっている場合、最終変更時刻がライフサイクルルールの指定された期間内にある移行済みファイルは、特定のストレージタイプで削除またはアーカイブされる場合があります。
制限
データオンライン移行では、1 つの移行タスクで 1 つの BLOB コンテナーからのみデータを移行できます。 1 つの移行タスクでアカウント内のすべての BLOB コンテナーからデータを移行することはできません。
Azure Blob から Alibaba Cloud OSS に移行できるのは、特定のデータ属性のみです。
移行できる属性には、x-ms-meta-*、LastModifyTime、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language、および Expires が含まれます。
移行できない属性には、StorageClass、ACL、サーバ側暗号化、およびタグ付けが含まれますが、これらに限定されません。
説明他の属性を移行できるかどうかは不明です。 実際の移行結果が優先されます。
ステップ 1:リージョンを選択する
データ移行用に作成した Resource Access Management (RAM) ユーザーとして、データオンライン移行コンソール にログインします。
上部ナビゲーションバーの左上隅で、ソースデータアドレスが存在するリージョンを選択するか、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択します。
選択したリージョンは、データオンライン移行がデプロイされるリージョンです。 中国国内でサポートされているリージョンには、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深セン)、中国 (ウランチャブ)、中国 (香港) が含まれ、中国国外でサポートされているリージョンには、シンガポール、ドイツ (フランクフルト)、米国 (バージニア) が含まれます。
重要あるリージョンで作成したデータアドレスと移行タスクは、別のリージョンでは使用できません。 リージョンは慎重に選択してください。
ソースデータアドレスが存在するリージョンを選択することをお勧めします。 ソースデータアドレスが存在するリージョンがデータオンライン移行でサポートされていない場合は、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択してください。
国境を越えたデータ移行を高速化するには、転送アクセラレーションを有効にすることをお勧めします。 OSS バケットの転送アクセラレーションを有効にすると、転送アクセラレーション料金が発生します。 詳細については、「転送アクセラレーション」をご参照ください。
ステップ 2:ソースデータアドレスを作成する
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。 [アドレス管理] ページで、[アドレスの作成] をクリックします。
[アドレスの作成] パネルで、パラメーターを構成し、[OK] をクリックします。 次の表に、パラメーターについて説明します。
パラメーター
必須
説明
名前
はい
ソースデータアドレスの名前。 名前は次の要件を満たしている必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
タイプ
はい
ソースデータアドレスのタイプ。 [Azure Blob] を選択します。
ドメイン名
はい
Azure Blob 内のリソースの Uniform Resource Identifier (URI)。 形式: https://<ストレージアカウント>.blob.core.windows.net。 詳細については、「リソース URI 構文」をご参照ください。
コンテナー
はい
BLOB で構成される Azure コンテナーの名前。 名前は大文字と小文字が区別され、コンテナーの作成時に指定した名前と同じである必要があります。
SAS トークン
はい
SAS は、Azure Blob ストレージリソースに対する制限付きアクセス権限を付与するために使用できる URI です。 SAS を使用すると、信頼できるキーを使用してストレージアカウントリソースにアクセスできないクライアントに権限を付与できます。 これらのクライアントに SAS を発行して、一定期間リソースにアクセスするための特定の権限を付与できます。 詳細については、「アカウント SAS を作成する」をご参照ください。
プレフィックス
いいえ
ソースデータアドレスのプレフィックス。 特定のデータを移行するためにプレフィックスを指定できます。
プレフィックスを指定すると、プレフィックスで指定されたディレクトリ内のデータのみが移行されます。 プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。
プレフィックスを指定しないと、バケット内のすべてのデータが移行されます。
トンネル
いいえ
使用するトンネルの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
宛先データアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
エージェント
いいえ
使用するエージェントの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 のエージェントを選択できます。
ステップ 3:宛先データアドレスを作成する
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。 [アドレス管理] ページで、[アドレスの作成] をクリックします。
[アドレスの作成] パネルで、パラメーターを構成し、[OK] をクリックします。 次の表に、パラメーターについて説明します。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
宛先バケットは、データオンライン移行コンソールへのログインに使用される Alibaba Cloud アカウントに属しています
データオンライン移行コンソールで RAM ロールを作成して承認することをお勧めします。 詳細については、「データオンライン移行コンソールで RAM ロールを承認する」をご参照ください。
RAM コンソールで RAM ロールにポリシーを手動でアタッチすることもできます。 詳細については、「宛先バケットが現在の Alibaba Cloud アカウントに属している」トピックの「ステップ 4:宛先バケットに対する権限を RAM ロールに付与する」セクションをご参照ください。
宛先バケットは、データオンライン移行コンソールへのログインに使用される Alibaba Cloud アカウントに属していません
OSS コンソールで RAM ロールにポリシーをアタッチできます。 詳細については、「宛先バケットが現在の Alibaba Cloud アカウントに属していない」トピックの「ステップ 4:宛先バケットに対する権限を RAM ロールに付与する」セクションをご参照ください。
宛先データアドレスのプレフィックスを指定する: たとえば、ソースデータアドレスのプレフィックスを
example/src/に設定し、example.jpg という名前のファイルを example/src/ に保存し、宛先データアドレスのプレフィックスをexample/dest/に設定します。 example.jpg ファイルが宛先データアドレスに移行された後、ファイルのフルパスはexample/dest/example.jpgになります。宛先データアドレスのプレフィックスを指定しない: 宛先データアドレスのプレフィックスを指定しないと、ソースデータは宛先バケットのルートディレクトリに移行されます。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
宛先データアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 のエージェントを選択できます。
パラメーター | 必須 | 説明 |
名前 | はい | 宛先データアドレスの名前。 名前は次の要件を満たしている必要があります。 |
タイプ | はい | 宛先データアドレスのタイプ。 [Alibaba OSS] を選択します。 |
カスタムドメイン名 | いいえ | カスタムドメイン名がサポートされているかどうかを指定します。 |
リージョン | はい | 宛先データアドレスが存在するリージョン。 例: [中国 (杭州)]。 |
ロールの承認 | はい | |
バケット | はい | データの移行先となる OSS バケットの名前。 |
プレフィックス | いいえ | 宛先データアドレスのプレフィックス。 特定のデータを移行するためにプレフィックスを指定できます。 プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。 例: |
トンネル | いいえ | 使用するトンネルの名前。 重要 |
エージェント | いいえ | 使用するエージェントの名前。 重要 |
ステップ 4:移行タスクを作成する
各リージョンで最大 5 つの同時移行タスクを実行できます。 リージョン内の同時移行タスクの数がこの制限を超えると、定期的なタスクスケジューリングが期待どおりに実行されない場合があります。
左側のナビゲーションウィンドウで、[データオンライン移行] > [移行タスク] を選択します。 [移行タスク] ページで、[タスクの作成] をクリックします。
[アドレスの選択] ステップで、パラメーターを構成します。 次の表に、パラメーターについて説明します。
パラメーター
必須
説明
名前
はい
移行タスクの名前。 名前は次の要件を満たしている必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
ソースアドレス
はい
作成したソースデータアドレス。
宛先アドレス
はい
作成した宛先データアドレス。
[タスクの構成] ステップで、パラメーターを構成します。 次の表に、パラメーターについて説明します。
パラメータ
必須
説明
移行帯域幅
いいえ
移行タスクで使用可能な最大帯域幅。有効な値:
[デフォルト]: 移行帯域幅のデフォルトの上限を使用します。実際の移行帯域幅は、ファイルサイズとファイル数によって異なります。
[上限を指定]: プロンプトに従って、移行帯域幅のカスタム上限を指定します。
重要実際の移行速度は、ソース データ アドレス、ネットワーク、宛先 データ アドレスでの速度制限、ファイルサイズなど、複数の要因によって異なります。そのため、実際の移行速度が指定された上限に達しない場合があります。
ソース データ アドレス、移行の目的、ビジネス状況、およびネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定してください。不適切な速度制限は、ビジネス パフォーマンスに影響を与える可能性があります。
1 秒あたりの移行ファイル数
いいえ
1 秒あたりに移行できるファイルの最大数です。有効な値:
[デフォルト]:1 秒あたりに移行できるファイル数のデフォルトの上限を使用します。
[上限を指定]:プロンプトに従って、1 秒あたりに移行できるファイル数にカスタムの上限値を指定します。
重要実際の移行速度は、ソース データ アドレス、ネットワーク、宛先データ アドレスでの速度制限、ファイル サイズなど、複数の要因によって異なります。そのため、実際の移行速度は指定された上限に達しない場合があります。
ソース データ アドレス、移行の目的、ビジネス状況、ネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定してください。不適切な速度制限は、ビジネス パフォーマンスに影響を与える可能性があります。
上書き方法
はい
ソースデータアドレスのファイルと宛先データアドレスのファイルの名前が同じ場合に、宛先データアドレスのファイルを上書きするかどうかを指定します。有効な値:
[上書きしない]: ソースデータアドレスのファイルを移行しません。
[すべて上書き]: 宛先データアドレスのファイルを上書きします。
[最終更新時刻に基づいて上書き]:
ソースデータアドレスのファイルの最終更新時刻が宛先データアドレスのファイルの最終更新時刻よりも後の場合、宛先データアドレスのファイルが上書きされます。
ソースデータアドレスのファイルの最終更新時刻が宛先データアドレスのファイルの最終更新時刻と同じ場合、ファイルのサイズと Content-Type ヘッダーのいずれかが異なる場合、宛先データアドレスのファイルが上書きされます。
[最終更新時刻に基づいて上書き] を選択した場合、新しいファイルが古いファイルによって上書きされる可能性があり、最近の更新が失われるリスクがあります。
[最終更新時刻に基づいて上書き] を選択する場合は、ソースデータアドレスのファイルに、最終更新時刻、サイズ、Content-Type ヘッダーなどの情報が含まれていることを確認してください。含まれていない場合、上書きポリシーが無効になり、予期しない移行結果が発生する可能性があります。
[上書きしない] または [最終更新時刻に基づいて上書きする] を選択した場合、システムは ソース および デスティネーション のデータアドレスにリクエストを送信してメタ情報を取得し、ファイルを上書きするかどうかを決定します。そのため、ソース および デスティネーション のデータアドレスに対してリクエスト料金が発生します。
警告移行レポート
はい
移行レポートをプッシュするかどうかを指定します。有効な値:
[プッシュしない](デフォルト): 移行レポートを宛先バケットにプッシュしません。
[プッシュする]: 移行レポートを宛先バケットにプッシュします。詳細については、「後続の操作」をご参照ください。
重要移行レポートは、宛先データアドレスのストレージ容量を占有します。
移行レポートは遅延してプッシュされる場合があります。移行レポートが生成されるまで待機してください。
タスクの実行ごとに一意の ID が生成されます。移行レポートは一度だけプッシュされます。必要な場合を除き、移行レポートを削除しないことをお勧めします。
移行ログ
はい
移行ログを Simple Log Service (SLS) にプッシュするかどうかを指定します。有効な値:
[プッシュしない] (デフォルト): 移行ログをプッシュしません。
[プッシュする]: 移行ログを SLS にプッシュします。SLS コンソールで移行ログを表示できます。
[ファイルエラーログのみをプッシュする]: エラー移行ログのみを SLS にプッシュします。SLS コンソールでエラー移行ログを表示できます。
[プッシュする] または [ファイルエラーログのみをプッシュする] を選択すると、データオンライン移行は SLS にプロジェクトを作成します。プロジェクト名は、aliyun-oss-import-log-Alibaba Cloud アカウント ID-データオンライン移行コンソールのリージョン 形式です。例: aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要[プッシュする] または [ファイルエラーログのみをプッシュする] を選択する前に、移行タスクでエラーが発生しないように、次の要件が満たされていることを確認してください。
SLS がアクティブ化されている。
[承認] ページで承認を確認している。
[承認]
いいえ
このパラメーターは、[移行ログ] パラメーターを [プッシュ] または [ファイルエラーログのみをプッシュ] に設定した場合に表示されます。
[承認] をクリックして、[クラウド リソースアクセス承認] ページに移動します。このページで、[承認ポリシーの確認] をクリックします。RAM ロール AliyunOSSImportSlsAuditRole が作成され、権限が RAM ロールに付与されます。
ファイル名
いいえ
ファイル名に基づくフィルター。
[包含] ルールと [除外] ルールの両方がサポートされています。ただし、特定の正規表現の構文のみがサポートされています。正規表現の構文の詳細については、re2 をご覧ください。例:
.*\.jpg$ は、名前が .jpg で終わるすべてのファイルを指します。
デフォルトでは、^file.* は、ルートディレクトリで名前が file で始まるすべてのファイルを指します。
ソースデータアドレスにプレフィックスが設定されていて、プレフィックスが data/to/oss/ の場合、指定されたディレクトリで名前が file で始まるすべてのファイルと一致させるには、^data/to/oss/file.* フィルターを使用する必要があります。
.*/picture/.* は、パスに picture というサブディレクトリが含まれるファイルを指します。
重要包含ルールが設定されている場合、包含ルールを満たすすべてのファイルが移行されます。複数の包含ルールが設定されている場合、いずれかの包含ルールが満たされていれば、ファイルは移行されます。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、包含ルール .*\.jpg$ が設定されているとします。この場合、picture.jpg ファイルのみが移行されます。同時に包含ルール .*\.png$ が設定されている場合、両方のファイルが移行されます。
除外ルールが設定されている場合、除外ルールを満たすすべてのファイルは移行されません。複数の除外ルールが設定されている場合、いずれかの除外ルールが満たされていれば、ファイルは移行されません。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、除外ルール .*\.jpg$ が設定されているとします。この場合、picture.png ファイルのみが移行されます。同時に除外ルール .*\.png$ が設定されている場合、どちらのファイルも移行されません。
除外ルールは包含ルールよりも優先されます。ファイルが除外ルールと包含ルールの両方を満たす場合、ファイルは移行されません。
たとえば、file.txt ファイルが存在し、除外ルール .*\.txt$ と包含ルール file.* が設定されているとします。この場合、ファイルは移行されません。
ファイルの更新日時
いいえ
ファイルの最終更新日時を基準とするフィルターです。
最終更新日時をフィルタールールとして指定できます。 期間を指定した場合、最終更新日時が指定された期間内のファイルのみが移行されます。 例:
開始日時として 2019 年 1 月 1 日を指定し、終了日時を指定しない場合、最終更新日時が 2019 年 1 月 1 日以降のファイルのみが移行されます。
終了日時として 2022 年 1 月 1 日を指定し、開始日時を指定しない場合、最終更新日時が 2022 年 1 月 1 日以前のファイルのみが移行されます。
開始日時として 2019 年 1 月 1 日を指定し、終了日時として 2022 年 1 月 1 日を指定した場合、最終更新日時が 2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前のファイルのみが移行されます。
実行時間
いいえ
重要移行タスクの現在の実行が、次にスケジュールされた開始時刻までに完了しない場合、タスクは現在の移行が完了した後の、次にスケジュールされた開始時刻に次の実行を開始します。 このプロセスは、タスクが指定された回数実行されるまで続きます。
Data Online Migration が中国(香港)リージョンまたは中国本土のリージョンにデプロイされている場合、最大 10 の同時移行タスクがサポートされます。 Data Online Migration が中国以外のリージョンにデプロイされている場合、最大 5 つの同時移行タスクがサポートされます。 同時タスク数が制限を超えると、タスクの実行がスケジュールどおりに完了しない場合があります。
移行タスクが実行される時間です。有効な値:
[即時]: タスクはすぐに実行されます。
[スケジュールされたタスク]: タスクは毎日指定された期間内に実行されます。 デフォルトでは、タスクは指定された開始時刻に開始され、指定された停止時刻に停止されます。
[定期スケジュール]: タスクは、指定した実行頻度と実行回数に基づいて実行されます。
実行頻度: タスクの実行頻度を指定できます。有効な値:毎時、毎日、毎週、特定の曜日、およびカスタム。 詳細については、このトピックのサポートされている実行頻度セクションをご参照ください。
実行: プロンプトに従って、タスクの最大実行回数を指定できます。 デフォルトでは、このパラメーターを指定しない場合、タスクは 1 回実行されます。
重要タスクはいつでも手動で開始および停止できます。 これは、タスクのカスタム実行時間の影響を受けません。
データオンライン移行契約をお読みください。[Alibaba Cloud 国際ウェブサイト製品サービス規約を読み、同意します。] と [移行タスクが完了すると、移行されたデータがソースデータと異なる場合があることを理解しました。そのため、移行されたデータとソースデータの一貫性を確認する義務と責任があります。Alibaba Cloud は、移行されたデータとソースデータの一貫性の確認について責任を負いません。] を選択します。次に、[次へ] をクリックします。
構成が正しいことを確認し、[OK] をクリックします。移行タスクが作成されます。
サポートされている実行頻度
頻度 | 説明 | 例 |
毎時 | 移行タスクを毎時実行するようにスケジュールします。この実行頻度を選択した場合、タスクの最大実行回数も指定できます。 | 移行タスクを 3 回、毎時実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは次の時刻の開始時、つまり 09:00 に最初の実行を開始します。
|
毎日 | 移行タスクを毎日実行するようにスケジュールします。この実行頻度を選択した場合は、00:00 から 23:00 までの間の毎正時にタスクを実行するようにスケジュールする必要があります。タスクの最大実行回数も指定できます。 | 移行タスクを毎日 10:00 に 5 回実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
毎週 | 移行タスクを毎週実行するようにスケジュールします。この実行頻度を選択した場合は、曜日を指定し、00:00 から 23:00 までの間の毎正時にタスクを実行するようにスケジュールする必要があります。タスクの最大実行回数も指定できます。 | 移行タスクを毎週月曜日の 10:00 に 10 回実行するようにスケジュールします。現在の時刻が月曜日の 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
特定の曜日 | 移行タスクを特定の曜日に実行するようにスケジュールします。この実行頻度を選択した場合は、複数の曜日を指定し、00:00 から 23:00 までの間の毎正時にタスクを実行するようにスケジュールする必要があります。 | 移行タスクを毎週月曜日、水曜日、金曜日の 10:00 に実行するようにスケジュールします。現在の時刻が水曜日の 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
カスタム | CRON 式を使用して、移行タスクのカスタム開始時刻を指定します。 | 説明 CRON 式は、スペースで区切られた 6 つのフィールドで構成されます。6 つのフィールドは、移行タスクの開始時刻を、秒、分、時、日、月、曜日の順に指定します。 以下のサンプル CRON 式は参考用です。さらに CRON 式を生成するには、CRON 式ジェネレーターを使用します。
|
手順 5:データの検証
データオンライン移行はデータの移行のみを処理し、データの整合性または完全性は保証しません。 移行タスクが完了したら、移行されたすべてのデータを確認し、ソース データアドレスと宛先 データアドレス間でデータの整合性を検証する必要があります。
移行タスクが完了したら、宛先 データアドレスで移行されたデータを確認してください。 宛先 データアドレスで移行されたデータを確認する前に、ソース データアドレスのデータを削除した場合、データ損失によって発生した損失と結果について責任を負うことになります。