このトピックでは、Amazon Simple Storage Service (S3) プロトコルと互換性のあるソースのデータを Object Storage Service (OSS) バケットに移行する場合の使用上の注意、制限、および手順について説明します。
使用上の注意
データオンライン移行を使用してデータを移行する場合は、次の点にご注意ください。
データオンライン移行は、ソースデータアドレスのストレージ サービスプロバイダーが提供するパブリック インターフェイスを使用して、ソースデータアドレスにアクセスします。 アクセス動作は、ストレージ サービスプロバイダーのインターフェイス実装によって異なります。
データオンライン移行を移行に使用すると、ソースと宛先データアドレスのリソースが消費されます。 これにより、ビジネスが中断される可能性があります。 業務継続性を確保するために、移行タスクの速度制限を有効にするか、慎重に評価したうえでオフピーク時に移行タスクを実行することをお勧めします。
移行タスクが開始される前に、データオンライン移行はソースと宛先データアドレスのファイルをチェックします。 ソースデータアドレスのファイルと宛先データアドレスのファイルの名前が同じで、移行タスクのファイル上書き方法パラメーターが「はい」に設定されている場合、移行中に宛先データアドレスのファイルが上書きされます。 2 つのファイルに異なる情報が含まれていて、宛先データアドレスのファイルを保持する必要がある場合は、一方のファイルの名前を変更するか、宛先データアドレスのファイルをバックアップすることをお勧めします。
ソースファイルの LastModifyTime 属性は、ファイルが宛先バケットに移行された後も保持されます。 宛先バケットにライフサイクルルールが構成されていて、有効になっている場合、最終変更時刻がライフサイクルルールの指定された期間内にある移行済みファイルは、削除されるか、特定のストレージタイプにアーカイブされる可能性があります。
制限
データオンライン移行では、1 つのタスクで 1 つのバケットのデータのみを移行できます。 アカウントに属するすべてのデータを 1 つのタスクで移行することはできません。
データの特定の属性のみを OSS バケットに移行できます。
移行できる属性には、LastModifyTime、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language、Expires が含まれます。
移行できない属性には、StorageClass、ACL、サーバ側暗号化、タグ付けなどが含まれますが、これらに限定されません。
説明移行できない属性には、上記の属性が含まれますが、これらに限定されません。 他の属性を移行できるかどうかは不明です。 実際の移行結果が優先されます。
ステップ 1:リージョンの選択
データ移行用に作成した Resource Access Management (RAM) ユーザーとして、データオンライン移行コンソール にログインします。
上部ナビゲーションバーの左上隅で、ソースデータアドレスが存在するリージョンを選択するか、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択します。
選択したリージョンは、データオンライン移行がデプロイされるリージョンです。 中国国内でサポートされているリージョンには、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深セン)、中国 (ウランチャブ)、中国 (香港) が含まれ、中国国外でサポートされているリージョンには、シンガポール、ドイツ (フランクフルト)、米国 (バージニア) が含まれます。
重要あるリージョンで作成したデータアドレスと移行タスクは、別のリージョンでは使用できません。 リージョンは慎重に選択してください。
ソースデータアドレスが存在するリージョンを選択することをお勧めします。 ソースデータアドレスが存在するリージョンがデータオンライン移行でサポートされていない場合は、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択してください。
国境を越えたデータ移行を高速化するには、転送アクセラレーションを有効にすることをお勧めします。 OSS バケットの転送アクセラレーションを有効にすると、転送アクセラレーション料金が発生します。 詳細については、「転送アクセラレーション」をご参照ください。
ステップ 2:ソースデータアドレスの作成
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。 [アドレス管理] ページで、[アドレスの作成] をクリックします。
[アドレスの作成] パネルで、パラメーターを構成し、[OK] をクリックします。 次の表に、パラメーターを示します。
パラメーター
必須
説明
名前
はい
ソースデータアドレスの名前。 名前には以下の要件を満たす必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
タイプ
はい
[互換性のある S3] を選択します。
ドメイン名
はい
Amazon S3 プロトコルと互換性のあるソースのエンドポイント。
AccessKeyId
はい
ソースデータアドレスからデータを読み取るために使用されるアカウントのアクセス ペア。 アクセス ペアは、アカウントにソースデータアドレスからデータを読み取る権限があるかどうかを確認するために使用されます。
SecretAccessKey
はい
バケット
はい
移行するデータが格納されているバケットの名前。
説明バケット名には、スペース、改行、タブ文字などの無効な文字を含めることはできません。
プレフィックス
いいえ
ソースデータアドレスのプレフィックス。 特定のデータを移行するためにプレフィックスを指定できます。
プレフィックスを指定した場合、プレフィックスで指定されたディレクトリ内のデータのみが移行されます。 プレフィックスはスラッシュ (/) で始めることはできず、スラッシュ (/) で終わる必要があります。
プレフィックスを指定しない場合、Amazon S3 バケット内のすべてのデータが移行されます。
トンネル
いいえ
使用するトンネルの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
宛先データアドレスのデータがローカル ファイルシステムに格納されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
エージェント
いいえ
使用するエージェントの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 のエージェントを選択できます。
ステップ 3:宛先データアドレスの作成
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。 [アドレス管理] ページで、[アドレスの作成] をクリックします。
[アドレスの作成] パネルで、パラメーターを構成し、[OK] をクリックします。 次の表に、パラメーターを示します。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
宛先バケットは、データオンライン移行コンソールにログインするために使用される Alibaba Cloud アカウントに属しています
データオンライン移行コンソールで RAM ロールを作成して承認することをお勧めします。 詳細については、「データオンライン移行コンソールで RAM ロールを承認する」をご参照ください。
RAM コンソールで RAM ロールに手動でポリシーをアタッチすることもできます。 詳細については、準備 トピックの「ステップ 4:宛先バケットに対する権限を RAM ロールに付与する」セクションをご参照ください。
宛先バケットは、データオンライン移行コンソールにログインするために使用される Alibaba Cloud アカウントに属していません
OSS コンソールで RAM ロールにポリシーをアタッチできます。 詳細については、準備 トピックの「ステップ 4:宛先バケットに対する権限を RAM ロールに付与する」セクションをご参照ください。
宛先データアドレスのプレフィックスを指定する:たとえば、ソースデータアドレスのプレフィックスを
example/src/に設定し、example.jpg という名前のファイルを example/src/ に保存し、宛先データアドレスのプレフィックスをexample/dest/に設定します。 example.jpg ファイルが宛先データアドレスに移行された後、ファイルのフルパスはexample/dest/example.jpgになります。宛先データアドレスのプレフィックスを指定しない:宛先データアドレスのプレフィックスを指定しない場合、ソースデータは宛先バケットのルートディレクトリに移行されます。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
宛先データアドレスのデータがローカル ファイルシステムに格納されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
このパラメーターは、専用回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 のエージェントを選択できます。
パラメーター | 必須 | 説明 |
名前 | はい | 宛先データアドレスの名前。 名前には以下の要件を満たす必要があります。 |
タイプ | はい | 宛先データアドレスのタイプ。 [Alibaba OSS] を選択します。 |
カスタムドメイン名 | いいえ | カスタムドメイン名がサポートされているかどうかを指定します。 |
リージョン | はい | 宛先データアドレスが存在するリージョン。 例:[中国 (杭州)]。 |
ロールの承認 | はい | |
バケット | はい | データの移行先となる OSS バケットの名前。 |
プレフィックス | いいえ | 宛先データアドレスのプレフィックス。 特定のデータを移行するためにプレフィックスを指定できます。 プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。 例: |
トンネル | いいえ | 使用するトンネルの名前。 重要 |
エージェント | いいえ | 使用するプロキシの名前。 重要 |
ステップ 4:移行タスクの作成
各リージョンで最大 5 つの同時移行タスクを実行できます。 あるリージョンでの同時移行タスクの数がこの制限を超えると、定期的なタスクスケジュールが期待どおりに実行されない場合があります。
左側のナビゲーションウィンドウで、[データオンライン移行] > [移行タスク] を選択します。 [移行タスク] ページで、[タスクの作成] をクリックします。
[アドレスの選択] ステップで、パラメーターを構成します。 次の表に、パラメーターを示します。
パラメーター
必須
説明
名前
はい
移行タスクの名前。 名前には以下の要件を満たす必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
ソースアドレス
はい
作成したソースデータアドレス。
宛先アドレス
はい
作成した宛先データアドレス。
[タスクの構成] ステップで、パラメーターを構成します。 次の表に、パラメーターを示します。
パラメーター
必須
説明
移行帯域幅
いいえ
移行タスクに使用できる最大帯域幅。 有効な値:
[デフォルト]:移行帯域幅のデフォルトの上限を使用します。 実際の移行帯域幅は、ファイルサイズとファイル数によって異なります。
[上限を指定する]:プロンプトに従って、移行帯域幅のカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、宛先データアドレスでの速度制限、ファイルサイズなど、複数の要因によって異なります。 そのため、実際の移行速度が指定された上限に達しない場合があります。
ソースデータアドレス、移行の目的、ビジネス状況、ネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。 不適切な速度制限は、ビジネスパフォーマンスに影響を与える可能性があります。
1 秒あたりに移行されるファイル数
いいえ
1 秒あたりに移行できるファイルの最大数。 有効な値:
[デフォルト]:1 秒あたりに移行できるファイル数のデフォルトの上限を使用します。
[上限を指定する]:プロンプトに従って、1 秒あたりに移行できるファイル数にカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、宛先データアドレスでの速度制限、ファイルサイズなど、複数の要因によって異なります。 そのため、実際の移行速度が指定された上限に達しない場合があります。
ソースデータアドレス、移行の目的、ビジネス状況、ネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。 不適切な速度制限は、ビジネスパフォーマンスに影響を与える可能性があります。
上書き方法
はい
宛先データアドレスのファイルがソースデータアドレスのファイルと同じ名前の場合に、宛先データアドレスのファイルを上書きするかどうかを指定します。 有効な値:
[上書きしない]:ソースデータアドレスのファイルは移行されません。
[すべて上書き]:宛先データアドレスのファイルが上書きされます。
[最終更新日時で上書き]:
ソースデータアドレスのファイルの最終更新日時が宛先データアドレスのファイルの最終更新日時よりも後の場合、宛先データアドレスのファイルが上書きされます。
ソースデータアドレスのファイルの最終更新日時が宛先データアドレスのファイルの最終更新日時と同じ場合、ファイルのサイズと Content-Type ヘッダーのいずれかが異なる場合、宛先データアドレスのファイルが上書きされます。
[最終更新日時で上書き] を選択した場合、新しいファイルが古いファイルで上書きされないという保証はなく、最近の更新が失われるリスクがあります。
[最終更新日時で上書き] を選択する場合は、ソースデータアドレスのファイルに、最終更新日時、サイズ、Content-Type ヘッダーなどの情報が含まれていることを確認してください。 そうしないと、上書きポリシーが無効になり、予期しない移行結果が発生する可能性があります。
[上書きしない] または [最終更新日時で上書き] を選択した場合、システムはソースと宛先データアドレスにリクエストを送信してメタ情報を取得し、ファイルを上書きするかどうかを決定します。 そのため、ソースと宛先データアドレスのリクエスト料金が発生します。
警告移行レポート
はい
移行レポートをプッシュするかどうかを指定します。 有効な値:
[プッシュしない] (デフォルト):移行レポートを宛先バケットにプッシュしません。
[プッシュする]:移行レポートを宛先バケットにプッシュします。 詳細については、「後続の操作」をご参照ください。
重要移行レポートは、宛先データアドレスのストレージスペースを占有します。
移行レポートは遅れてプッシュされる場合があります。 移行レポートが生成されるまで待ちます。
タスクが実行されるたびに一意の ID が生成されます。 移行レポートは 1 回だけプッシュされます。 必要な場合を除き、移行レポートを削除しないことをお勧めします。
移行ログ
はい
移行ログを Simple Log Service (SLS) にプッシュするかどうかを指定します。 有効な値:
[プッシュしない] (デフォルト):移行ログをプッシュしません。
[プッシュする]:移行ログを SLS にプッシュします。 移行ログは SLS コンソールで確認できます。
[ファイルエラーログのみをプッシュする]:エラー移行ログのみを SLS にプッシュします。 エラー移行ログは SLS コンソールで確認できます。
[プッシュする] または [ファイルエラーログのみをプッシュする] を選択すると、データオンライン移行は SLS にプロジェクトを作成します。 プロジェクト名は、aliyun-oss-import-log-Alibaba Cloud アカウント ID-データオンライン移行コンソールのリージョン 形式です。 例:aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要移行タスクでのエラーを防ぐために、[プッシュする] または [ファイルエラーログのみをプッシュする] を選択する前に、次の要件が満たされていることを確認してください。
SLS がアクティブ化されている。
[承認] ページで承認を確認している。
承認
いいえ
このパラメーターは、[移行ログ] パラメーターを [プッシュする] または [ファイルエラーログのみをプッシュする] に設定した場合に表示されます。
[承認] をクリックして、[クラウド リソースアクセス承認] ページに移動します。 このページで、[承認ポリシーの確認] をクリックします。 RAM ロール AliyunOSSImportSlsAuditRole が作成され、権限が RAM ロールに付与されます。
ファイル名
いいえ
ファイル名に基づくフィルター。
[包含] ルールと [除外] ルールの両方がサポートされています。 ただし、特定の正規表現の構文のみがサポートされています。 正規表現の構文の詳細については、re2 をご覧ください。 例:
.*\.jpg$ は、名前が .jpg で終わるすべてのファイルを指します。
デフォルトでは、^file.* は、ルートディレクトリで名前が file で始まるすべてのファイルを指します。
ソースデータアドレスにプレフィックスが構成されていて、プレフィックスが data/to/oss/ の場合、指定されたディレクトリで名前が file で始まるすべてのファイルと一致させるには、^data/to/oss/file.* フィルターを使用する必要があります。
.*/picture/.* は、パスに picture という名前のサブディレクトリが含まれるファイルを指します。
重要包含ルールが構成されている場合、包含ルールを満たすすべてのファイルが移行されます。 複数の包含ルールが構成されている場合、包含ルールのいずれかが満たされていれば、ファイルは移行されます。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、包含ルール .*\.jpg$ が構成されているとします。 この場合、picture.jpg ファイルのみが移行されます。 包含ルール .*\.png$ も同時に構成されている場合、両方のファイルが移行されます。
除外ルールが構成されている場合、除外ルールを満たすすべてのファイルは移行されません。 複数の除外ルールが構成されている場合、除外ルールのいずれかが満たされていれば、ファイルは移行されません。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、除外ルール .*\.jpg$ が構成されているとします。 この場合、picture.png ファイルのみが移行されます。 除外ルール .*\.png$ も同時に構成されている場合、どちらのファイルも移行されません。
除外ルールは包含ルールよりも優先されます。 ファイルが除外ルールと包含ルールの両方を満たす場合、ファイルは移行されません。
たとえば、file.txt ファイルが存在し、除外ルール .*\.txt$ と包含ルール file.* が構成されているとします。 この場合、ファイルは移行されません。
ファイルの更新日時
いいえ
ファイルの最終更新日時基づくフィルター。
最終更新日時をフィルタールールとして指定できます。 期間を指定すると、最終更新日時が指定された期間内のファイルのみが移行されます。 例:
開始日時として 2019 年 1 月 1 日を指定し、終了日時を指定しない場合、最終更新日時が 2019 年 1 月 1 日以降のファイルのみが移行されます。
終了日時として 2022 年 1 月 1 日を指定し、開始日時を指定しない場合、最終更新日時が 2022 年 1 月 1 日以前のファイルのみが移行されます。
開始日時として 2019 年 1 月 1 日を指定し、終了日時として 2022 年 1 月 1 日を指定した場合、最終更新日時が 2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前のファイルのみが移行されます。
実行時間
いいえ
重要移行タスクの現在の実行が次のスケジュールされた開始時間までに完了しない場合、タスクは現在の移行が完了した後の次のスケジュールされた開始時間に次の実行を開始します。 このプロセスは、タスクが指定された回数だけ実行されるまで続きます。
データオンライン移行が中国 (香港) リージョンまたは中国本土のリージョンにデプロイされている場合、最大 10 の同時移行タスクがサポートされます。 データオンライン移行が中国国外のリージョンにデプロイされている場合、最大 5 つの同時移行タスクがサポートされます。 同時タスクの数が制限を超えると、タスクの実行がスケジュールどおりに完了しない場合があります。
移行タスクが実行される時間。 有効な値:
[即時]:タスクはすぐに実行されます。
[スケジュールされたタスク]:タスクは毎日指定された期間内に実行されます。 デフォルトでは、タスクは指定された開始時間に開始され、指定された停止時間に停止されます。
[定期スケジュール]:タスクは、指定した実行頻度と実行回数に基づいて実行されます。
実行頻度:タスクの実行頻度を指定できます。 有効な値:毎時、毎日、毎週、特定の曜日、カスタム。 詳細については、このトピックの サポートされている実行頻度 セクションをご参照ください。
実行:プロンプトに従って、タスクの最大実行回数を指定できます。 デフォルトでは、このパラメーターを指定しない場合、タスクは 1 回実行されます。
重要タスクはいつでも手動で開始および停止できます。 これは、タスクのカスタム実行時間の影響を受けません。
データオンライン移行契約 をお読みください。 [Alibaba Cloud 国際ウェブサイト製品サービス規約を読み、同意します。] と [移行タスクが完了すると、移行されたデータがソースデータと異なる場合があることを理解しています。 したがって、移行されたデータとソースデータ間の一貫性を確認する義務と責任があります。 Alibaba Cloud は、移行されたデータとソースデータ間の一貫性の確認について責任を負いません。] を選択します。 次に、[次へ] をクリックします。
構成が正しいことを確認し、[OK] をクリックします。 移行タスクが作成されます。
サポートされている実行頻度
頻度 | 説明 | 例 |
毎時 | 移行タスクを毎時実行するようにスケジュールします。 この実行頻度を選択した場合、タスクの最大実行回数を指定することもできます。 | 移行タスクを 1 時間ごとに 3 回実行するようにスケジュールします。 現在の時刻が 08:05 の場合、タスクは次の時間の開始時刻である 09:00 に最初の実行を開始します。
|
毎日 | 移行タスクを毎日実行するようにスケジュールします。 この実行頻度を選択した場合、タスクを 00:00 から 23:00 までの間の時間の開始時に実行するようにスケジュールする必要があります。 タスクの最大実行回数を指定することもできます。 | 移行タスクを毎日 10:00 に 5 回実行するようにスケジュールします。 現在の時刻が 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
毎週 | 移行タスクを毎週実行するようにスケジュールします。 この実行頻度を選択した場合、曜日を指定し、タスクを 00:00 から 23:00 までの間の時間の開始時に実行するようにスケジュールする必要があります。 タスクの最大実行回数を指定することもできます。 | 移行タスクを毎週月曜日の 10:00 に 10 回実行するようにスケジュールします。 現在の時刻が月曜日の 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
特定の曜日 | 移行タスクを特定の曜日に実行するようにスケジュールします。 この実行頻度を選択した場合、複数の曜日を指定し、タスクを 00:00 から 23:00 までの間の時間の開始時に実行するようにスケジュールする必要があります。 | 移行タスクを毎週月曜日、水曜日、金曜日の 10:00 に実行するようにスケジュールします。 現在の時刻が水曜日の 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
カスタム | CRON 式を使用して、移行タスクのカスタム開始時刻を指定します。 | 説明 CRON 式は、スペースで区切られた 6 つのフィールドで構成されます。 6 つのフィールドは、移行タスクの開始時刻を次の順序で指定します。秒、分、時、日、月、曜日。 次の CRON 式のサンプルは参考用です。 さらに CRON 式を生成するには、CRON 式ジェネレーターを使用します。
|
ステップ 5:データの検証
データオンライン移行はデータの移行のみを処理し、データの整合性や完全性は保証しません。 移行タスクが完了したら、移行されたすべてのデータを確認し、ソースと宛先データアドレス間のデータ整合性を検証する必要があります。
移行タスクが完了したら、宛先データアドレスで移行されたデータを確認してください。 宛先データアドレスで移行されたデータを確認する前にソースデータアドレスのデータを削除すると、データ損失によって生じた損失と結果について責任を負うことになります。