このトピックでは、Baidu Object Storage (BOS) から Alibaba Cloud Object Storage Service (OSS) にデータを移行するための使用上の注意、制限、および手順について説明します。
使用上の注意
データオンライン移行は、ソースデータアドレスのストレージサービスプロバイダーが提供するパブリックインターフェイスを使用して、ソースデータアドレスにアクセスします。アクセス動作は、ストレージサービスプロバイダーのインターフェイス実装に依存します。
データオンライン移行を移行に使用すると、ソースと移行先のデータアドレスでリソースが消費されます。これにより、ビジネスが中断される可能性があります。業務継続性を確保するため、慎重な評価の後、移行タスクのスロットリングを有効にするか、オフピーク時に移行タスクを実行することを推奨します。
移行タスクが開始される前に、データオンライン移行はソースと移行先のデータアドレスにあるファイルを確認します。ソースデータアドレスのファイルと移行先データアドレスのファイルの名前が同じで、移行タスクの [ファイルの上書き方法] パラメーターが [はい] に設定されている場合、移行中に移行先データアドレスのファイルが上書きされます。2 つのファイルに異なる情報が含まれており、移行先データアドレスのファイルを保持する必要がある場合は、一方のファイルの名前を変更するか、移行先データアドレスのファイルをバックアップすることを推奨します。
ソースファイルの LastModifyTime 属性は、ファイルが移行先バケットに移行された後も保持されます。ライフサイクルルールが移行先バケットに設定され、有効になっている場合、最終変更時刻がライフサイクルルールの指定された期間内にある移行済みファイルは、特定のストレージタイプで削除またはアーカイブされる可能性があります。
制限
データオンライン移行では、1 つのタスクで 1 つのバケットのデータのみを移行できます。1 つのタスクでアカウントに属するすべてのデータを移行することはできません。
このセクションでは、Baidu Cloud BOS からデータを移行するためのプロパティについて説明します。
移行できる属性には、x-bce-meta-*、LastModifyTime、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、および Content-Language が含まれます。
移行できない属性には、Expires、StorageClass、ACL、サーバ側暗号化、および Tagging が含まれますが、これらに限定されません。
説明他の属性を移行できるかどうかは不明です。実際の移行結果が優先されます。
警告ソースデータアドレスが標準の Baidu BOS ドメイン名を使用している場合、
GetObjectの呼び出しにより、Content-Dispositionが強制的にattachmentに設定されます。このプロパティは移行先に移行されるため、ソースとの不一致が生じます。ブラウザを使用して HTML ファイルなどのこのようなファイルにアクセスすると、強制ダウンロードがトリガーされます。
ステップ 1: リージョンを選択する
データ移行用に作成した Resource Access Management (RAM) ユーザーとして、データオンライン移行コンソールにログインします。
上部のナビゲーションバーの左上隅で、ソースデータアドレスが存在するリージョンを選択するか、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択します。
選択したリージョンは、データオンライン移行がデプロイされるリージョンです。中国国内でサポートされているリージョンには、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深圳)、中国 (ウランチャブ)、および中国 (香港) があり、中国国外でサポートされているリージョンには、シンガポール、ドイツ (フランクフルト)、および米国 (バージニア) があります。
重要あるリージョンで作成したデータアドレスと移行タスクは、別のリージョンでは使用できません。リージョンは慎重に選択してください。
ソースデータアドレスが存在するリージョンを選択することを推奨します。ソースデータアドレスが存在するリージョンがデータオンライン移行でサポートされていない場合は、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択してください。
クロスボーダーデータ移行を高速化するには、転送アクセラレーションを有効にすることを推奨します。OSS バケットの転送アクセラレーションを有効にすると、転送アクセラレーション料金が請求されます。詳細については、「転送アクセラレーションを使用して OSS にアクセスする」をご参照ください。
ステップ 2: ソースデータアドレスを作成する
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。[アドレス管理] ページで、[アドレスの作成] をクリックします。
[データアドレスの作成] パネルで、パラメーターを設定し、[OK] をクリックします。次の表にパラメーターを示します。
パラメーター
必須
説明
名前
はい
ソースデータアドレスの名前。名前は次の要件を満たす必要があります:
名前の長さは 3~63 文字です。
名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
タイプ
はい
ソースデータアドレスのタイプ。[Baidu BOS] を選択します。
ドメイン名
はい
ソースデータアドレスのエンドポイント。データが存在するリージョンに基づいてエンドポイントを選択または入力します。詳細については、「アクセスドメイン名の取得」をご参照ください。
AccessKeyId
はい
データの移行に使用される AccessKey ペア。移行タスクが完了したら、AccessKey ペアを削除します。
SecretAccessKey
はい
バケット
はい
BOS バケットの名前。
バケット名には、スペース、改行、タブ文字などの無効な文字を含めることはできません。
プレフィックス
いいえ
ソースデータアドレスのプレフィックス。プレフィックスを指定して、特定のデータを移行できます。
プレフィックスを指定した場合、プレフィックスで指定されたディレクトリ内のデータのみが移行されます。プレフィックスはスラッシュ (/) で始めることはできず、スラッシュ (/) で終わる必要があります。
プレフィックスを指定しない場合、BOS バケット内のすべてのデータが移行されます。
トンネル
いいえ
使用するトンネルの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
移行先データアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
エージェント
いいえ
使用するエージェントの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 200 のエージェントを選択できます。
ステップ 3: 移行先データアドレスを作成する
左側のナビゲーションウィンドウで、[データオンライン移行] > [アドレス管理] を選択します。[アドレス管理] ページで、[アドレスの作成] をクリックします。
[アドレスの作成] パネルで、パラメーターを設定し、[OK] をクリックします。次の表にパラメーターを示します。
名前の長さは 3~63 文字です。
名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
移行先バケットは、データオンライン移行コンソールへのログインに使用される Alibaba Cloud アカウントに属します
データオンライン移行コンソールで RAM ロールを作成して承認することを推奨します。詳細については、「データオンライン移行コンソールで RAM ロールを承認する」をご参照ください。
移行先バケットは、データオンライン移行コンソールへのログインに使用される Alibaba Cloud アカウントに属していません
プレフィックスを指定する: たとえば、ソースデータアドレスのプレフィックスが
example/src/で、このパスに example.jpg という名前のファイルが存在し、移行先データアドレスのプレフィックスがexample/dest/に設定されているとします。ファイル example.jpg が移行されると、その完全なパスはexample/dest/example.jpgになります。移行先データアドレスにプレフィックスを指定しない: 移行先データアドレスにプレフィックスを指定しない場合、ソースデータは移行先バケットのルートディレクトリに移行されます。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
移行先データアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、または自己管理データベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 200 のエージェントを選択できます。
パラメーター | 必須 | 説明 |
名前 | はい | 移行先データアドレスの名前。名前は次の要件を満たす必要があります: |
タイプ | はい | 移行先データアドレスのタイプ。[Alibaba OSS] を選択します。 |
カスタムドメイン名 | いいえ | カスタムドメイン名がサポートされているかどうかを指定します。 |
リージョン | はい | 移行先データアドレスが存在するリージョン。例: [中国 (杭州)]。 |
ロールの承認 | はい | |
バケット | はい | データが移行される OSS バケットの名前。 |
プレフィックス | いいえ | データパスのプレフィックスを指定して、ソースデータを指定されたディレクトリに移行できます。プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。例: |
トンネル | いいえ | 使用するトンネルの名前。 重要 |
エージェント | いいえ | 使用するエージェントの名前。 重要 |
ステップ 4: 移行タスクを作成する
各リージョンで最大 5 つの同時移行タスクを実行できます。リージョン内の同時移行タスクの数がこの制限を超えると、定期的なタスクスケジューリングが期待どおりに実行されない場合があります。
左側のナビゲーションウィンドウで、[データオンライン移行] > [移行タスク] を選択します。[移行タスク] ページで、[タスクの作成] をクリックします。
[アドレスの選択] ステップで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
必須
説明
名前
はい
移行タスクの名前。名前は次の要件を満たす必要があります:
名前の長さは 3~63 文字です。
名前は大文字と小文字を区別し、小文字、数字、ハイフン (-)、およびアンダースコア (_) を含めることができます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
ソースアドレス
はい
作成したソースデータアドレス。
移行先アドレス
はい
作成した移行先データアドレス。
[タスク構成] ステップで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
必須
説明
移行帯域幅
いいえ
移行タスクで利用可能な最大帯域幅。有効な値:
[デフォルト]: 移行帯域幅のデフォルトの上限を使用します。実際の移行帯域幅は、ファイルサイズとファイル数によって異なります。
[上限を指定]: プロンプトに従って、移行帯域幅のカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、移行先データアドレスでのスロットリング、ファイルサイズなど、複数の要因によって異なります。したがって、実際の移行速度は指定された上限に達しない場合があります。
ソースデータアドレス、移行目的、ビジネス状況、およびネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。不適切なスロットリングは、ビジネスパフォーマンスに影響を与える可能性があります。
1 秒あたりに移行されるファイル数
いいえ
1 秒あたりに移行できるファイルの最大数。有効な値:
[デフォルト]: 1 秒あたりに移行できるファイル数のデフォルトの上限を使用します。
[上限を指定]: プロンプトに従って、1 秒あたりに移行できるファイル数のカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、移行先データアドレスでのスロットリング、ファイルサイズなど、複数の要因によって異なります。したがって、実際の移行速度は指定された上限に達しない場合があります。
ソースデータアドレス、移行目的、ビジネス状況、およびネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。不適切なスロットリングは、ビジネスパフォーマンスに影響を与える可能性があります。
上書き方法
はい
移行先データアドレスのファイルがソースデータアドレスのファイルと同じ名前を持つ場合に、そのファイルを上書きするかどうかを指定します。有効な値:
[上書きしない]: ソースデータアドレスのファイルを移行しません。
[すべて上書き]: 移行先データアドレスのファイルを上書きします。
[最終変更時刻に基づいて上書き]:
ソースデータアドレスのファイルの最終変更時刻が、移行先データアドレスのファイルの最終変更時刻より後の場合、移行先データアドレスのファイルは上書きされます。
ソースデータアドレスのファイルの最終変更時刻が移行先データアドレスのファイルの最終変更時刻と同じ場合、ファイルがサイズと Content-Type ヘッダーのいずれかの点で異なる場合、移行先データアドレスのファイルは上書きされます。
[最終変更時刻に基づいて上書き] を選択した場合、新しいファイルが古いファイルで上書きされないという保証はなく、最近の更新が失われるリスクがあります。
[最終変更時刻に基づいて上書き] を選択した場合は、ソースデータアドレスのファイルに最終変更時刻、サイズ、Content-Type ヘッダーなどの情報が含まれていることを確認してください。そうでない場合、上書きポリシーが無効になり、予期しない移行結果が発生する可能性があります。
[上書きしない] または [最終変更時刻に基づいて上書き] を選択した場合、システムはソースと移行先のデータアドレスにリクエストを送信してメタ情報を取得し、ファイルを上書きするかどうかを決定します。したがって、ソースと移行先のデータアドレスに対してリクエスト料金が発生します。
警告移行レポート
はい
移行レポートをプッシュするかどうかを指定します。有効な値:
[プッシュしない] (デフォルト): 移行レポートを移行先バケットにプッシュしません。
[プッシュ]: 移行レポートを移行先バケットにプッシュします。詳細については、「次のステップ」をご参照ください。
重要移行レポートは、移行先データアドレスのストレージスペースを占有します。
移行レポートは遅れてプッシュされる場合があります。移行レポートが生成されるまでお待ちください。
タスクの各実行に対して一意の ID が生成されます。移行レポートは一度だけプッシュされます。必要がない限り、移行レポートを削除しないことを推奨します。
移行ログ
はい
移行ログを Simple Log Service (SLS) にプッシュするかどうかを指定します。有効な値:
[プッシュしない] (デフォルト): 移行ログをプッシュしません。
[プッシュ]: 移行ログを SLS にプッシュします。SLS コンソールで移行ログを表示します。
[ファイルエラーログのみプッシュ]: エラー移行ログのみを SLS にプッシュします。SLS コンソールでエラー移行ログを表示します。
[プッシュ] または [ファイルエラーログのみプッシュ] を選択した場合、データオンライン移行は SLS にプロジェクトを作成します。プロジェクトの名前は、aliyun-oss-import-log-Alibaba Cloud アカウント ID-データオンライン移行コンソールのリージョン の形式になります。例: aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要[プッシュ] または [ファイルエラーログのみプッシュ] を選択する前に、移行タスクでエラーが発生しないように、次の要件が満たされていることを確認してください:
SLS が有効化されている。
[承認] ページで承認を確認した。
承認
いいえ
このパラメーターは、[移行ログ] パラメーターを [プッシュ] または [ファイルエラーログのみプッシュ] に設定した場合に表示されます。
[承認] をクリックして、[クラウドリソースアクセス承認] ページに移動します。このページで、[承認ポリシーの確認] をクリックします。RAM ロール [AliyunOSSImportSlsAuditRole] が作成され、RAM ロールに権限が付与されます。
ファイル名
いいえ
ファイル名に基づくフィルター。
[包含] と [除外] の両方のルールがサポートされています。ただし、特定の正規表現の構文のみがサポートされています。正規表現の構文の詳細については、「re2」をご参照ください。例:
.*\.jpg$ は、名前が .jpg で終わるすべてのファイルを示します。
デフォルトでは、^file.* は、ルートディレクトリ内で名前が file で始まるすべてのファイルを示します。
ソースデータアドレスにプレフィックスが設定されており、プレフィックスが data/to/oss/ の場合、指定されたディレクトリ内で名前が file で始まるすべてのファイルを照合するには、^data/to/oss/file.* フィルターを使用する必要があります。
.*/picture/.* は、パスに picture というサブディレクトリが含まれるファイルを示します。
重要包含ルールが設定されている場合、包含ルールに一致するすべてのファイルが移行されます。複数の包含ルールが設定されている場合、いずれかの包含ルールに一致すればファイルは移行されます。
たとえば、picture.jpg と picture.png ファイルが存在し、包含ルール .*\.jpg$ が設定されている場合、picture.jpg ファイルのみが移行されます。同時に包含ルール .*\.png$ が設定されている場合、両方のファイルが移行されます。
除外ルールが設定されている場合、除外ルールに一致するすべてのファイルは移行されません。複数の除外ルールが設定されている場合、いずれかの除外ルールに一致すればファイルは移行されません。
たとえば、picture.jpg と picture.png ファイルが存在し、除外ルール .*\.jpg$ が設定されている場合、picture.png ファイルのみが移行されます。同時に除外ルール .*\.png$ が設定されている場合、どちらのファイルも移行されません。
除外ルールは包含ルールよりも優先されます。ファイルが除外ルールと包含ルールの両方に一致する場合、そのファイルは移行されません。
たとえば、file.txt ファイルが存在し、除外ルール .*\.txt$ と包含ルール file.* が設定されている場合、このファイルは移行されません。
ファイルの変更時刻
いいえ
ファイルの最終変更時刻に基づくフィルター。
最終変更時刻をフィルター ルールとして指定できます。期間を指定した場合、最終変更時刻が指定された期間内にあるファイルのみが移行されます。例:
2019 年 1 月 1 日を開始時刻として指定し、終了時刻を指定しない場合、最終変更時刻が 2019 年 1 月 1 日以降のファイルのみが移行されます。
2022 年 1 月 1 日を終了時刻として指定し、開始時刻を指定しない場合、最終変更時刻が 2022 年 1 月 1 日以前のファイルのみが移行されます。
2019 年 1 月 1 日を開始時刻、2022 年 1 月 1 日を終了時刻として指定した場合、最終変更時刻が 2019 年 1 月 1 日以降で 2022 年 1 月 1 日以前のファイルのみが移行されます。
実行時間
いいえ
重要移行タスクの現在の実行が次のスケジュールされた開始時刻までに完了しない場合、タスクは現在の移行が完了した後の次のスケジュールされた開始時刻に次の実行を開始します。このプロセスは、タスクが指定された回数実行されるまで続きます。
データオンライン移行が中国 (香港) リージョンまたは中国本土のリージョンにデプロイされている場合、最大 10 の同時移行タスクがサポートされます。データオンライン移行が中国国外のリージョンにデプロイされている場合、最大 5 つの同時移行タスクがサポートされます。同時タスクの数が制限を超えると、タスクの実行がスケジュールどおりに完了しない場合があります。
移行タスクが実行される時間。有効な値:
[即時]: タスクはすぐに実行されます。
[スケジュールされたタスク]: タスクは毎日指定された期間内に実行されます。デフォルトでは、タスクは指定された開始時刻に開始され、指定された停止時刻に停止します。
[定期的なスケジューリング]: タスクは、指定した実行頻度と実行回数に基づいて実行されます。
実行頻度: タスクの実行頻度を指定します。有効な値: 毎時、毎日、毎週、週の特定の日、およびカスタム。詳細については、このトピックの「サポートされている実行頻度」セクションをご参照ください。
実行回数: プロンプトに従って、タスクの最大実行回数を指定します。デフォルトでは、このパラメーターを指定しない場合、タスクは一度実行されます。
重要タスクはいつでも手動で開始および停止できます。これは、タスクのカスタム実行時間の影響を受けません。
データオンライン移行契約 をお読みください。[Alibaba Cloud 国際ウェブサイト製品サービス利用規約を読み、同意します。] および [移行タスクが完了したとき、移行されたデータがソースデータと異なる可能性があることを理解しました。したがって、移行されたデータとソースデータの一貫性を確認する義務と責任があります。Alibaba Cloud は、移行されたデータとソースデータの一貫性の確認について責任を負いません。] を選択します。次に、[次へ] をクリックします。
構成が正しいことを確認し、[OK] をクリックします。移行タスクが作成されます。
サポートされている実行頻度
頻度 | 説明 | 例 |
毎時 | 移行タスクを 1 時間ごとに実行するようにスケジュールします。この実行頻度を選択した場合、タスクの最大実行回数も指定できます。 | 移行タスクを 1 時間ごとに 3 回実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは次の時間の初め、つまり 09:00 に最初の実行を開始します。
|
毎日 | 移行タスクを毎日実行するようにスケジュールします。この実行頻度を選択した場合、タスクを 00:00 から 23:00 までの時間の初めに実行するようにスケジュールする必要があります。タスクの最大実行回数も指定できます。 | 移行タスクを毎日 10:00 に 5 回実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
毎週 | 移行タスクを毎週実行するようにスケジュールします。この実行頻度を選択した場合、曜日を指定し、タスクを 00:00 から 23:00 までの時間の初めに実行するようにスケジュールする必要があります。タスクの最大実行回数も指定できます。 | 移行タスクを毎週月曜日の 10:00 に 10 回実行するようにスケジュールします。現在の時刻が月曜日の 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
週の特定の日 | 移行タスクを週の特定の日に実行するようにスケジュールします。この実行頻度を選択した場合、週のいくつかの日を指定し、タスクを 00:00 から 23:00 までの時間の初めに実行するようにスケジュールする必要があります。 | 移行タスクを毎週月曜日、水曜日、金曜日の 10:00 に実行するようにスケジュールします。現在の時刻が水曜日の 08:05 の場合、タスクは同日の 10:00 に最初の実行を開始します。
|
カスタム | CRON 式を使用して、移行タスクのカスタム開始時刻を指定します。 | 説明 CRON 式は、スペースで区切られた 6 つのフィールドで構成されます。6 つのフィールドは、移行タスクの開始時刻を、秒、分、時、日、月、曜日の順に指定します。 次のサンプル CRON 式は参照用です。より多くの CRON 式を生成するには、CRON 式ジェネレーターを使用してください。
|
ステップ 5: データを検証する
データオンライン移行は、データの移行のみを処理し、データの整合性や完全性を保証するものではありません。移行タスクが完了したら、移行されたすべてのデータを確認し、ソースと移行先のデータアドレス間のデータの一貫性を検証する必要があります。
移行タスクが完了したら、移行先データアドレスで移行されたデータを必ず検証してください。移行先データアドレスで移行されたデータを検証する前にソースデータアドレスのデータを削除した場合、データの損失によって生じたいかなる損失や結果についてもお客様が責任を負うものとします。