データオンライン移行を使用して、Tencent Cloud Object Storage (COS) から Alibaba Cloud Object Storage Service (OSS) にオブジェクトデータを移行します。本トピックでは、この移行の注意事項、移行の制限事項、および手順について説明します。
注意事項
Data Online Migration を使用してデータを移行する場合は、次の点に注意してください:
-
オンライン移行サービスは、ソースストレージサービスプロバイダーの標準的なパブリック API を使用してソースデータにアクセスします。移行の動作は、プロバイダーのサービス実装に依存します。
-
オンライン移行は、ソースと宛先の両方でリソースを消費するため、ビジネス運用に影響を与える可能性があります。サービスが重要である場合は、潜在的な影響を評価し、移行タスクに速度制限を設定するか、オフピーク時間帯にタスクを実行してください。
-
オンライン移行サービスは、移行を開始する前にソースと宛先の両方でファイルをチェックします。ただし、ソースのファイル名が宛先のファイル名と同じで、移行タスクが既存のファイルを上書きするように設定されている場合、サービスは宛先のファイルを上書きします。ファイルに異なるデータが含まれている場合は、移行を開始する前にどちらかのファイルの名前を変更するか、宛先のファイルをバックアップしてください。
-
オンライン移行サービスは、ソースファイルの最終更新日時を保持します。宛先バケットにライフサイクルルールが設定されている場合、最終更新日時がルールの条件に一致する移行済みファイルは、削除されるか、指定されたアーカイブストレージクラスに移行される可能性があります。
移行の制限
-
1 つの移行タスクにつき、1 つのバケットからのみデータを移行できます。アカウント全体のデータを一度に移行することはサポートされていません。
-
メタデータ高速化が有効化されたバケットは移行できません。
-
Tencent COS からのオブジェクト属性の移行に関するサポートは、以下のとおりです。
-
サポートされている属性:
LastModifyTimeオブジェクト属性、およびx-cos-meta-*、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language、Expiresヘッダー。 -
サポートされていない属性:
StorageClass、ACL、サーバーサイド暗号化、タギング。説明上記のリストはすべてを網羅しているわけではありません。リストに記載されていない属性の移行時の動作は事前に判断できません。 リストに記載されていない属性がどのように処理されるかを確認するには、まず少数のオブジェクトを移行し、送信先で結果を確認してください。
警告標準の Tencent COS ドメインをソースとして使用する場合、
GetObjectオペレーションを呼び出すと、Content-Dispositionヘッダーが強制的にattachmentに設定されます。 このヘッダーは送信先に移行されるため、HTML ページや PNG 画像などのファイルが表示される代わりに、強制的にダウンロードされる可能性があります。 この動作を防ぐには、「前提条件」で説明されているように、移行のソースとしてカスタムドメインを使用してください。 これにより、元のContent-Dispositionヘッダーが保持されます。
-
前提条件
-
Tencent Cloud API キー:ソースデータを所有する Tencent Cloud アカウントのクラウド API キーが必要です。Tencent COS はこのキーを使用して本人認証を行い、ソースデータに対する読み取り権限を確認します。このキーは、ソースデータアドレスを作成する際に、AccessKeyId と SecretAccessKey のフィールドに入力します。
-
Tencent Cloud APPID:お客様の Tencent Cloud アカウントの APPID は、ソースバケット名の一部です。
説明APPID は、Tencent Cloud コンソールの [アカウント情報] ページで確認できます。
-
宛先バケットの RAM ロール:Data Online Migration に、宛先 OSS バケットへのアクセスを許可するロールを承認する必要があります。権限付与の方法は、宛先バケットを所有するアカウントによって異なります。詳細については、「ステップ 3:宛先アドレスの作成」の Authorize Role パラメーターをご参照ください。
-
(条件付き) ソースバケットのカスタムドメイン:ソースオブジェクトの元の
Content-Dispositionヘッダーを保持する必要がある場合は、Tencent COS コンソールでカスタムドメインをバインドし、そのカスタムドメインを移行のソースとして使用してください。
ステップ 1:リージョンの選択
-
作成した RAM ユーザーとして Data Online Migration コンソールにログインします。
-
上部のナビゲーションバーの左上で選択するリージョンは、移行サービスのデプロイリージョンです。したがって、データソースが所在するリージョン、またはそれに最も近いリージョンを選択してください。
コンソールの上部で選択するリージョンは、移行サービスのデプロイリージョンです。中国本土で利用可能なリージョンには、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深セン)、中国 (ウランチャブ) があります。その他の利用可能なリージョンには、中国 (香港)、シンガポール、ドイツ (フランクフルト)、米国 (バージニア) があります。
重要-
データエンドポイントと移行タスクはリージョン固有です。リージョンは慎重に選択してください。
-
ソースデータのリージョンを選択することを推奨します。このリージョンが利用できない場合は、最も近い利用可能なリージョンを選択してください。
-
クロスボーダー移行の場合、移行速度を向上させるために転送アクセラレーションを有効にすることを推奨します。転送アクセラレーションが有効になっているバケットには、転送アクセラレーション料金が発生します。転送アクセラレーションの詳細については、「OSS へのアクセスを高速化」をご参照ください。
-
ステップ 2:ソースアドレスの作成
-
左側のナビゲーションウィンドウで、オンライン移行サービス > アドレス管理 を選択し、アドレスの作成 をクリックします。
-
[アドレスの作成] ページで、次のパラメーターを設定し、OK をクリックします。
パラメーター
必須
説明
[名前]
はい
-
名前の長さは 3~63 文字である必要があります。
-
名前に使用できる文字は、小文字、数字、ハイフン (-)、アンダースコア (_) です。名前では大文字と小文字が区別されます。
-
名前の先頭にハイフン (-) またはアンダースコア (_) は使用できません。
[タイプ]
はい
[Tencent COS] を選択します。
[ドメイン名]
はい
バケットのエンドポイント (cos.ap-nanjing.myqcloud.com など) を入力します。 移行されたオブジェクトの元の
Content-Dispositionヘッダーを保持するには、「移行の制限」で説明されているように、代わりにバケットにバインドされているカスタムドメインを入力します。 Tencent COS のドメイン名の詳細については、「リージョンとアクセスエンドポイント」をご参照ください。[アクセスキー ID]
はい
ソースアカウント用に作成したクラウド API キーのアクセスキー ID を入力します。
[シークレットアクセスキー]
はい
同じクラウド API キーのシークレットアクセスキーを入力します。
[バケット (Bucket)]
はい
Tencent COS バケットの名前を入力します。バケット名は
custom-name-APPIDフォーマットである必要があります。例えば、example-1234567890です。[プレフィックス]
いいえ
プレフィックスを指定すると、データの一部を移行できます。
-
指定した場合、そのプレフィックス配下のデータのみが移行されます。プレフィックスの先頭にスラッシュ (/) は使用できませんが、末尾にはスラッシュが必要です。
-
このパラメーターを省略した場合、バケット内のすべてのデータが移行されます。
[チャンネル]
いいえ
使用するチャンネルの名前を選択します。
重要-
このパラメーターは、Express Connect または VPN 接続を介してデータを移行する場合、または自己管理ストレージシステムからデータを移行する場合にのみ必須です。
-
宛先がローカルファイルシステムである場合、または移行が金融クラウドや Apsara Stack 環境への専用接続などを使用する場合は、エージェントを関連付ける必要があります。
[プロキシ]
いいえ
使用するエージェントの名前を選択します。
重要-
このパラメーターは、Express Connect または VPN 接続を介してデータを移行する場合、または自己管理ストレージシステムからデータを移行する場合にのみ必須です。
-
指定されたチャンネルに対して最大 200 のエージェントを選択できます。
-
ステップ 3:宛先アドレスの作成
-
左側のナビゲーションウィンドウで、オンライン移行サービス > アドレス管理 を選択し、アドレスの作成 をクリックします。
-
[アドレスの作成] パネルで、次のパラメーターを設定し、[OK] をクリックします。
-
名前の長さは 3~63 文字である必要があります。
-
名前に使用できる文字は、小文字、数字、ハイフン (-)、アンダースコア (_) です。名前では大文字と小文字が区別されます。
-
名前の先頭にハイフン (-) またはアンダースコア (_) は使用できません。
-
宛先バケットが現在のアカウントにある場合:
-
宛先バケットが別のアカウントにある場合:
-
プレフィックスの指定: たとえば、移行元データアドレスのプレフィックスが
example/src/で、その中に example.jpg という名前のファイルが含まれている場合に、移行先のプレフィックスをexample/dest/に設定すると、移行後のファイル example.jpg のフルパスはexample/dest/example.jpgになります。 -
プレフィックスを指定しない場合:このパラメーターを空にした場合、ソースデータは宛先バケットのルートディレクトリに移行されます。
-
このパラメーターは、Express Connect または VPN 接続を介してデータを移行する場合、または自己管理ストレージシステムからデータを移行する場合にのみ必須です。
-
宛先がローカルファイルシステムである場合、または移行が金融クラウドや Apsara Stack 環境への専用接続などを使用する場合は、エージェントを関連付ける必要があります。
-
このパラメーターは、Express Connect または VPN 接続を介してデータを移行する場合、または自己管理ストレージシステムからデータを移行する場合にのみ必須です。
-
指定されたチャンネルに対して最大 200 のエージェントを選択できます。
|
パラメーター |
必須 |
説明 |
|
[名前] |
はい |
宛先アドレスの名前を入力します。名前は以下の要件を満たす必要があります。 |
|
[タイプ] |
はい |
[OSS] を選択します。 |
|
カスタムドメイン名 |
いいえ |
宛先 OSS バケットにマッピングされたカスタムドメイン名です。 |
|
[リージョン] |
はい |
宛先データアドレスのリージョンを選択します。たとえば、中国 (杭州) です。 |
|
承認ロール |
はい |
|
|
[バケット] |
はい |
移行データの宛先バケット名を入力します。 |
|
[プレフィックス] |
いいえ |
プレフィックスを指定して、ソースデータを特定のディレクトリに移行できます。プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。例: |
|
[チャンネル] |
いいえ |
使用するチャンネルの名前を選択します。 重要
|
|
[プロキシ] |
いいえ |
使用するエージェントの名前を選択します。 重要
|
ステップ 4:移行タスクの作成
移行タスクの同時実行制限:中国本土および中国 (香港) のデプロイリージョンでは最大 10 個の同時実行タスクをサポートし、海外リージョンでは最大 5 個の同時実行タスクをサポートします。この制限を超えると、スケジュールされたタスクが失敗する可能性があります。
-
左側のナビゲーションウィンドウで、オンライン移行サービス > 移行タスク を選択し、タスクの作成 をクリックします。
-
アドレスの選択 ページで、次のパラメーターを設定し、次へ をクリックします。
パラメーター
必須
説明
名前
はい
移行タスクの名前を入力します。名前は次の要件を満たす必要があります:
-
名前の長さは 3~63 文字である必要があります。
-
名前に使用できる文字は、小文字、数字、ハイフン (-)、アンダースコア (_) です。名前では大文字と小文字が区別されます。
-
名前の先頭にハイフン (-) またはアンダースコア (_) は使用できません。
ソースアドレス
はい
既存のソースアドレスを選択します。
宛先アドレス
はい
既存の宛先アドレスを選択します。
-
-
タスクの設定 ページで、次のパラメーターを設定します。
パラメーター
必須
説明
基本設定
帯域幅の移行
いいえ
移行帯域幅を選択します。
-
デフォルト:最大利用可能帯域幅。実際の速度はファイルサイズとファイル数に依存します。
-
上限指定:最大帯域幅制限を指定します。
重要-
実際の移行帯域幅は、データソース、ネットワーク条件、宛先の速度制限、ファイルサイズなどの要因に依存し、指定した上限に達しない場合があります。
-
データソース、宛先、ビジネス要件、ネットワーク帯域幅に基づいて値を選択してください。不適切な速度制限は、ビジネス運用を妨げる可能性があります。
秒間移行ファイル数
いいえ
毎秒移行されるファイル数を選択します。
-
デフォルト:毎秒移行されるファイルのデフォルトレートを使用します。
-
上限指定:毎秒移行されるファイルの最大数を指定します。
重要-
毎秒移行される実際のファイル数は、データソース、ネットワーク条件、宛先の速度制限、ファイルサイズなどの要因に影響され、指定した上限に達しない場合があります。
-
データソース、宛先、ビジネス要件、ネットワーク帯域幅に基づいて値を選択してください。不適切な速度制限は、ビジネス運用を妨げる可能性があります。
上書き方式
はい
同じ名前のファイルをどのように処理するかを指定します。
-
上書きしない:ファイルをスキップします。
-
上書き:ソースファイルが宛先ファイルを上書きします。
-
最終更新日時で上書き:
-
ソースファイルの最終更新日時が宛先ファイルの最終更新日時より新しい場合、宛先ファイルは上書きされます。
-
ソースファイルと宛先ファイルの最終更新日時が同じ場合、サイズまたは Content-Type が異なれば宛先ファイルは上書きされます。
-
-
最終更新日時で上書き ポリシーでは、新しいファイルが保持されることを厳密に保証するものではないため、古いファイルが新しいファイルを上書きするリスクがあります。
-
最終更新日時で上書き ポリシーを選択した場合、ソースファイルが最終更新日時、サイズ、Content-Type などのメタデータを返すことができることを確認してください。そうでない場合、上書きポリシーが期待どおりに機能しない可能性があります。
-
[上書きしない] または [最終更新日時が新しい場合に上書き] を選択すると、サービスは上書きチェックのためにメタデータを取得するためにソースに 1 回、宛先に 1 回リクエストを送信します。これにより、ソースと宛先の両方でリクエスト料金が発生します。
警告監査設定
移行レポート
はい
移行レポートをどのようにプッシュするかを指定します。
-
プッシュしない (デフォルト):移行レポートを宛先バケットにプッシュしません。
-
プッシュ:移行レポートを宛先バケットにプッシュします。パスの詳細については、「次のステップ」をご参照ください。
重要-
移行レポートをプッシュすると、宛先でストレージ容量が消費されます。
-
移行レポートのプッシュが遅れる場合があります。
-
各タスク実行記録には一意の ID があります。移行レポートは一度しかプッシュされません。必要でない限り削除しないでください。
移行ログ
はい
移行ログをどのようにプッシュするかを指定します。
-
プッシュしない (デフォルト):移行ログをプッシュしません。
-
プッシュ:移行ログを Log Service (SLS) にプッシュします。SLS で移行ログを表示できます。
-
ファイルエラーログのみをプッシュ:ファイルエラーログのみを Log Service (SLS) にプッシュします。これらのログは SLS で表示できます。
プッシュ または ファイルエラーログのみをプッシュ を選択すると、オンライン移行サービスは Log Service (SLS) に aliyun-oss-import-log-<Alibaba Cloud アカウント ID>-<現在のデプロイリージョン> という名前のプロジェクトを作成します。例:aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要プッシュ または ファイルエラーログのみをプッシュ を選択する前に、次の操作を完了していることを確認してください。そうでない場合、移行タスクが失敗する可能性があります。
-
Log Service (SLS) を有効化していること。
-
Simple Log Service の認可 ページで、必須の権限が付与されています。
Simple Log Service の認可
いいえ
このオプションは、移行ログ を プッシュ または ファイルエラーログのみをプッシュ に設定した場合にのみ表示されます。
権限付与 をクリックして [クラウドリソースアクセス権限付与] ページに移動します。システムは [AliyunOSSImportSlsAuditRole] ロールを作成し、必要な権限を付与します。[権限付与に同意] をクリックして権限付与を完了します。
フィルター
ファイル名
いいえ
ファイル名に基づくフィルター。
RE2 ライブラリに基づく正規表現を使用した 含む および 除外 ルールをサポートします (構文の一部のみがサポートされています)。例:
-
.*\.jpg$ は .jpg で終わるすべてのファイルに一致します。
-
^file.* は、デフォルトでルートレベルにある file で始まるすべてのファイルに一致します。
ソースアドレスにプレフィックス (例:data/to/oss/) を設定した場合、そのプレフィックスの下にある file で始まるすべてのファイルに一致させるには ^data/to/oss/file.* を使用する必要があります。
-
.*/picture/.* は picture という名前の任意のサブディレクトリに一致します。
重要-
[含める] ルールを使用すると、一致するすべてのファイルが移行されます。複数の [含める] ルールがある場合、少なくとも 1 つのルールに一致するファイルが移行されます。
たとえば、picture.jpg と picture.png の 2 つのファイルがあり、.*\.jpg$ の [含める] ルールを設定すると、picture.jpg のみが移行されます。.*\.png$ の [含める] ルールも追加すると、両方のファイルが移行されます。
-
[除外する] ルールを使用すると、一致するファイルは移行されません。複数の [除外する] ルールがある場合、少なくとも 1 つのルールに一致するファイルは移行されません。
たとえば、picture.jpg と picture.png の 2 つのファイルがあり、.*\.jpg$ の [除外する] ルールを設定すると、picture.png のみが移行されます。.*\.png$ の [除外する] ルールも追加すると、どちらのファイルも移行されません。
-
除外ルールが優先されます。ファイルが除外ルールと包含ルールの両方に一致する場合、そのファイルは移行されません。
たとえば、file.txt という名前のファイルに対して、.*\.txt$ の除外ルールと file.* の包含ルールを設定した場合、file.txt ファイルは移行されません。
最終更新日時
いいえ
最終更新日時でファイルをフィルタリングします。
時間範囲を指定して、最終更新日時がその範囲内にあるファイルのみを移行できます。ルールは次のとおりです:
-
2019 年 1 月 1 日の開始時刻のみを指定した場合、タスクはその日以降に最終更新されたファイルのみを移行します。
-
2022 年 1 月 1 日の終了時刻のみを指定した場合、タスクはその日以前に最終更新されたファイルのみを移行します。
-
2019 年 1 月 1 日の開始時刻と 2022 年 1 月 1 日の終了時刻を指定した場合、タスクはこれら 2 つの日付の間に最終更新されたファイルのみを移行します。
移行設定
[最終更新日時を保持]
はい
ソースファイルの最終更新日時を保持するかどうかを指定します。
-
[保持] (デフォルト):宛先ファイルはソースファイルの最終更新日時を保持します。
-
[保持しない]:最終更新日時は設定されません。
[追加可能オブジェクトを通常オブジェクト/マルチパートオブジェクトに変換]
いいえ
追加可能オブジェクトを通常オブジェクトまたはマルチパートオブジェクトに変換するかどうかを指定します。
-
[はい]:ソースの追加可能オブジェクトを宛先で通常オブジェクトまたはマルチパートオブジェクトに変換します。
-
[いいえ]:ソースの追加可能オブジェクトは、宛先に追加可能オブジェクトとして移行されます。
重要-
このオプションは、アカウントが許可リストに登録されている場合にのみ表示および設定可能です。
-
このオプションは現在、OSS から OSS への移行タスクでのみサポートされています。
[宛先ストレージクラスを指定]
いいえ
宛先ファイルのストレージクラスを設定するかどうかを指定します。
-
[指定]:移行されたファイルには、宛先で指定されたストレージクラスが割り当てられます。利用可能なストレージクラスは次のとおりです:
-
標準
-
低頻度アクセス
-
アーカイブ
-
コールドアーカイブ
-
ディープコールドアーカイブ
-
-
[指定しない] (デフォルト):宛先の移行されたファイルは、宛先バケットのデフォルトのストレージクラスを使用します。
重要-
このオプションは、アカウントが許可リストに登録されている場合にのみ表示および設定可能です。
-
このオプションは現在、宛先が OSS のタスクでのみサポートされています。
タスクスケジューリング
[実行時間]
いいえ
重要-
移行タスクが次のスケジュールされた実行時間にまだ実行中の場合、その実行は現在の実行が完了した後の次のスケジュールされた時間まで延期されます。これは、指定された実行回数に達するまで続きます。
-
移行タスクの同時実行制限:中国本土および中国 (香港) のデプロイリージョンでは最大 10 個の同時実行タスクをサポートし、海外リージョンでは最大 5 個の同時実行タスクをサポートします。この制限を超えると、スケジュールされたタスクが失敗する可能性があります。
移行タスクを実行するタイミングを定義します。
-
今すぐ実行:作成されるとすぐにタスクを実行します。
-
実行時間の指定:タスクが実行される毎日のタイムウィンドウを指定します。デフォルトでは、タスクは指定された開始時刻に開始し、指定された停止時刻に一時停止します。
-
定期スケジュール:指定された頻度と実行回数に基づいてタスクを実行します。
-
実行頻度:毎時、毎日、毎週、特定の曜日、カスタムの 5 種類の頻度をサポートします。詳細については、「実行頻度のリファレンス」をご参照ください。
-
実行回数:タスクが実行される回数を指定します。設定しない場合、タスクはデフォルトで 1 回実行されます。最大実行回数については、コンソールのプロンプトをご参照ください。
-
重要カスタム実行時間の設定に関係なく、いつでも手動でタスクを開始および停止できます。
-
-
オンライン移行サービス契約を読み、[コンプライアンスコミットメント声明を理解し、確認し、移行タスク完了後のデータ整合性の検証責任を認めます] を選択し、次へ をクリックします。
-
設定内容を確認します。すべてが正しい場合は、OK をクリックし、移行タスクが実行されるのを待ちます。
実行頻度
実行頻度 | 説明 | 例 |
毎時 | タスクを 1 時間に 1 回実行します。このオプションは最大実行回数と併用できます。 | 現在時刻は 8:05 です。頻度は毎時に設定され、最大実行回数は 3 回です。最初の実行は次の正時である 9:00 に開始されます。
|
毎日 | タスクを 1 日に 1 回実行します。タスクが開始する時間 (0~23) を指定する必要があります。このオプションは最大実行回数と併用できます。 | 現在時刻は 8:05 です。タスクは毎日 10:00 に実行するようにスケジュールされており、最大実行回数は 5 回です。最初の実行は今日の 10:00 に開始されます。
|
毎週 | タスクを週に 1 回実行します。タスクが開始する曜日と時間 (0~23) を指定する必要があります。このオプションは最大実行回数と併用できます。 | 現在時刻は月曜日の 8:05 です。タスクは毎週月曜日の 10:00 に実行するようにスケジュールされており、最大実行回数は 10 回です。最初の実行は今日の 10:00 に開始されます。
|
特定の曜日 | 選択した曜日にタスクを実行します。曜日とタスクが開始する時間 (0~23) を指定する必要があります。 | 現在時刻は水曜日の 8:05 です。タスクは月曜日、水曜日、金曜日の 10:00 に実行するようにスケジュールされています。最初の実行は今日の 10:00 に開始されます。
|
カスタム | cron 式を使用して、タスクの開始時刻のカスタムスケジュールを定義します。 | 説明 cron 式は、実行スケジュールを定義する 6 つのスペース区切りのフィールドで構成されます:秒、分、時、日、月、曜日。最小間隔は 1 時間です。 以下の cron 式の例は参考用です。その他のオプションについては、cron 式ジェネレーターを使用してください。
|
ステップ 5:データの検証
移行サービスはデータを転送するだけで、データの整合性や完全性を保証するものではありません。移行タスクが完了したら、ソースと宛先の間でデータの整合性を検証する必要があります。
移行タスクが完了したら、宛先のデータを検証する必要があります。移行が成功したことを確認する前にソースデータを削除した場合、その結果生じるデータ損失については、お客様が単独で責任を負うものとします。