このトピックでは、Google Cloud Storage から Alibaba Cloud Object Storage Service (OSS) にデータを移行する際の使用上の注意、制限事項、および手順について説明します。
使用上の注意
Data Online Migration を使用してデータを移行する場合は、以下の点に注意してください。
Data Online Migration は、ソースデータアドレスのストレージサービスプロバイダーが提供するパブリックインターフェイスを使用して、ソースデータアドレスにアクセスします。アクセス動作は、ストレージサービスプロバイダーのインターフェイスの実装によって異なります。
Data Online Migration を移行に使用すると、ソースとデスティネーションのデータアドレスでリソースが消費されます。これにより、ビジネスが中断される可能性があります。ビジネスの継続性を確保するために、移行タスクのスロットリングを有効にするか、慎重な評価の後、オフピーク時に移行タスクを実行することをお勧めします。
移行タスクが開始される前に、Data Online Migration はソースとデスティネーションのデータアドレスにあるファイルをチェックします。ソースデータアドレスのファイルとデスティネーションデータアドレスのファイルの名前が同じで、移行タスクのファイル上書き方法パラメーターが「はい」に設定されている場合、移行中にデスティネーションデータアドレスのファイルが上書きされます。2 つのファイルに異なる情報が含まれていて、デスティネーションデータアドレスのファイルを保持する必要がある場合は、一方のファイルの名前を変更するか、デスティネーションデータアドレスのファイルをバックアップすることをお勧めします。
ソースファイルの LastModifyTime 属性は、ファイルがデスティネーションバケットに移行された後も保持されます。デスティネーションバケットにライフサイクルルールが設定されていて、有効になっている場合、最終変更時刻がライフサイクルルールの指定期間内にある移行済みファイルは、削除されるか、特定のストレージタイプにアーカイブされる可能性があります。
制限事項
Data Online Migration では、1 つのタスクで 1 つのバケットのデータのみを移行できます。アカウントに属するすべてのデータを 1 つのタスクで移行することはできません。
Google Cloud Storage から Alibaba Cloud OSS に移行できるのは、特定のデータ属性のみです。
移行できる属性には、x-amz-meta-*、LastModifyTime、Content-Type、Cache-Control、Content-Encoding、Content-Disposition、Content-Language が含まれます。
移行できない属性には、Expires、StorageClass、ACL、サーバー側の暗号化、タグ付けなどが含まれますが、これらに限定されません。
説明その他の属性が移行できるかどうかは不明です。実際の移行結果が優先されます。
ステップ 1: リージョンの選択
データ移行用に作成した Resource Access Management (RAM) ユーザーとして、Data Online Migration コンソールにログオンします。
トップナビゲーションバーの左上隅で、ソースデータアドレスが存在するリージョンを選択するか、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択します。
選択したリージョンは、Data Online Migration がデプロイされるリージョンです。中国国内でサポートされているリージョンには、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深セン)、中国 (ウランチャブ)、中国 (香港) が含まれ、中国国外でサポートされているリージョンには、シンガポール、ドイツ (フランクフルト)、米国 (バージニア) が含まれます。
重要あるリージョンで作成したデータアドレスと移行タスクは、別のリージョンでは使用できません。リージョンは慎重に選択してください。
ソースデータアドレスが存在するリージョンを選択することをお勧めします。ソースデータアドレスが存在するリージョンが Data Online Migration でサポートされていない場合は、ソースデータアドレスが存在するリージョンに最も近いリージョンを選択してください。
国境を越えたデータ移行を高速化するために、転送アクセラレーションを有効にすることをお勧めします。OSS バケットの転送アクセラレーションを有効にすると、転送アクセラレーション料金が発生します。詳細については、転送アクセラレーションを参照してください。
ステップ 2: ソースデータアドレスの作成
左側のナビゲーションペインで、Data Online Migration > アドレス管理を選択します。「アドレス管理」ページで、アドレスの作成をクリックします。
アドレスの作成パネルで、パラメーターを設定し、OK をクリックします。次の表にパラメーターを示します。
パラメーター
必須
説明
名前
はい
ソースデータアドレスの名前。名前は次の要件を満たしている必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
タイプ
はい
ソースデータアドレスのタイプ。Google Cloud Storage を選択します。
リクエストエンドポイント
はい
Google Cloud Storage バケットのエンドポイント。カスタムエンドポイントまたは Content Delivery Network (CDN) エンドポイントを指定することはできません。エンドポイントを表示するには、Cloud Storage コンソールにログオンし、「設定」ページの「相互運用性」タブに移動します。
アクセスキー ID
はい
ソースデータの読み取りに使用するアカウントのアクセスキー。アクセスキーを表示するには、Cloud Storage コンソールにログオンし、「設定」ページの「相互運用性」タブに移動します。
説明データセキュリティを確保するために、Data Online Migration に対して読み取り専用権限を持つアクセスキーペアを作成することをお勧めします。移行タスクが完了したら、アクセスキーペアを削除できます。
アクセスキーシークレット
はい
ソースデータの読み取りに使用するアカウントのシークレットキー。シークレットキーを表示するには、Cloud Storage コンソールにログオンし、「設定」ページの「相互運用性」タブに移動します。
説明データセキュリティを確保するために、Data Online Migration に対して読み取り専用権限を持つアクセスキーペアを作成することをお勧めします。移行タスクが完了したら、アクセスキーペアを削除できます。
バケット
はい
移行するデータが存在する Google Cloud Storage バケットの名前。
説明バケット名の先頭または末尾に、スペース、改行、タブキーなどの無効な文字が付いていないことを確認してください。
プレフィックス
いいえ
ソースデータアドレスのプレフィックス。プレフィックスを指定して特定のデータを移行できます。
プレフィックスを指定すると、プレフィックスで指定されたディレクトリ内のデータのみが移行されます。プレフィックスはスラッシュ (/) で始めることはできず、スラッシュ (/) で終わる必要があります。
プレフィックスを指定しないと、バケット内のすべてのデータが移行されます。
トンネル
いいえ
使用するトンネルの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、またはセルフマネージドデータベースからクラウドにデータを移行する場合にのみ必要です。
デスティネーションデータアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
エージェント
いいえ
使用するエージェントの名前。
重要このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、またはセルフマネージドデータベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 個のエージェントを選択できます。
ステップ 3: デスティネーションデータアドレスの作成
左側のナビゲーションペインで、Data Online Migration > アドレス管理を選択します。「アドレス管理」ページで、アドレスの作成をクリックします。
アドレスの作成パネルで、パラメーターを設定し、OK をクリックします。次の表にパラメーターを示します。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
デスティネーションバケットは、Data Online Migration コンソールへのログオンに使用される Alibaba Cloud アカウントに属しています
Data Online Migration コンソールで RAM ロールを作成して承認することをお勧めします。詳細については、Data Online Migration コンソールでの RAM ロールの承認を参照してください。
RAM コンソールで RAM ロールにポリシーを手動でアタッチすることもできます。詳細については、準備トピックの「ステップ 4: デスティネーションバケットに対する権限を RAM ロールに付与する」セクションを参照してください。
デスティネーションバケットは、Data Online Migration コンソールへのログオンに使用される Alibaba Cloud アカウントに属していません
OSS コンソールで RAM ロールにポリシーをアタッチできます。詳細については、準備トピックの「ステップ 4: デスティネーションバケットに対する権限を RAM ロールに付与する」セクションを参照してください。
デスティネーションデータアドレスのプレフィックスを指定する: たとえば、ソースデータアドレスのプレフィックスを
example/src/に設定し、example.jpg という名前のファイルを example/src/ に保存し、デスティネーションデータアドレスのプレフィックスをexample/dest/に設定します。example.jpg ファイルがデスティネーションデータアドレスに移行されると、ファイルのフルパスはexample/dest/example.jpgになります。デスティネーションデータアドレスのプレフィックスを指定しない: デスティネーションデータアドレスのプレフィックスを指定しないと、ソースデータはデスティネーションバケットのルートディレクトリに移行されます。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、またはセルフマネージドデータベースからクラウドにデータを移行する場合にのみ必要です。
デスティネーションデータアドレスのデータがローカルファイルシステムに保存されている場合、または Alibaba Finance Cloud や Apsara Stack などの環境で Express Connect 回線を介してデータを移行する必要がある場合は、エージェントを作成してデプロイする必要があります。
このパラメーターは、Express Connect 回線または VPN ゲートウェイを使用してクラウドにデータを移行する場合、またはセルフマネージドデータベースからクラウドにデータを移行する場合にのみ必要です。
特定のトンネルに対して一度に最大 30 個のエージェントを選択できます。
パラメーター | 必須 | 説明 |
名前 | はい | デスティネーションデータアドレスの名前。名前は次の要件を満たしている必要があります。 |
タイプ | はい | デスティネーションデータアドレスのタイプ。Alibaba OSS を選択します。 |
カスタムドメイン名 | いいえ | カスタムドメイン名がサポートされているかどうかを指定します。 |
リージョン | はい | デスティネーションデータアドレスが存在するリージョン。例: 中国 (杭州)。 |
ロールの承認 | はい | |
バケット | はい | データの移行先となる OSS バケットの名前。 |
プレフィックス | いいえ | デスティネーションデータアドレスのプレフィックス。プレフィックスを指定して特定のデータを移行できます。プレフィックスはスラッシュ (/) で始めることはできませんが、スラッシュ (/) で終わる必要があります。例: |
トンネル | いいえ | 使用するトンネルの名前。 重要 |
エージェント | いいえ | 使用するエージェントの名前。 重要 |
ステップ 4: 移行タスクの作成
各リージョンで最大 5 つの同時移行タスクを実行できます。リージョン内の同時移行タスクの数がこの制限を超えると、定期的なタスクスケジューリングが期待どおりに実行されない場合があります。
左側のナビゲーションペインで、Data Online Migration > 移行タスクを選択します。「移行タスク」ページで、タスクの作成をクリックします。
アドレスの選択ステップで、パラメーターを設定し、次へをクリックします。次の表にパラメーターを示します。
パラメーター
必須
説明
名前
はい
移行タスクの名前。名前は次の要件を満たしている必要があります。
名前の長さは 3 ~ 63 文字です。
名前は大文字と小文字が区別され、小文字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
名前は UTF-8 形式でエンコードされ、ハイフン (-) またはアンダースコア (_) で始めることはできません。
ソースアドレス
はい
作成したソースデータアドレス。
デスティネーションアドレス
はい
作成したデスティネーションデータアドレス。
タスクの設定ステップで、次の表に示すパラメーターを設定します。
パラメーター
必須
説明
移行帯域幅
いいえ
移行タスクに使用できる最大帯域幅。有効な値:
デフォルト: 移行帯域幅のデフォルトの上限を使用します。実際の移行帯域幅は、ファイルサイズとファイル数によって異なります。
上限を指定する: プロンプトに従って、移行帯域幅のカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、デスティネーションデータアドレスでのスロットリング、ファイルサイズなど、複数の要因によって異なります。したがって、実際の移行速度は指定された上限に達しない場合があります。
ソースデータアドレス、移行の目的、ビジネス状況、ネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。不適切なスロットリングは、ビジネスパフォーマンスに影響を与える可能性があります。
1 秒あたりに移行されるファイル数
いいえ
1 秒あたりに移行できるファイルの最大数。有効な値:
デフォルト: 1 秒あたりに移行できるファイル数のデフォルトの上限を使用します。
上限を指定する: プロンプトに従って、1 秒あたりに移行できるファイル数のカスタム上限を指定します。
重要実際の移行速度は、ソースデータアドレス、ネットワーク、デスティネーションデータアドレスでのスロットリング、ファイルサイズなど、複数の要因によって異なります。したがって、実際の移行速度は指定された上限に達しない場合があります。
ソースデータアドレス、移行の目的、ビジネス状況、ネットワーク帯域幅の評価に基づいて、移行帯域幅の上限に適切な値を指定します。不適切なスロットリングは、ビジネスパフォーマンスに影響を与える可能性があります。
上書き方法
はい
デスティネーションデータアドレスのファイルがソースデータアドレスのファイルと同じ名前の場合に、デスティネーションデータアドレスのファイルを上書きするかどうかを指定します。有効な値:
上書きしない: ソースデータアドレスのファイルは移行しません。
すべて上書き: デスティネーションデータアドレスのファイルを上書きします。
最終変更時刻に基づいて上書き:
ソースデータアドレスのファイルの最終変更時刻がデスティネーションデータアドレスのファイルの最終変更時刻よりも後の場合、デスティネーションデータアドレスのファイルが上書きされます。
ソースデータアドレスのファイルの最終変更時刻がデスティネーションデータアドレスのファイルの最終変更時刻と同じ場合、ファイルのサイズと Content-Type ヘッダーのいずれかが異なる場合、デスティネーションデータアドレスのファイルが上書きされます。
最終変更時刻に基づいて上書きを選択すると、新しいファイルが同じ名前の古いファイルによって上書きされる場合があります。
最終変更時刻に基づいて上書きを選択する場合は、ソースデータアドレスのファイルに最終変更時刻、サイズ、Content-Type ヘッダーなどの情報が含まれていることを確認してください。そうでない場合、上書きポリシーが無効になり、予期しない移行結果が発生する可能性があります。
上書きしないまたは最終変更時刻に基づいて上書きを選択すると、システムはソースとデスティネーションのデータアドレスにリクエストを送信してメタ情報を取得し、ファイルを上書きするかどうかを決定します。したがって、ソースとデスティネーションのデータアドレスに対してリクエスト料金が発生します。
警告移行レポート
はい
移行レポートをプッシュするかどうかを指定します。有効な値:
プッシュしない (デフォルト): 移行レポートをデスティネーションバケットにプッシュしません。
プッシュする: 移行レポートをデスティネーションバケットにプッシュします。詳細については、後続の操作を参照してください。
重要移行レポートは、デスティネーションデータアドレスのストレージ容量を占有します。
移行レポートは遅延してプッシュされる場合があります。移行レポートが生成されるまで待ってください。
タスクが実行されるたびに一意の ID が生成されます。移行レポートは 1 回だけプッシュされます。必要な場合を除き、移行レポートを削除しないことをお勧めします。
移行ログ
はい
移行ログを Simple Log Service (SLS) にプッシュするかどうかを指定します。有効な値:
プッシュしない (デフォルト): 移行ログをプッシュしません。
プッシュする: 移行ログを SLS にプッシュします。SLS コンソールで移行ログを表示できます。
ファイルエラーログのみをプッシュする: エラー移行ログのみを SLS にプッシュします。SLS コンソールでエラー移行ログを表示できます。
プッシュするまたはファイルエラーログのみをプッシュするを選択すると、Data Online Migration は SLS にプロジェクトを作成します。プロジェクトの名前は、aliyun-oss-import-log-Alibaba Cloud アカウント ID-Data Online Migration コンソールのリージョンの形式です。例: aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要移行タスクでエラーが発生しないようにするには、プッシュするまたはファイルエラーログのみをプッシュするを選択する前に、次の要件が満たされていることを確認してください。
SLS がアクティブ化されている。
承認ページで承認を確認している。
承認
いいえ
このパラメーターは、移行ログパラメーターをプッシュするまたはファイルエラーログのみをプッシュするに設定した場合に表示されます。
承認をクリックして、クラウドリソースアクセス承認ページに移動します。このページで、承認ポリシーの確認をクリックします。RAM ロールAliyunOSSImportSlsAuditRole が作成され、RAM ロールに権限が付与されます。
ファイル名
いいえ
ファイル名に基づくフィルター。
包含ルールと除外ルールの両方がサポートされています。ただし、特定の正規表現の構文のみがサポートされています。正規表現の構文の詳細については、<re2 を参照してください。例:
.*\.jpg$ は、名前が .jpg で終わるすべてのファイルを指します。
デフォルトでは、^file.* は、ルートディレクトリで名前が file で始まるすべてのファイルを指します。
ソースデータアドレスにプレフィックスが設定されていて、プレフィックスが data/to/oss/ の場合、指定されたディレクトリで名前が file で始まるすべてのファイルと一致させるには、^data/to/oss/file.* フィルターを使用する必要があります。
.*/picture/.* は、パスに picture という名前のサブディレクトリが含まれるファイルを指します。
重要包含ルールが設定されている場合、包含ルールを満たすすべてのファイルが移行されます。複数の包含ルールが設定されている場合、包含ルールのいずれかが満たされていればファイルは移行されます。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、包含ルール .*\.jpg$ が設定されているとします。この場合、picture.jpg ファイルのみが移行されます。包含ルール .*\.png$ も同時に設定されている場合、両方のファイルが移行されます。
除外ルールが設定されている場合、除外ルールを満たすすべてのファイルは移行されません。複数の除外ルールが設定されている場合、除外ルールのいずれかが満たされていればファイルは移行されません。
たとえば、picture.jpg ファイルと picture.png ファイルが存在し、除外ルール .*\.jpg$ が設定されているとします。この場合、picture.png ファイルのみが移行されます。除外ルール .*\.png$ も同時に設定されている場合、どちらのファイルも移行されません。
除外ルールは包含ルールよりも優先されます。ファイルが除外ルールと包含ルールの両方を満たす場合、ファイルは移行されません。
たとえば、file.txt ファイルが存在し、除外ルール .*\.txt$ と包含ルール file.* が設定されているとします。この場合、ファイルは移行されません。
ファイルの変更時刻
いいえ
ファイルの最終変更時刻に基づくフィルター。
最終変更時刻をフィルタールールとして指定できます。期間を指定すると、最終変更時刻が指定された期間内のファイルのみが移行されます。例:
開始時刻として 2019 年 1 月 1 日を指定し、終了時刻を指定しない場合、最終変更時刻が 2019 年 1 月 1 日以降のファイルのみが移行されます。
終了時刻として 2022 年 1 月 1 日を指定し、開始時刻を指定しない場合、最終変更時刻が 2022 年 1 月 1 日以前のファイルのみが移行されます。
開始時刻として 2019 年 1 月 1 日を指定し、終了時刻として 2022 年 1 月 1 日を指定した場合、最終変更時刻が 2019 年 1 月 1 日以降かつ 2022 年 1 月 1 日以前のファイルのみが移行されます。
実行時間
いいえ
重要移行タスクの現在の実行が次のスケジュールされた開始時刻までに完了しない場合、タスクは現在の移行が完了した後の次のスケジュールされた開始時刻に次の実行を開始します。このプロセスは、タスクが指定された回数実行されるまで続きます。
Data Online Migration が中国 (香港) リージョンまたは中国本土のリージョンにデプロイされている場合、最大 10 個の同時移行タスクがサポートされます。Data Online Migration が中国国外のリージョンにデプロイされている場合、最大 5 つの同時移行タスクがサポートされます。同時タスクの数が制限を超えると、タスクの実行がスケジュールどおりに完了しない場合があります。
移行タスクが実行される時間。有効な値:
即時: タスクはすぐに実行されます。
スケジュールされたタスク: タスクは毎日指定された期間内に実行されます。デフォルトでは、タスクは指定された開始時刻に開始され、指定された停止時刻に停止されます。
定期的なスケジューリング: タスクは、指定した実行頻度と実行回数に基づいて実行されます。
実行頻度: タスクの実行頻度を指定できます。有効な値: 毎時、毎日、毎週、特定の曜日、カスタム。詳細については、このトピックのサポートされている実行頻度セクションを参照してください。
実行: プロンプトに従って、タスクの最大実行回数を指定できます。デフォルトでは、このパラメーターを指定しないと、タスクは 1 回実行されます。
重要タスクはいつでも手動で開始および停止できます。これは、タスクのカスタム実行時間の影響を受けません。
Data Online Migration 契約をお読みください。Alibaba Cloud 国際ウェブサイト製品サービス規約を読み、同意します。と移行タスクが完了すると、移行されたデータがソースデータと異なる場合があることを理解しています。したがって、移行されたデータとソースデータの一貫性を確認する義務と責任があります。alibaba Cloud は、移行されたデータとソースデータの一貫性の確認については責任を負いません。を選択し、次へをクリックします。
設定が正しいことを確認し、OK をクリックします。移行タスクが作成されます。
サポートされている実行頻度
頻度 | 説明 | 例 |
毎時 | 移行タスクを毎時実行するようにスケジュールします。この実行頻度を選択した場合、タスクの最大実行回数を指定することもできます。 | 移行タスクを 1 時間ごとに 3 回実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは次の時間の開始時刻である 09:00 に最初の実行を開始します。
|
毎日 | 移行タスクを毎日実行するようにスケジュールします。この実行頻度を選択した場合、タスクを 00:00 から 23:00 までの時間の開始時刻に実行するようにスケジュールする必要があります。タスクの最大実行回数を指定することもできます。 | 移行タスクを毎日 10:00 に 5 回実行するようにスケジュールします。現在の時刻が 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
毎週 | 移行タスクを毎週実行するようにスケジュールします。この実行頻度を選択した場合、曜日を指定し、タスクを 00:00 から 23:00 までの時間の開始時刻に実行するようにスケジュールする必要があります。タスクの最大実行回数を指定することもできます。 | 移行タスクを毎週月曜日の 10:00 に 10 回実行するようにスケジュールします。現在の時刻が月曜日の 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
特定の曜日 | 移行タスクを特定の曜日に実行するようにスケジュールします。この実行頻度を選択した場合、複数の曜日を指定し、タスクを 00:00 から 23:00 までの時間の開始時刻に実行するようにスケジュールする必要があります。 | 移行タスクを毎週月曜日、水曜日、金曜日の 10:00 に実行するようにスケジュールします。現在の時刻が水曜日の 08:05 の場合、タスクは同日 10:00 に最初の実行を開始します。
|
カスタム | CRON 式を使用して、移行タスクのカスタム開始時刻を指定します。 | 説明 CRON 式は、スペースで区切られた 6 つのフィールドで構成されます。6 つのフィールドは、移行タスクの開始時刻を次の順序で指定します。秒、分、時、日、月、曜日。 次の CRON 式のサンプルは参考用です。その他の CRON 式を生成するには、CRON 式ジェネレーターを使用してください。
|
ステップ 5: データの検証
Data Online Migration はデータの移行のみを処理し、データの一貫性や整合性は保証しません。移行タスクが完了したら、移行されたすべてのデータを確認し、ソースとデスティネーションのデータアドレス間でデータの一貫性を検証する必要があります。
移行タスクが完了したら、デスティネーションデータアドレスで移行されたデータを確認してください。デスティネーションデータアドレスで移行されたデータを確認する前にソースデータアドレスのデータを削除すると、データ損失によって発生した損失と結果について責任を負うことになります。