Data Online Migration:ミラーリングベースのオリジンフェッチを使用して Alibaba Cloud OSS にビジネスをシームレスに移行する

背景情報

顧客 A は、イメージやビデオなどのファイルのオンライン編集サービスを提供するインターネットサービス企業です。ビジネスはサードパーティのクラウドコンピューティングサービスプロバイダー (SP) に依存しています。同社は、約 1 億個の既存ファイル、合計約 320 TB を SP に保存しています。毎日約 20 GB の新しいデータが生成されます。ビジネスに必要なアクセス帯域幅は 50 MB/s ですが、利用可能な OSS の帯域幅は 250 MB/s です。

移行ソリューション

ステップ 1: 既存データの移行

1. 移行タスクを作成して既存データを移行します。

   a. 移行したデータを保存するための OSS バケットを作成します。詳細については、「バケットの作成」をご参照ください。

   b. データソースと完全移行タスクを作成します。詳細については、「チュートリアル」の関連チュートリアルをご参照ください。

   重要

   移行タスクの上書きモードについては、最終更新時間に基づいて上書きするオプションを選択します。これにより、移行を再開したときに、増分データのみが移行されるようになります。

2. 移行が完了したら、移行レポートを表示してソースと宛先のデータを比較し、移行が完了したことを確認します。

ステップ 2: ミラーリングベースのオリジンフェッチの設定

既存データの移行には約 25 日かかると推定されます。この期間中、ソースでは新しいデータが継続的に生成されます。ビジネスの中断を防ぎ、シームレスな切り替えを確実にするために、ミラーリングベースのオリジンフェッチ機能を設定する必要があります。ユーザーが OSS にないファイルをリクエストした場合、OSS は自動的にオリジンからファイルを取得し、バケットに保存してからユーザーに返します。

1. OSS コンソール にログオンします。

2. 左側のナビゲーションウィンドウで、[バケット] をクリックします。

3. [バケット] ページで、ミラーリングベースのオリジンフェッチを設定するバケットの名前をクリックします。

4. 左側のナビゲーションウィンドウで、Data Management > ミラーリングベースのオリジンフェッチ を選択します。

5. [ルールの作成] をクリックします。[ルールの作成] パネルで、back-to-origin のパラメーターを設定します。

   

   • Back-to-origin タイプ: [ミラーリング] を選択します。

   • 条件: デフォルトの条件は HTTP 404 エラーです。必要に応じて、[ファイル名のプレフィックス] と [ファイル名のサフィックス] を設定することもできます。

   • オリジン URL: ソースクラウドサービスのエンドポイントを入力します。

   • パラメーターの詳細については、「back-to-origin ルールの設定」をご参照ください。

   説明

   最大 5 つの back-to-origin ルールを設定でき、すべて同時に有効になります。複数のデータソースがある場合は、異なる [ファイル名のプレフィックス] 値を持つ複数のルールを設定して、異なるオリジンからデータを取得できます。

6. [OK] をクリックして設定を完了します。

ステップ 3: ビジネスの OSS への切り替え

ビジネスサーバー上の読み取りおよび書き込み操作のデータソースエンドポイントを OSS エンドポイントに切り替えます。この切り替え後、ソースでは新しい増分データは生成されません。

ステップ 4：増分データを移行する

既存データの移行中に、ソースで約 100,000 個の増分ファイル、合計約 500 GB が生成されました。この増分データも OSS に移行する必要があります。

1. 移行タスクを再開します。タスクはソースファイルを完全にスキャンし、最終更新時間に基づいて増分ファイルのみを宛先に移行します。

2. 移行が完了したら、移行レポートを表示してソースと宛先のデータを比較し、移行が完了したことを確認します。