Data Transmission Service:ApsaraDB RDS for MySQL インスタンスから MaxCompute プロジェクトへのデータ移行

前提条件

• MaxCompute プロジェクトを作成済みであること。プロジェクトの利用可能なストレージ容量は、ソース RDS for MySQL インスタンスが占有するストレージ容量よりも大きい必要があります。詳細については、「MaxCompute プロジェクトの作成」をご参照ください。

• MaxCompute プロジェクトのホワイトリストを設定して、DTS がアクセスできるようにしていること。詳細については、「Alibaba Cloud サービスが MaxCompute プロジェクトにアクセスするためのホワイトリストの設定」をご参照ください。

• Alibaba Cloud アカウントの AccessKey ペアを作成して保存済みであること。詳細については、「AccessKey ペアの作成」をご参照ください。

  説明

  また、RAM ユーザーを作成して AccessKey ペアを保存し、その後RAM ユーザーを組み込みの管理者ロール (admin または super_administrator) に追加することもできます。

注意事項

課金

移行タイプ

• スキーマ移行

  DTS は、移行対象のテーブルのスキーマ定義をソースデータベースから MaxCompute に移行します。初期化中に、DTS はテーブル名に `_base` サフィックスを追加します。たとえば、ソーステーブルが `customer` の場合、MaxCompute のテーブルは `customer_base` になります。

• 完全移行

  DTS は、ソースデータベースのテーブルからすべての既存データを MaxCompute の `_base` テーブルに移行します。たとえば、ソースデータベースの `customer` テーブルのデータは、MaxCompute の `customer_base` テーブルに移行されます。このデータは、後続の増分データ移行のベースラインとして機能します。

  説明

  このテーブルは、完全ベースラインテーブルとも呼ばれます。

• 増分移行

  DTS は MaxCompute に増分ログテーブルを作成します。テーブル名は、`_log` サフィックスが付いた宛先テーブル名 (例: `customer_log`) です。その後、DTS はソースデータベースからこのテーブルに増分データをリアルタイムで移行します。

  説明

  増分ログテーブルの構造の詳細については、「増分ログテーブルの構造」をご参照ください。

増分移行でサポートされる SQL 操作

データベースアカウントの権限

RDS for MySQL インスタンスのデータベースアカウントを作成し、権限を付与する方法については、「アカウントの作成」および「アカウント権限の変更」をご参照ください。

手順

1. 次のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。

   DTS コンソール

   1. DTS コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、データの移行 をクリックします。

   3. ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。

   DMS コンソール

   説明

   実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. DMS コンソールにログインします。

   2. 上部のナビゲーションバーで、ポインターを [Data + AI] > [DTS (DTS)] > [データ移行] に移動します。

   3. [データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。

2. タスクの作成 をクリックして、タスク設定ページに移動します。

3. ソースデータベースとターゲットデータベースを設定します。次の表にパラメーターを示します。

   カテゴリ	構成	説明
   なし	タスク名	DTS は自動的にタスク名を生成します。簡単に識別できるように、わかりやすい名前を指定することをお勧めします。名前は一意である必要はありません。
   ソースデータベース	既存の接続情報の選択	DTS に登録されているデータベースインスタンスを使用する場合、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。 説明 DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。 インスタンスを DTS に登録できない場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
   	データベースタイプ	ソースデータベースのタイプ。[MySQL] を選択します。
   	アクセス方法	[クラウドインスタンス] を選択します。
   	インスタンスリージョン	ソース RDS for MySQL インスタンスが存在するリージョンを選択します。
   	Alibaba Cloud アカウント間でデータを複製	この例では、現在の Alibaba Cloud アカウントのデータベースインスタンスが使用されます。× を選択します。
   	RDS インスタンス ID	ソース RDS for MySQL インスタンスの ID を選択します。
   	データベースアカウント	ソース RDS for MySQL インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントの権限」をご参照ください。
   	データベースパスワード	データベースインスタンスへのアクセスに使用されるパスワード。
   	暗号化	ソースデータベースインスタンスへの接続を暗号化するかどうかを指定します。ビジネス要件に基づいて [暗号化なし] または [SSL 暗号化] を選択します。このパラメーターを [SSL 暗号化] に設定する場合は、DTS タスクを設定する前に ApsaraDB RDS for MySQL インスタンスの SSL 暗号化を有効にする必要があります。詳細については、「クラウド証明書を使用して SSL 暗号化を有効にする」をご参照ください。
   宛先データベース	既存の接続情報の選択	DTS に登録されているデータベースインスタンスを使用する場合、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。 説明 DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。 インスタンスを DTS に登録できない場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
   	データベースタイプ	[MaxCompute] を選択します。
   	アクセス方法	[Alibaba Cloud インスタンス] を選択します。
   	インスタンスリージョン	宛先 MaxCompute プロジェクトが存在するリージョンを選択します。
   	プロジェクト	宛先 MaxCompute プロジェクトの名前を入力します。
   	Alibaba Cloud アカウントの AccessKey ID	[前提条件] セクションで準備した AccessKey ペアを入力します。
   	Alibaba Cloud アカウントの AccessKey Secret

4. ページの下部で、[接続テストと次へ] をクリックします。

   説明

   • DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。

   • ソースまたはターゲットデータベースが自己管理データベースで、その アクセス方法 が Alibaba Cloud インスタンス に設定されていない場合は、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックします。

5. [OK] をクリックして、MaxCompute アカウントに権限を付与します。

6. 移行するオブジェクトを設定します。

   1. オブジェクト設定 ページで、移行するオブジェクトを設定します。

      構成	説明
      移行タイプ	完全データ移行のみを実行するには、[スキーマ移行] と [完全データ移行] を選択します。 データ移行中のサービス継続性を確保するには、[スキーマ移行]、[完全データ移行]、および [増分データ移行] を選択します。 説明 [スキーマ移行] を選択しない場合は、ターゲットデータベースにデータを受信するためのデータベースとテーブルが作成され、[選択したオブジェクト] でオブジェクト名マッピング機能が有効になっていることを確認してください。 [増分データ移行] を選択しない場合は、ソースデータベースとターゲットデータベースのデータ整合性を確保するために、データ移行中にソースデータベースにデータを書き込まないことをお勧めします。
      追加列の命名規則	DTS が MaxCompute にデータを移行するとき、宛先テーブルに追加の列を追加します。必要に応じて [新しいルール] または [古いルール] を選択する必要があります。 警告 追加列のルールを選択する前に、追加列がターゲットテーブルの既存の列と名前の競合を起こさないか評価してください。名前の競合は、データ移行の失敗やデータ損失の原因となります。追加列のルールと定義の詳細については、「追加列の名前と定義」をご参照ください。
      増分データテーブルのパーティション定義	必要に応じてパーティション名を選択します。パーティションの詳細については、「パーティション」をご参照ください。
      競合するテーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかをチェックします。ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格します。それ以外の場合は、事前チェック中にエラーが返され、データ移行タスクを開始できません。 説明 ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれており、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。詳細については、「オブジェクト名のマッピング」をご参照ください。 エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名に対する事前チェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスに次のような潜在的なリスクが生じる可能性があります: ソースデータベースとターゲットデータベースのスキーマが同じで、データレコードがターゲットデータベースの既存のデータレコードと同じ主キーを持つ場合、次のシナリオが発生する可能性があります: 完全データ移行中、DTS はデータレコードをターゲットデータベースに移行しません。ターゲットデータベースの既存のデータレコードが保持されます。 増分データ移行中、DTS はデータレコードをターゲットデータベースに移行します。ターゲットデータベースの既存のデータレコードは上書きされます。 ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。注意して進めてください。
      移行先インスタンスでのオブジェクト名の大文字化	宛先インスタンスのデータベース名、テーブル名、列名の大文字/小文字。デフォルトでは、[DTS のデフォルトポリシー] が選択されています。他のオプションを選択して、オブジェクト名の大文字/小文字がソースまたはターゲットデータベースのものと一致するようにすることができます。詳細については、「宛先インスタンスのオブジェクト名の大文字/小文字を指定する」をご参照ください。
      ソースオブジェクト	ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。 アイコンをクリックし、オブジェクトを [選択したオブジェクト] セクションに追加します。 説明 移行オブジェクトの粒度はテーブルです。
      選択中のオブジェクト	宛先インスタンスに移行するオブジェクトの名前を変更するには、[選択したオブジェクト] セクションでオブジェクトを右クリックします。詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。 一度に複数のオブジェクトの名前を変更するには、[選択したオブジェクト] セクションの右上隅にある [一括編集] をクリックします。詳細については、「一度に複数のオブジェクト名をマッピングする」をご参照ください。 説明 オブジェクト名マッピング機能を使用すると、名前が変更されたオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。 WHERE 条件を指定してデータをフィルタリングするには、[選択したオブジェクト] セクションでテーブルを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件の設定」をご参照ください。 データベースまたはテーブルレベルで SQL 操作を選択するには、[選択したオブジェクト] セクションで移行するオブジェクトを右クリックします。表示されるダイアログボックスで、移行する SQL 操作を選択します。

   2. 詳細設定へ をクリックして詳細設定を行います。

      構成	説明
      タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、専用クラスターを指定しない場合、DTS はデータ移行タスクを共有クラスターにスケジュールします。データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。詳細については、「DTS 専用クラスターとは」をご参照ください。
      失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。データ移行タスクの開始後にソースまたはターゲットデータベースへの接続に失敗した場合、DTS はリトライ時間範囲内で直ちに接続をリトライします。有効値: 10～1,440。単位: 分。デフォルト値: 720。パラメーターを 30 より大きい値に設定することをお勧めします。指定されたリトライ時間範囲内に DTS がソースおよびターゲットデータベースに再接続された場合、DTS はデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。 説明 同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後で指定された値が優先されます。 DTS が接続をリトライする際、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。また、ソースデータベースと宛先インスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
      移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題のリトライ時間範囲。たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS はリトライ時間範囲内で直ちに操作をリトライします。有効値: 1～1440。単位: 分。デフォルト値: 10。パラメーターを 10 より大きい値に設定することをお勧めします。失敗した操作が指定されたリトライ時間範囲内に正常に実行された場合、DTS はデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
      完全移行率を制限するかどうか	完全データ移行のスロットリングを有効にするかどうかを指定します。完全データ移行中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ビジネス要件に基づいて、完全データ移行のスロットリングを有効にすることができます。スロットリングを設定するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。 説明 このパラメーターは、移行タイプ パラメーターで 完全データ移行 を選択した場合にのみ設定できます。
      増分移行率を制限するかどうか	増分データ移行のスロットリングを有効にするかどうかを指定します。スロットリングを設定するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。 説明 このパラメーターは、移行タイプ パラメーターで 増分データ移行 を選択した場合にのみ設定できます。
      順方向および逆方向タスクのハートビートテーブル SQL を削除	DTS インスタンスの実行中にハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。有効値: [はい]: ハートビートテーブルに対する SQL 操作を書き込みません。この場合、DTS インスタンスの遅延が表示されることがあります。 [いいえ]: ハートビートテーブルに対する SQL 操作を書き込みます。この場合、ソースデータベースの物理バックアップやクローン作成などの機能が影響を受ける可能性があります。
      環境タグ	必要に応じて環境タグを選択してインスタンスを識別できます。この例では選択は不要です。
      ETL の設定	抽出・変換・書き出し (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効値: [はい]: ETL 機能を設定します。コードエディタにデータ処理文を入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。 [いいえ]: ETL 機能を設定しません。
      監視アラート	データ移行タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。有効値: [いいえ]: アラートを設定しません。 [はい]: アラートを設定します。この場合、アラートのしきい値とアラート通知設定も設定する必要があります。詳細については、「モニタリングとアラートの設定」トピックの「DTS タスク作成時のモニタリングとアラートの設定」セクションをご参照ください。

7. タスク設定を保存し、事前チェックを実行します。

   • 関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック にポインターを合わせ、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメーターを表示する必要がない場合、または表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • データ移行タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。

   • 事前チェック中に項目に対してアラートがトリガーされた場合:

     • アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。その後、再度事前チェックを実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで [OK] をクリックします。その後、[再度事前チェック] をクリックして再度事前チェックを実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスに潜在的なリスクが生じる可能性があります。

8. インスタンスを購入します。

   1. [成功率] が [100%] になるまで待ちます。その後、[次へ: インスタンスの購入] をクリックします。

   2. [インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。次の表にパラメーターを示します。

      セクション	パラメーター	説明
      新しいインスタンスクラス	リソースグループ	データ移行インスタンスが属するリソースグループ。デフォルト値: [デフォルトリソースグループ]。詳細については、「Resource Management とは」をご参照ください。
      	インスタンスクラス	DTS は、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

   3. [Data Transmission Service (Pay-as-you-go) Service Terms] を読んで同意し、チェックボックスをオンにします。

   4. [購入して開始] をクリックします。表示されるメッセージで、[OK] をクリックします。

      [データ移行] ページでタスクの進行状況を表示できます。

      説明

      • データ移行タスクが増分データの移行に使用できない場合、タスクは自動的に停止します。[ステータス] セクションに [完了] が表示されます。

      • データ移行タスクが増分データの移行に使用できる場合、タスクは自動的に停止しません。増分データ移行タスクは停止も完了もしません。[ステータス] セクションに [実行中] が表示されます。

増分ログテーブルの構造