Data Transmission Service:RDS for MySQL を Function Compute に同期

前提条件

• ソース ApsaraDB RDS for MySQL インスタンスがあります。

• ターゲットのサービスおよび関数が作成済みで、その ハンドラータイプ が イベントハンドラー に設定されていること。関数の作成方法については、「関数をすばやく作成する」をご参照ください。

  説明

  Function Compute (FC) 2.0 のみがサポートされています。

注意事項

課金

サポートされる SQL 操作

データベースアカウントの権限

操作手順

1. ターゲットリージョンの同期タスクリストページに移動します。次の 2 つの方法のいずれかを使用できます。

   DTS コンソールから

   1. Data Transmission Service (DTS) コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、データ同期 をクリックします。

   3. ページ左上隅で、同期インスタンスが配置されているリージョンを選択します。

   DMS コンソールから

   説明

   実際の操作は、DMS コンソールのモードおよびレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS インターフェイスのレイアウトとスタイルのカスタマイズ」をご参照ください。

   1. Data Management (DMS) にログインします。

   2. 上部メニューバーで、Data + AI > Data Transmission (DTS) > データ同期 を選択します。

   3. データ同期タスク の右側で、同期インスタンスが配置されているリージョンを選択します。

2. タスクの作成 をクリックして、タスク構成ページを開きます。

3. ソースおよびターゲットデータベースを構成します。

   セクション	パラメーター	説明
   該当なし	タスク名	DTS は自動的にタスク名を生成します。識別しやすいように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
   移行元データベース	既存の接続情報の選択	システムに追加済み（新規作成または保存済み）のデータベースインスタンスを使用する場合は、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に構成されます。 説明 DMS コンソールでは、この設定項目の名前は DMS データベースインスタンスの選択 です。 データベースインスタンスをシステムに追加していない場合、またはすでに追加されているインスタンスを使用しない場合は、次のデータベース情報を手動で構成します。
   	データベースタイプ	MySQL を選択します。
   	アクセス方法	Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	ソース ApsaraDB RDS for MySQL インスタンスが配置されているリージョンを選択します。
   	Alibaba Cloud アカウント間でデータを複製	この例では、同じ Alibaba Cloud アカウント内でデータを同期します。× を選択します。
   	RDS インスタンス ID	ソース ApsaraDB RDS for MySQL インスタンスのインスタンス ID を選択します。
   	データベースアカウント	ソース ApsaraDB RDS for MySQL インスタンスのデータベースアカウントを入力します。権限要件については、「データベースアカウントに必要な権限」をご参照ください。
   	データベースのパスワード	データベースアカウントに対応するパスワードを入力します。
   	暗号化	必要に応じて、非暗号化 または SSL 暗号化 を選択します。SSL 暗号化 を選択する場合は、事前に RDS for MySQL インスタンスで SSL 暗号化を有効にする必要があります。詳細については、「クラウド証明書を使用した SSL 暗号化の迅速な有効化」をご参照ください。
   移行先データベース	既存の接続情報の選択	システムに追加済み（新規作成または保存済み）のデータベースインスタンスを使用する場合は、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に構成されます。 説明 DMS コンソールでは、この設定項目の名前は DMS データベースインスタンスの選択 です。 データベースインスタンスをシステムに追加していない場合、またはすでに追加されているインスタンスを使用しない場合は、次のデータベース情報を手動で構成します。
   	データベースタイプ	Function Compute (FC) を選択します。
   	アクセス方法	Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	デフォルトで、このパラメーターはソースデータベースの インスタンスのリージョン と同じ値に設定され、変更できません。
   	サービス	ターゲット Function Compute (FC) サービスの名前を選択します。
   	関数	データを受信するターゲット Function Compute (FC) 関数を選択します。
   	サービスのバージョンとエイリアス	ビジネス要件に基づいてオプションを選択します。 デフォルトバージョン：サービスバージョン は LATEST に固定されます。 バージョンの指定：サービスバージョン も選択する必要があります。 エイリアスの指定：サービスのエイリアス も選択する必要があります。 説明 Function Compute に関連する用語の詳細については、「基本概念」をご参照ください。

4. 構成が完了したら、ページ下部の 接続をテストして続行 をクリックします。

   説明

   • DTS サーバーの IP アドレス CIDR ブロックが、ソースおよびターゲットデータベースのセキュリティ設定に追加され、DTS サーバーからのアクセスが許可されていることを確認してください。これは自動または手動で行えます。詳細については、「DTS サーバーの IP アドレス CIDR ブロックをホワイトリストに追加する」をご参照ください。

   • ソースまたはターゲットデータベースが自己管理データベース（アクセス方法 が Alibaba Cloud インスタンス ではない）の場合、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックする必要があります。

5. タスクオブジェクトを構成します。

   1. オブジェクト設定 ページで、同期するオブジェクトを構成します。

      パラメーター	説明
      同期タイプ	デフォルトで 増分データ同期 が選択されています。既存のデータを同期する必要がある場合は、完全データ同期 も選択する必要があります。
      データ形式	Function Compute (FC) 関数に同期されるデータの形式を指定します。Canal JSON のみがサポートされています。 説明 Canal JSON 形式のパラメーターおよび例の詳細については、「Canal JSON 形式」をご参照ください。
      ソースオブジェクト	ソースオブジェクト ボックスで、同期するオブジェクトをクリックし、 をクリックして 選択中のオブジェクト ボックスに移動させます。 説明 同期オブジェクトとしてデータベースまたはテーブルを選択できます。
      選択中のオブジェクト	選択中のオブジェクト ボックスで、同期されるデータを確認します。 説明 オブジェクトを削除するには、選択中のオブジェクト ボックスでオブジェクトを選択し、 アイコンをクリックします。

   2. 詳細設定へ をクリックして、高度なパラメーターを構成します。

      パラメーター	説明
      タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、DTS は共有クラスター上でタスクをスケジューリングし、クラスターを選択する必要はありません。より安定したパフォーマンスを得るには、DTS 同期タスクを実行するための専用クラスターを購入できます。詳細については、「DTS 専用クラスターとは」をご参照ください。
      失敗した接続の再試行時間	同期タスク開始後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続の再試行を開始します。デフォルトの再試行時間は 720 分です。10 ～ 1,440 分の範囲でカスタム再試行時間を指定することもできます。30 分以上に設定することを推奨します。指定された時間内に DTS がデータベースへの再接続に成功した場合、同期タスクは自動的に再開されます。それ以外の場合、タスクは失敗します。 説明 同じソースまたはターゲットを共有する複数の DTS インスタンス（例：インスタンス A とインスタンス B）があり、インスタンス A のネットワーク再試行時間が 30 分、インスタンス B が 60 分に設定されている場合、両方に 30 分という短い時間が適用されます。 DTS は接続再試行期間中のタスク実行時間に対して課金するため、ビジネスニーズに基づいて再試行時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスをリリースした直後に DTS インスタンスを速やかにリリースすることを推奨します。
      移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	同期タスク開始後、ソースまたはターゲットデータベースで接続性以外の問題（DDL または DML 実行例外など）が発生した場合、DTS はエラーを報告し、直ちに継続的な再試行操作を開始します。デフォルトの再試行時間は 10 分です。1 ～ 1,440 分の範囲で再試行時間をカスタマイズすることもできます。10 分以上に設定することを推奨します。設定された再試行時間内に関連操作が成功した場合、同期タスクは自動的に再開されます。それ以外の場合、タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
      完全同期レートを制限するかどうか	完全同期フェーズ中、DTS はソースおよびターゲットデータベースの読み取りおよび書き込みリソースを消費し、データベース負荷が増加します。ソースおよびターゲットデータベースへの負荷を軽減するために、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを構成して、完全同期タスクのレート制限を設定できます。 説明 この設定項目は、同期タイプ が 完全データ同期 に設定されている場合にのみ利用可能です。 同期インスタンスの実行後も、完全同期レートを調整 できます。
      増分同期率を制限するかどうか	増分同期タスクのレート制限も設定できます。ターゲットデータベースへの負荷を軽減するために、1 秒あたりの増分同期の行数 RPS および 1 秒あたりの増分同期データ量 (MB) BPS を設定します。
      順方向および逆方向タスクのハートビートテーブル SQL を削除	DTS インスタンス実行中に、ハートビート SQL 情報をソースデータベースに書き込むかどうかを選択します。 ○：ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。 ×：ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップやクローンなどの機能に干渉する可能性があります。
      環境タグ	ビジネス要件に基づいて、インスタンスを識別するための環境タグを選択できます。この例では、タグを選択する必要はありません。
      ETL 機能の設定	抽出・変換・書き出し (ETL) 機能を有効にするかどうかを選択します。詳細については、「ETL とは」をご参照ください。有効値： ○：ETL 機能を有効にします。コードエディタにデータ処理ステートメントを入力します。詳細については、「データ移行またはデータ同期タスクでの ETL の構成」をご参照ください。 ×：ETL 機能を無効にします。
      監視アラート	アラートを構成するかどうかを指定します。同期が失敗した場合や遅延が指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。 ×：アラートは構成されません。 ○：アラートのしきい値を設定し、アラート通知を指定してアラートを構成します。詳細については、「タスク構成時のモニタリングとアラートの設定」をご参照ください。

6. タスクを保存して事前チェックを実行します。

   • このインスタンスを構成するための API パラメーターを表示するには、次：タスク設定の保存と事前チェック ボタンにカーソルを合わせ、ポップアップで OpenAPI パラメーターのプレビュー をクリックします。

   • API パラメーターの確認が完了したら、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • 同期ジョブ開始前に、DTS は事前チェックを実行します。すべての事前チェック項目に合格した場合にのみ、ジョブを開始できます。

   • 事前チェックに失敗した場合は、失敗した項目の横にある 詳細を表示 をクリックします。指示に従って問題を修正し、再度事前チェックを実行します。

   • 事前チェックで警告が返された場合：

     • チェック項目が失敗し、無視できない場合は、項目の横にある 詳細を表示 をクリックします。指示に従って問題を修正し、再度事前チェックを実行します。

     • 無視可能なチェック項目については、アラートの詳細を確認、無視、OK、再度事前チェックを実行 の順にクリックして警告をスキップし、事前チェックを再実行します。警告項目を非表示にすると、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。

7. インスタンスを購入します。

   1. 成功率 が 100% の場合、次：インスタンスの購入 をクリックします。

   2. 購入 ページで、データ同期インスタンスの課金方法とリンク仕様を選択します。次の表に、これらのパラメーターの詳細を示します。

      カテゴリ	パラメーター	説明
      新しいインスタンスクラス	課金方法	サブスクリプション：インスタンス作成時に支払いを行います。長期的なニーズに適しており、従量課金よりもコスト効率が高くなります。サブスクリプション期間が長いほど、割引率が高くなります。 従量課金：1 時間単位で課金されます。短期的なニーズに適しています。使用後すぐにインスタンスをリリースしてコストを節約できます。
      	リソースグループ構成	インスタンスが属するリソースグループ。デフォルトはデフォルトリソースグループです。詳細については、「Resource Management とは」をご参照ください。
      	リンク仕様	DTS は、さまざまなパフォーマンスレベルを持つ同期仕様を提供します。同期リンク仕様は同期レートに影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ同期リンク仕様」をご参照ください。
      	サブスクリプション期間	サブスクリプションモードでは、サブスクリプションインスタンスの期間と数量を選択します。1 ～ 9 ヶ月の月額サブスクリプション、または 1、2、3、5 年の年額サブスクリプションを選択できます。 説明 このオプションは、課金方法が サブスクリプション の場合にのみ利用可能です。

   3. 構成が完了したら、Data Transmission Service (従量課金) 利用規約 を読み、選択します。

   4. 購入して起動 をクリックします。OK ダイアログボックスで、OK をクリックします。

      データ同期ページでタスクの進行状況を確認できます。

次のステップ

• 同期対象の 1 つのレコードが 16 MB を超える場合、DTS タスクでエラーが報告されます。同期オブジェクトを変更するか、ETL 機能を使用して大きなフィールドを除外できます。手順については、「同期タスクの ETL 構成の変更」および「同期オブジェクトの変更」をご参照ください。

• ビジネス要件に基づいて関数コードを記述します。詳細については、「コード開発の概要」をご参照ください。

ターゲットデータ形式

Function Compute (FC) はデータを Object として受信します。ソースからの増分データは Records フィールド（レコードの配列）に格納されます。各レコードは、次の表に示すフィールドを含む Object です。

ALTER TABLE `demoTable` 
	ADD COLUMN `address` varchar(20) NULL AFTER `sex`
;

{
	'Records': [{
		'type': 'DDL',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '/* Query from DMS-WEBSQL-0-Eid_15682857722282385K by user 14xxxxxxxx */ ALTER TABLE `demoDatabase`.`DDL` \n\tADD COLUMN `address` varchar(20) NULL AFTER `sex`',
		'database': 'demoDatabase',
		'id': 63151,
		'isDdl': True,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

INSERT INTO demoTable VALUES("xiaoming", 10, "man");

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'pkNames': ['name'],
		'type': 'INSERT',
		'serverId': '27142678',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62051,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

UPDATE `demoDatabase`.`demoTable` SET `age`=11 WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'old': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '10'
		}],
		'type': 'UPDATE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62373,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}

DELETE FROM `demoDatabase`.`demoTable` WHERE `name`='xiaoming';

{
	'Records': [{
		'data': [{
			'sex': 'man',
			'name': 'xiaoming',
			'age': '11'
		}],
		'pkNames': ['name'],
		'type': 'DELETE',
		'serverId': '27142679',
		'es': 1690000000000,
		'sql': '',
		'database': 'demoDatabase',
		'sqlType': {
			'sex': 253,
			'name': 253,
			'age': 3
		},
		'mysqlType': {
			'sex': 'varchar',
			'name': 'varchar',
			'age': 'int'
		},
		'id': 62635,
		'isDdl': False,
		'table': 'demoTable',
		'ts': 1690000000000
	}]
}