PolarDB-X 2.0 から Tablestore へのデータ同期 - Tablestore - Alibaba Cloud ドキュメントセンター

データ伝送サービス (DTS) を使用して、PolarDB-X 2.0から Tablestore にデータを同期できます。

前提条件

Tablestore インスタンスが作成されていること。詳細については、Tablestore の使用を参照してください。
Tablestore インスタンスが属する Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを取得していること。詳細については、AccessKey ペアの作成を参照してください。

使用上の注意

制限タイプ	説明
ソースインスタンスの制限	同期するテーブルには、PRIMARY KEY 制約または UNIQUE 制約が必要です。また、すべてのフィールドが一意である必要があります。そうでない場合、同期先のデータベースに重複するデータレコードが含まれる可能性があります。同期対象としてテーブルを選択し、テーブルの名前変更などの操作を実行する場合、1 つのデータ同期タスクで最大 5,000 個のテーブルを同期できます。5,000 個を超えるテーブルを同期するためにデータ同期タスクを実行すると、リクエストエラーが発生します。この場合、複数のデータ同期タスクを設定してテーブルを同期するか、データベース全体を同期するようにデータ同期タスクを設定することをお勧めします。同期元の PolarDB-X 2.0 インスタンスのテーブル名に大文字が含まれている場合、スキーマ同期のみを実行できます。デフォルトでは、PolarDB-X 2.0 インスタンスでバイナリロギング機能が有効になっています。binlog_row_image パラメータが full に設定されていることを確認してください。詳細については、パラメータ設定を参照してください。そうでない場合、事前チェック中にエラーメッセージが表示され、データ同期タスクを開始できません。
その他の制限	データ同期を実行する前に、データ同期がソースデータベースと同期先データベースのパフォーマンスに与える影響を評価してください。オフピーク時にデータ同期を実行することをお勧めします。初期のフルデータ同期中、DTS はソースデータベースと同期先データベースの読み取りリソースと書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。初期のフルデータ同期中、同時 INSERT 操作によって同期先データベースのテーブルが断片化されます。初期のフルデータ同期が完了すると、同期先データベースのテーブルのストレージ使用量は、ソースデータベースのテーブルのストレージ使用量よりも大きくなります。データ同期を実行する場合は、ソースデータベースと同期先データベース間でデータの不整合が発生しないように、DTS のみを使用して同期先データベースにデータを書き込むことをお勧めします。 Tablestore のデータテーブルにのみテーブルを同期できます。同期先の Tablestore インスタンスには最大 64 個のテーブルを同期できます。選択したテーブルの数が制限を超えると、データ同期中にエラーが発生します。64 個を超えるテーブルを同期先の Tablestore インスタンスに同期する場合は、Tablestore テクニカルサポートに連絡して、インスタンスに同期できるテーブル数の制限を引き上げてください。同期するテーブルとカラムの名前は、Tablestore インスタンスの命名規則に準拠している必要があります。テーブルまたはカラムの名前には、文字、数字、アンダースコア (_) を使用できます。名前は文字またはアンダースコア (_) で始める必要があります。テーブルまたはカラムの名前は、1 ～ 255 文字である必要があります。

増分同期が可能な SQL 操作

操作タイプ	SQL ステートメント
DML	INSERT、UPDATE、DELETE

手順

データ同期タスクページに移動します。
1. データマネジメント (DMS) コンソールにログインします。
2. 上部のナビゲーションバーで、データ開発をクリックします。
3. 左側のナビゲーションペインで、DTS (DTS) > データ同期を選択します。
4. データ同期タスクの右側で、データ同期タスクを作成するリージョンを選択します。
説明
- 実行する必要がある実際の手順は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、シンプルモードとDMS コンソールのレイアウトとスタイルのカスタマイズを参照してください。
- 新しい DTS コンソールのデータ同期タスクページに移動することもできます。

タスクの作成をクリックして、タスク設定ページに移動します。

オプション：ページの右上隅にある新バージョンの設定ページを試してみるをクリックします。
説明
- ページの右上隅に旧バージョンの設定ページに戻るボタンが表示されている場合は、この手順をスキップしてください。
- 設定ページの新バージョンと旧バージョンでは、特定のパラメータが異なる場合があります。新しいバージョンの設定ページを使用することをお勧めします。

ソースデータベースと同期先データベースを設定します。次の表にパラメータを示します。

セクション	パラメータ	説明
該当なし	タスク名	DTS タスクの名前。DTS はタスク名を自動的に生成します。タスクを簡単に識別できる説明的な名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
移行元データベース	既存の DMS データベースインスタンスを選択します。(任意です。DMS データベースインスタンスが未登録の場合は、このオプションを無視して、以下のセクションでデータベース設定を行ってください。)	使用するデータベース。ビジネス要件に基づいて、既存のデータベースを使用するかどうかを選択できます。既存のデータベースを選択すると、DTS はデータベースのパラメータを自動的に入力します。既存のデータベースを選択しない場合は、次のデータベース情報を設定する必要があります。
	データベースタイプ	ソースデータベースのタイプ。PolarDB-X 2.0 を選択します。
	アクセス方法	ソースデータベースのアクセス方法。Alibaba Cloud インスタンスを選択します。
	インスタンスのリージョン	PolarDB-X 2.0 インスタンスが存在するリージョン。
	Alibaba Cloud アカウント間でデータを複製	Alibaba Cloud アカウント間でデータを同期するかどうかを指定します。この例では、×が選択されています。Alibaba Cloud アカウント間でのデータ同期の詳細については、Alibaba Cloud アカウント間で DTS タスクを設定するを参照してください。
	インスタンス ID	ソース PolarDB-X 2.0 インスタンスの ID。
	データベースアカウント	ソース PolarDB-X 2.0 インスタンスのデータベースアカウント。データベースアカウントには、同期するオブジェクトに対して SELECT、REPLICATION SLAVE、REPLICATION CLIENT 操作を実行するための権限が必要です。説明データベースアカウントに必要な権限を付与する方法については、データベースアカウントの管理とデータを同期するためにアカウントに必要な権限を参照してください。
	データベースのパスワード	データベースへのアクセスに使用するパスワード。
移行先データベース	既存の DMS データベースインスタンスを選択します。(任意です。DMS データベースインスタンスが未登録の場合は、このオプションを無視して、以下のセクションでデータベース設定を行ってください。)	使用するデータベース。ビジネス要件に基づいて、既存のデータベースを使用するかどうかを選択できます。既存のデータベースを選択すると、DTS はデータベースのパラメータを自動的に入力します。既存のデータベースを選択しない場合は、次のデータベース情報を設定する必要があります。
	データベースタイプ	同期先データベースのタイプ。Tablestore を選択します。
	アクセス方法	同期先データベースのアクセス方法。Alibaba Cloud インスタンスを選択します。
	インスタンスのリージョン	同期先の Tablestore インスタンスが存在するリージョン。
	インスタンス ID	同期先の Tablestore インスタンスの ID。
	Alibaba Cloud アカウントの AccessKey ID	同期先の Tablestore インスタンスが属する Alibaba Cloud アカウントの AccessKey ID。重要 RAMユーザーのAccessKey IDを入力する場合は、AliyunOTSFullAccessポリシーをRAMユーザーにアタッチする必要があります。AliyunOTSFullAccessポリシーは、RAMユーザーにTablestoreを管理するための権限を付与します。詳細については、RAMポリシーを使用してRAMユーザーに権限を付与するを参照してください。
	Alibaba Cloud アカウントの AccessKey Secret	同期先の Tablestore インスタンスが属する Alibaba Cloud アカウントの AccessKey シークレット。

ページの下部にある接続テストと続行をクリックします。
ソースまたは同期先データベースが ApsaraDB RDS for MySQL や ApsaraDB for MongoDB インスタンスなどの Alibaba Cloud データベースインスタンスの場合、DTS は DTS サーバーの CIDR ブロックをインスタンスのホワイトリストに自動的に追加します。ソースまたは同期先データベースが Elastic Compute Service (ECS) インスタンスでホストされているセルフマネージドデータベースの場合、DTS は DTS サーバーの CIDR ブロックを ECS インスタンスのセキュリティグループルールに自動的に追加します。ECS インスタンスがデータベースにアクセスできることを確認する必要があります。データベースが複数の ECS インスタンスにデプロイされている場合は、DTS サーバーの CIDR ブロックを各 ECS インスタンスのセキュリティグループルールに手動で追加する必要があります。ソースまたは同期先データベースがデータセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供されているセルフマネージドデータベースの場合は、DTS サーバーの CIDR ブロックをデータベースのホワイトリストに手動で追加して、DTS がデータベースにアクセスできるようにする必要があります。詳細については、DTS サーバーの CIDR ブロックを追加するトピックの「DTS サーバーの CIDR ブロック」セクションを参照してください。
警告
DTS サーバーのパブリック CIDR ブロックがデータベースインスタンスのホワイトリストまたは ECS インスタンスのセキュリティグループルールに自動または手動で追加されると、セキュリティリスクが発生する可能性があります。したがって、DTS を使用してデータを同期する前に、潜在的なリスクを理解し、認識し、予防措置を講じる必要があります。これには、ユーザー名とパスワードのセキュリティ強化、公開されているポートの制限、API 呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェックと不正な CIDR ブロックの禁止、Express Connect、VPN ゲートウェイ、またはスマートアクセスゲートウェイを使用したデータベースインスタンスの DTS への接続などが含まれますが、これらに限定されません。

データ同期タスクで同期するオブジェクトを設定します。

オブジェクト設定ページで、同期するオブジェクトを設定します。次の表にパラメータを示します。

パラメータ	説明
同期タイプ	同期タイプ。デフォルトでは、増分データ同期が選択されています。スキーマ同期とフルデータ同期も選択する必要があります。事前チェックが完了すると、DTS は選択したオブジェクトの履歴データをソースデータベースから同期先クラスターに同期します。履歴データは、後続の増分同期の基礎となります。
競合するテーブルの処理モード	エラーの事前チェックと報告：同期先データベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。ソースデータベースと同期先データベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格です。それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。説明ソースデータベースと同期先データベースに同じ名前のテーブルが含まれており、同期先データベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、同期先データベースに同期されるテーブルの名前を変更できます。詳細については、オブジェクト名をマッピングするを参照してください。エラーを無視して続行：ソースデータベースと同期先データベースの同じテーブル名の事前チェックをスキップします。警告エラーを無視して続行を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。ソースデータベースと同期先データベースのスキーマが同じで、同期先データベースのデータレコードのプライマリキー値または一意キー値がソースデータベースのデータレコードと同じである場合：フルデータ同期中、DTS はデータレコードを同期先データベースに同期しません。同期先データベースの既存のデータレコードは保持されます。増分データ同期中、DTS はデータレコードを同期先データベースに同期します。同期先データベースの既存のデータレコードは上書きされます。ソースデータベースと同期先データベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。この場合、一部のカラムのみが同期されるか、データ同期タスクが失敗します。慎重に進んでください。
操作タイプ	同期する操作のタイプ。ビジネス要件に基づいて、同期する操作タイプを選択します。デフォルトでは、すべての操作タイプが選択されています。
ダーティデータの処理ポリシー	データ書き込みエラーを処理するための処理ポリシー。有効な値：スキップブロック
データ書き込みモード	データが書き込まれるモード。有効な値：行の上書き：UpdateRowChange 操作を実行して、Tablestore インスタンスの行を上書きします。行の更新：PutRowChange 操作を実行して、Tablestore インスタンスの行を更新します。
一括書き込みモード	複数のデータ行を同時に Tablestore インスタンスに書き込むために使用される操作。有効な値： BulkImportRequest：データはオフラインで書き込まれます。 BatchWriteRowRequest：複数のデータ行が同時に書き込まれます。説明読み取りと書き込みの効率を高め、Tablestore インスタンスの使用コストを削減するには、BulkImportRequest を選択することをお勧めします。
詳細	詳細をクリックすると、ビジネス要件に基づいて次のパラメータを設定できます。キューサイズ：Tablestore インスタンスにデータを書き込むためのキューの長さ。スレッド数：Tablestore インスタンスにデータを書き込むためのコールバックスレッドの数。並行数：Tablestore インスタンスの最大同時スレッド数。バケット：増分データを順番に同時に書き込むことができるバケットの数。同時書き込み機能を向上させるには、このパラメータを大きな値に設定します。説明バケットパラメータの値は、並行数パラメータの値以下である必要があります。
移行先インスタンスでのオブジェクト名の大文字化	同期先インスタンスのデータベース名、テーブル名、カラム名の大文字と小文字の区別。デフォルトでは、DTS デフォルトポリシーが選択されています。他のオプションを選択して、オブジェクト名の大文字と小文字の区別がソースデータベースまたは同期先データベースと一致するようにすることができます。詳細については、同期先インスタンスのオブジェクト名の大文字と小文字の区別を指定するを参照してください。
ソースオブジェクト	ソースオブジェクトセクションから 1 つ以上のオブジェクトを選択し、アイコンをクリックして、選択中のオブジェクトセクションにオブジェクトを追加します。説明同期するオブジェクトとしてテーブルまたはデータベースを選択できます。同期するオブジェクトとしてテーブルを選択した場合、DTS はビュー、トリガー、ストアドプロシージャなどの他のオブジェクトを同期先データベースに同期しません。同期するオブジェクトとして、1 つのデータベースまたは同じデータベース内の複数のテーブルのみを選択できます。
選択中のオブジェクト	同期先インスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクトセクションでオブジェクトを右クリックします。詳細については、オブジェクト名をマッピングするトピックの「単一オブジェクトの名前をマッピングする」セクションを参照してください。複数のオブジェクトの名前を一度に変更するには、選択中のオブジェクトセクションの右上隅にある一括編集をクリックします。詳細については、オブジェクト名をマッピングするトピックの「一度に複数のオブジェクト名をマッピングする」セクションを参照してください。説明データベース名マッピング機能はサポートされていません。同期するオブジェクトとしてテーブルを選択した場合にのみ、オブジェクト名マッピング機能を使用してテーブルとカラムの名前を変更できます。オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトが同期されない場合があります。カラム名マッピング機能を使用して、同期先の Tablestore インスタンスの対応するカラムのデータ型を変更できます。 WHERE 条件を指定してデータをフィルタリングするには、選択中のオブジェクトセクションでテーブルを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、フィルター条件を指定するを参照してください。

次へ：詳細設定をクリックして、詳細設定を行います。次の表にパラメータを示します。

パラメータ	説明
タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、専用クラスターを指定しない場合、DTS はタスクを共有クラスターにスケジュールします。データ同期タスクの安定性を向上させるには、専用クラスターを購入します。詳細については、DTS 専用クラスターとはを参照してください。
失敗した接続の再試行時間	接続失敗時の再試行時間の範囲。データ同期タスクの開始後にソースデータベースまたは同期先データベースへの接続に失敗した場合、DTS は指定された時間範囲内で直ちに接続を再試行します。有効な値：10 ～ 1440。単位：分。デフォルト値：720。このパラメータを 30 より大きい値に設定することをお勧めします。DTS が指定された時間範囲内にソースデータベースと同期先データベースに再接続すると、DTS はデータ同期タスクを再開します。それ以外の場合、データ同期タスクは失敗します。説明同じソースデータベースまたは同期先データベースを持つ複数のデータ同期タスクに異なる再試行時間の範囲を指定した場合、最も短い再試行時間の範囲が優先されます。 DTS が接続を再試行すると、DTS インスタンスの料金が発生します。ビジネス要件に基づいて再試行時間の範囲を指定することをお勧めします。また、ソースインスタンスと同期先インスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間の範囲。たとえば、データ同期タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は指定された時間範囲内で直ちに操作を再試行します。有効な値：1 ～ 1440。単位：分。デフォルト値：10。このパラメータを 10 より大きい値に設定することをお勧めします。失敗した操作が指定された時間範囲内で正常に実行されると、DTS はデータ同期タスクを再開します。それ以外の場合、データ同期タスクは失敗します。重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。パラメータの値は、失敗した接続の再試行時間パラメータの値よりも小さくなければなりません。
完全移行率を制限するかどうか	フルデータ同期中、DTS はソースデータベースと同期先データベースの読み取りリソースと書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。フルデータ同期タスクの1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、1 秒あたりの完全移行データ量 (MB) BPS パラメータを設定して、同期先データベースサーバーの負荷を軽減できます。説明このパラメータは、同期タイプパラメータで完全データ同期が選択されている場合にのみ表示されます。
増分同期率を制限するかどうか	増分データ同期の調整を有効にするかどうかを指定します。ビジネス要件に基づいて、増分データ同期の調整を有効にすることができます。調整を設定するには、1 秒あたりの増分同期の行数 RPS パラメータと1 秒あたりの増分同期データ量 (MB) BPS パラメータを設定する必要があります。これにより、同期先データベースサーバーの負荷が軽減されます。
環境タグ	DTS インスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、このパラメータを設定する必要はありません。
ETL の設定	抽出、変換、ロード (ETL) 機能はサポートされていません。この場合、×が選択されています。
順方向および逆方向タスクのハートビートテーブル sql を削除	DTS インスタンスの実行中に、ハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。有効な値：はい：ハートビートテーブルに対する SQL 操作を書き込みません。この場合、DTS インスタンスのレイテンシが表示される場合があります。いいえ：ハートビートテーブルに対する SQL 操作を書き込みます。この場合、ソースデータベースの物理バックアップやクローニングなどの機能が影響を受ける可能性があります。
監視アラート	データ同期タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合、または同期レイテンシが指定されたしきい値を超えた場合、アラートの連絡先に通知が送信されます。有効な値：いいえ：アラートを有効にしません。はい：アラートを設定します。この場合、アラートのしきい値とアラート通知設定も設定する必要があります。詳細については、監視とアラートの設定トピックの「DTS タスクの作成時に監視とアラートを設定する」セクションを参照してください。

次：データベースおよびテーブルのフィールド設定をクリックします。表示される注意ダイアログボックスで、OK をクリックします。
デフォルトでは、ソーステーブルを Tablestore インスタンスに同期するときに、ソーステーブルのプライマリキーカラムが DTS によってプライマリキー列の追加パラメータの値として選択されます。プライマリキーカラムパラメータを変更するには、定義ステータスパラメータをすべてに設定します。
説明
ドロップダウンリストからプライマリキー列の追加パラメータに複数のカラムを選択して、複合プライマリキーを生成できます。

ページの下部にある次へ：タスク設定の保存と事前チェックをクリックします。
- 関連する API 操作を呼び出してデータ同期タスクを設定するときに必要なパラメータを表示するには、次：タスク設定の保存と事前チェックにポインターを移動し、OpenAPI パラメーターのプレビューをクリックします。
- パラメータを表示する必要がない場合、またはすでに表示している場合は、ページの下部にある次：タスク設定の保存と事前チェックをクリックします。
説明
- データ同期タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後でのみ、データ同期タスクを開始できます。
- データ同期タスクが事前チェックに失敗した場合は、失敗した各項目の横にある詳細の表示をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。次に、事前チェックを再実行します。
- 事前チェック中に項目に対してアラートが生成された場合は、シナリオに基づいて次の操作を実行します。
  アラート項目を無視できない場合は、失敗した項目の横にある詳細の表示をクリックして、問題をトラブルシューティングします。次に、事前チェックを再実行します。
  アラート項目を無視できる場合は、アラート詳細の確認をクリックします。[詳細の表示] ダイアログボックスで、無視をクリックします。表示されるメッセージで、OK をクリックします。次に、再チェックをクリックして、事前チェックを再実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
成功率が100% になるまで待ちます。次に、次へ：インスタンスの購入をクリックします。

インスタンスを購入します。

インスタンスの購入ページで、データ同期インスタンスの課金方法とインスタンスクラスパラメータを設定します。次の表にパラメータを示します。

セクション	パラメータ	説明
新しいインスタンスクラス	課金方法	サブスクリプション：データ同期インスタンスを作成するときにサブスクリプション料金を支払います。サブスクリプション課金方法は、長期間の使用では従量課金方法よりも費用対効果が高くなります。従量課金：データ同期インスタンスの料金は、時間単位で従量課金方法に基づいて課金されます。従量課金方法は、短期間の使用に適しています。従量課金データ同期インスタンスが不要になった場合は、インスタンスを解放してコストを削減できます。
	リソースグループ設定	データ同期インスタンスが属するリソースグループ。デフォルト値：デフォルトリソースグループ。詳細については、リソース管理とはを参照してください。
	インスタンスクラス	DTS は、同期速度が異なるインスタンスクラスを提供します。ビジネス要件に基づいてインスタンスクラスを選択できます。詳細については、データ同期インスタンスのインスタンスクラスを参照してください。
	サブスクリプション期間	サブスクリプション課金方法を選択した場合は、サブスクリプション期間と作成するデータ同期インスタンスの数を指定します。サブスクリプション期間は、1 ～ 9 か月、1 年、2 年、3 年、または 5 年にすることができます。説明このパラメータは、サブスクリプション課金方法を選択した場合にのみ使用できます。

データ伝送サービス (従量課金) サービス規約を読んで選択します。
購入して開始をクリックします。表示されるメッセージで、OK をクリックします。

結果を確認します。
1. Tablestore コンソールにログインします。
2. 上部のナビゲーションバーで、Tablestore インスタンスが存在するリージョンとインスタンスが属するリソースグループを選択します。
3. 概要ページで、Tablestore インスタンスの名前をクリックするか、アクションカラムのインスタンスの管理をクリックします。
4. インスタンスの詳細タブで、テーブルタブをクリックして、同期したテーブルをクエリします。