Data Transmission Service (DTS) で変更追跡タスクを作成し、PolarDB-X 1.0 インスタンスからリアルタイムのデータ変更を取得します。
仕組み
DTS は、PolarDB-X 1.0 インスタンスにアタッチされた ApsaraDB RDS for MySQL インスタンスのバイナリログを読み取ることで、データ変更を取得します。PolarDB-X 1.0 はデータを複数の ApsaraDB RDS for MySQL インスタンスに分散するため、DTS は各アタッチ済みインスタンスに対してサブタスクを実行します。これらの RDS インスタンスにおけるバイナリログ設定は、変更追跡タスクの起動および正常な稼働に直接影響します。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
ストレージタイプが ApsaraDB RDS for MySQL（カスタム構成の ApsaraDB RDS インスタンスまたは購入済みのもの）である PolarDB-X 1.0 インスタンス。PolarDB for MySQL はストレージタイプとして使用できません。
アタッチ済みの ApsaraDB RDS for MySQL インスタンスがクラシックネットワークを使用している場合、その内部エンドポイントが設定されていること。
変更追跡インスタンス用の Virtual Private Cloud (VPC) および vSwitch。
各アタッチ済みの ApsaraDB RDS for MySQL インスタンスでバイナリログ機能が有効化されており、
binlog_row_imageがfullに設定され、バイナリログの保持期間が 24 時間を超えること。詳細については、「PolarDB-X 1.0 インスタンスの作成」および「データベースの作成」をご参照ください。
binlog_row_image=full が設定されていないと、事前チェックが失敗し、タスクを開始できません。また、バイナリログの保持期間が 24 時間未満の場合、DTS がログを読み取れず、タスクの失敗やデータ損失を引き起こす可能性があります。これらの設定ミスによる障害は、DTS の SLA の対象外となります。
制限事項
ソースデータベース
| 制限事項 | 詳細 |
|---|---|
| プライマリキーまたは一意制約が必要 | ソーステーブルには、すべてのフィールドが一意となるプライマリキーまたは一意制約が必要です。これらがない場合、DTS が重複した変更を追跡する可能性があります。一意制約のみを持つテーブルでは、スキーマ更新はサポートされません。完全な機能を利用するには、プライマリキーを持つテーブルをご利用ください。 |
| 1 タスクあたり最大 500 テーブル | 1 タスクで 500 を超えるテーブルを追跡すると、リクエストエラーが発生します。テーブルを複数のタスクに分割するか、代わりにデータベース全体を追跡してください。 |
| バイナリログに関する要件 | バイナリログ機能は有効化されている必要があります。binlog_row_image は full に設定する必要があります。また、バイナリログの保持期間は 24 時間を超える必要があります。 |
| 読み取り専用または一時インスタンス | インスタンスはトランザクションログを記録する必要があります。 |
その他の制限事項
| 制限事項 | 詳細 |
|---|---|
| テーブル単位でのみ追跡可能 | 変更追跡はテーブル単位のみサポートされており、カラム単位または行単位での追跡はできません。 |
| 構成後のオブジェクト変更不可 | タスクの構成後に、追跡対象のオブジェクトを再選択することはできません。追加のテーブルを追跡する場合は、新しいタスクを作成してください。 |
| 実行中のプライマリ/セカンダリ スイッチオーバー不可 | タスク実行中にプライマリ/セカンダリ スイッチオーバーが発生した場合、タスクは失敗します。 |
| 実行中のスケーリングおよび DDL 操作不可 | タスク実行中は、ソースインスタンスのスケールイン／スケールアウト、頻繁にアクセスされるテーブルの移行、シャードの変更、DDL 操作を行わないでください。これらの操作はタスクの失敗またはデータの不整合を引き起こす可能性があります。 |
| 同時実行タスクによるノイズ発生の可能性 | ソースデータベースが別の実行中のタスク（例：データ移行タスク）で使用されている場合、DTS が選択範囲外のオブジェクトからのデータ変更を追跡する可能性があります。変更追跡クライアント側で、追跡対象データを手動でフィルタリングしてください。 |
| FLOAT／DOUBLE 型の精度 | DTS は FLOAT および DOUBLE 型のカラムから値を読み取る際に ROUND(COLUMN,PRECISION) 関数を使用します。デフォルト精度：FLOAT は 38 桁、DOUBLE は 308 桁です。これらのデフォルト値が要件を満たすかご確認ください。 |
| pt-online-schema-change はサポートされない | DTS は pt-online-schema-change を使用した DDL 操作を追跡しません。このため、消費されたデータを送信先テーブルに書き込む際にスキーマの競合が発生する可能性があります。 |
| シャーディングによる重複 DDL 操作 | PolarDB-X 1.0 は DDL 操作をすべてのテーブルシャードに適用します。サブタスクの進行状況にばらつきがあるため、追跡されたデータに重複した DDL 操作が含まれる可能性があります。例外を回避するために、変更追跡クライアント側で適切に処理してください。 |
変更追跡タスクの作成
ステップ 1：変更追跡タスクページへ移動
Data Management (DMS) コンソール にログインします。
上部のナビゲーションバーで、DTS をクリックします。
左側のナビゲーションウィンドウで、DTS (DTS) ＞ 変更追跡 を選択します。
DMS コンソールにログイン後、右上隅の [シンプルモードへ移行] アイコンをクリックすると、左上隅のアイコンにポインターを合わせて、すべての機能 ＞ DTS ＞ 変更追跡 を選択できます。また、新しい DTS コンソール を直接ご利用いただくことも可能です。
ステップ 2：リージョンの選択とタスクの作成
変更追跡タスク の右側で、タスクを作成するリージョンを選択します。
新しい DTS コンソールでは、[変更追跡タスク] ページの [Workbench] 右側のドロップダウンリストからリージョンを選択します。
タスクの作成 をクリックします。
ソースデータベースを指定した後、次の手順に進む前に、ページ上部に表示される 使用制限 を必ずご確認ください。この手順を省略すると、タスクが失敗したり、追跡されたデータが消費されなくなる可能性があります。
ステップ 3：ソースデータベースおよびコンシューマーネットワークの構成
以下のパラメーターを設定します。既存のデータベース接続テンプレートをお持ちの場合は、既存のデータベース接続を選択 から該当テンプレートを選択すると、DTS がパラメーターを自動的に入力します。
ソースデータベース
| パラメーター | 説明 |
|---|---|
| タスク名 | 変更追跡タスクの名前です。DTS が自動的に名前を割り当てます。タスクを容易に識別できるよう、意味のある名前を指定してください。名前は一意である必要はありません。 |
| データベースタイプ | PolarDB-X 1.0 を選択します。 |
| アクセス方法 | Alibaba Cloud インスタンス を選択します。 |
| インスタンスリージョン | PolarDB-X 1.0 インスタンスが配置されているリージョンです。 |
| インスタンス ID | PolarDB-X 1.0 インスタンスの ID です。 |
| データベースアカウント | PolarDB-X 1.0 インスタンス用のデータベースアカウントです。追跡対象のオブジェクトに対して読み取り権限を持つ必要があります。 |
| データベースパスワード | データベースアカウントのパスワードです。 |
| インスタンスとして保存またはテンプレートを編集 | 既存の接続を使用しない場合は、インスタンスとして保存 をクリックして、この接続を再利用可能なテンプレートとして保存します。既存の接続を選択した場合は、テンプレートを編集 をクリックして名前を変更します。テンプレートへの変更は、次回そのテンプレートを選択した際に有効になりますが、現在設定済みのインスタンスには影響しません。 |
消費者ネットワークタイプ
| パラメーター | 説明 |
|---|---|
| ネットワークタイプ | 固定値：VPC。変更追跡インスタンス用の VPC および vSwitch を選択します。コンシューマークライアントが VPC 内にある場合は、ネットワーク遅延を最小限に抑えるため、同じ VPC および vSwitch を選択してください。この設定はタスク構成後に変更できません。 |
VPC について詳しくは、「VPC」をご参照ください。
ステップ 4：接続性のテストと続行
接続性のテストと続行 をクリックします。
DTS は、そのサーバーの CIDR ブロックを、Alibaba Cloud データベースインスタンス (ApsaraDB RDS for MySQL など) のホワイトリスト、または ECS でホストされているデータベースのセキュリティグループルールに自動的に追加します。 データセンターまたはサードパーティのクラウド環境にある自己管理データベースの場合は、CIDR ブロックを手動で追加します。 詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。
DTS サーバーの CIDR ブロックをホワイトリストまたはセキュリティグループに追加すると、セキュリティリスクが発生する可能性があります。続行する前に、認証情報の強化、公開ポートの制限、API 呼び出しの認証、ホワイトリストルールの定期的な監査などの予防措置を講じてください。データベースと DTS の接続には、Express Connect、VPN Gateway、または Smart Access Gateway を使用してプライベートネットワーク経由で接続することも検討してください。
ステップ 5：追跡対象オブジェクトおよび高度な設定の構成
基本設定
| パラメーター | 説明 |
|---|---|
| データ変更タイプ | データ更新：選択したオブジェクトに対する INSERT、DELETE、UPDATE 操作を追跡します。スキーマ更新：ソースインスタンス内のすべてのオブジェクトスキーマに対する作成、削除、変更操作を追跡します。変更追跡クライアントで関連する変更をフィルタリングしてください。 |
| ソースオブジェクト | ソースオブジェクト セクションからオブジェクトを選択し、 をクリックして 選択済みオブジェクト に移動します。追跡はテーブルレベルでのみ実行されます。タスクの設定後は、オブジェクトを再選択できません。 |
高度な設定
| パラメーター | 説明 |
|---|---|
| モニタリングとアラート | タスクが失敗した場合や遅延がしきい値を超えた場合にアラートを受信するには、[Yes] を選択します。アラートのしきい値および通知設定を構成してください。詳細については、「DTS タスク作成時のモニタリングとアラートの設定」をご参照ください。[No] を選択すると、アラート機能が無効になります。 |
| 接続失敗時の再試行時間 | DTS が接続失敗後に再試行を行う時間範囲（分単位）です。有効値：10～1440。デフォルト値：720。この値は少なくとも 30 分以上に設定してください。この時間枠内に DTS が再接続できれば、タスクは自動的に再開されます。それ以外の場合は、タスクは失敗します。複数のタスクが同じソースインスタンスを共有している場合、すべてのタスクの中で最も短い再試行時間が優先されます。再試行中も課金されますので、ソースインスタンスが不要になった場合は、速やかに DTS インスタンスをリリースしてください。 |
ステップ 6：事前チェックの実行
次へ：タスク設定の保存と事前チェック をクリックします。DTS はタスク開始前に事前チェックを実行します。
チェック項目のいずれかが失敗した場合は、詳細の表示 をクリックして問題を修正し、その後 再チェック をクリックします。
無視可能な警告が生成された場合は、警告の詳細の確認 ＞ 無視 ＞ OK をクリックし、その後 再チェック をクリックします。警告を無視すると、データの不整合が発生する可能性があります。
保存前の基盤となる API 呼び出しパラメーターを確認するには、次へ：タスク設定の保存と事前チェック にポインターを合わせて、OpenAPI パラメーターのプレビュー をクリックします。
ステップ 7：変更追跡インスタンスの購入
成功率 が 100% に達するまで待ち、その後 次へ：インスタンスの購入 をクリックします。
購入 ページで、課金設定を構成します。
| パラメーター | 説明 |
|---|---|
| 課金方法 | サブスクリプション：前払いです。長期間のご利用に適しており、期間が長いほど料金が安くなります。従量課金：時間単位で課金されます。短期間のニーズに適しています。不要になったインスタンスはリリースすることで、不要な料金の発生を防ぐことができます。 |
| リソースグループの設定 | インスタンスが属するリソースグループです。デフォルト：デフォルトのリソースグループResource Management とは。詳細については、「」をご参照ください。 |
| サブスクリプション期間 | サブスクリプションの課金方法でのみ利用可能です。オプション：1～9 か月、または 1 年、2 年、3 年、5 年。 |
「[Data Transmission Service（従量課金）サービス利用規約]」を読み、選択してから、[購入して開始] をクリックします。
タスクはタスクリストに表示されます。サブタスクの進捗は [タスク トポロジ] ページで監視します。DTS は、アタッチされた ApsaraDB RDS for MySQL インスタンスごとに 1 つのサブタスクを作成します。
次のステップ
変更追跡タスクが開始された後は、コンシューマーグループを作成して、追跡されたデータの消費を開始します。
コンシューマーグループの作成および管理：「コンシューマーグループの作成」
以下のいずれかの方法で、追跡されたデータを消費します。
「PolarDB-X 1.0 インスタンスから追跡されたデータを SDK デモコードで消費するPolarDB-X 1.0PolarDB-X 1.0」