Q: 変更追跡はどのように機能しますか。
A: 変更追跡の仕組みについては、「アーキテクチャと機能」をご参照ください。
Q: 変更追跡インスタンスではどのようなデータを追跡でき、どのような情報を取得できますか。
追跡対象オブジェクトのスキーマレベルの変更 (作成、削除、変更) と、これらのオブジェクトに対するデータ更新 (INSERT、DELETE、UPDATE 操作) を追跡できます。
説明一部のデータベースをソースとして使用する場合、データ更新のみを追跡できます。
Q: 変更追跡タスクの期限が切れた後、コンシューマーグループは削除されますか。
A: Data Transmission Service (DTS) の変更追跡インスタンスの期限が切れると、データコンシューマーグループは 7 日間保持されます。期限切れから 7 日以内にインスタンスが更新されない場合、インスタンスはリリースされ、対応するコンシューマーグループは削除されます。
Q: 読み取り専用インスタンスを変更追跡タスクのソースインスタンスとして使用できますか。
2 つのケースがあります。
インスタンスがトランザクションログを記録する読み取り専用インスタンス (ApsaraDB RDS for MySQL 5.7 または 8.0 インスタンスなど) である場合は、ソースインスタンスとして使用できます。
インスタンスがトランザクションログを記録しない読み取り専用インスタンス (ApsaraDB RDS for MySQL 5.6 インスタンスなど) である場合は、ソースインスタンスとして使用できません。
Q: 追跡データを消費するにはどうすればよいですか。
A: 詳細については、「追跡データの消費」をご参照ください。
Q: 変更追跡機能を使用してデータを転送すると、日付形式が変更されるのはなぜですか。
A: DTS の日付値のデフォルトのストレージ形式は YYYY:MM:DD です。YYYY-MM-DD は表示形式にすぎず、実際のストレージ形式は YYYY:MM:DD です。したがって、転送中にデータがどの形式で書き込まれたかに関係なく、最終的にはデフォルトの形式に変換されます。
Q: 変更追跡タスクの問題をトラブルシューティングするにはどうすればよいですか。
A: 変更追跡タスクのトラブルシューティング方法については、「変更追跡タスクに関する問題のトラブルシューティング」をご参照ください。
Q: SDK が通常のデータダウンロード中に突然一時停止し、データを追跡できなくなりました。この問題を解決するにはどうすればよいですか。
A: SDK コードが ackAsConsumed メソッドを呼び出してコンシューマーオフセットを報告するかどうかを確認してください。ackAsConsumed が呼び出されてオフセットが報告されない場合、SDK 内で設定されたレコードキャッシュはクリアされません。キャッシュが完全に占有されると、新しいデータをプルできなくなり、SDK が一時停止してデータの追跡が停止します。
Q: SDK を再起動した後、データを正常に追跡できません。この問題を解決するにはどうすればよいですか。
A: SDK を起動する前に、コンシューマーオフセットがデータ範囲内に収まるように変更してください。コンシューマーオフセットの変更方法については、「消費チェックポイントの保存とクエリ」をご参照ください。
Q: クライアントは、どの時点からデータを消費するかをどのように指定しますか。
A: 追跡データを消費するときは、initCheckpoint パラメーターを設定して時点を指定します。詳細については、「SDK サンプルコードを使用したサブスクリプションデータの消費」をご参照ください。
Q: DTS の変更追跡タスクにデータが蓄積されています。オフセットをリセットするにはどうすればよいですか。
SDK クライアントの使用モードに基づいて、対応するコードファイルを開きます。たとえば、DTSConsumerAssignDemo.java や DTSConsumerSubscribeDemo.java などです。
説明詳細については、「SDK サンプルコードを使用したサブスクリプションデータの消費」をご参照ください。
変更追跡タスクリストの データ範囲 列で、対象の変更追跡インスタンスの変更可能なオフセット範囲を確認します。
実際のニーズに基づいて新しいコンシューマーオフセットを選択し、UNIX タイムスタンプに変換します。
コードファイルで、古いコンシューマーオフセット (initCheckpoint パラメーター) を新しいコンシューマーオフセットに置き換えます。
クライアントを再起動します。
Q: クライアントが VPC エンドポイントを介して変更追跡タスクに接続できません。この問題を解決するにはどうすればよいですか。
A: クライアントが実行されているマシンが、変更追跡タスクの設定時に指定した VPC に存在しない可能性があります (たとえば、クライアント VPC が変更された場合など) 。タスクを再設定する必要があります。
Q: コンソールに表示されるコンシューマーオフセットが、データ範囲の最大値より大きいのはなぜですか。
A: 変更追跡チャネルのデータ範囲は 1 分ごとに更新されますが、コンシューマーオフセットは 10 秒ごとに更新されます。したがって、データがリアルタイムで消費される場合、コンシューマーオフセットの値は、変更追跡チャネルのデータ範囲の最大値より大きくなることがあります。
Q: DTS は、SDK によって追跡されるデータが完全なトランザクションであることをどのように保証しますか。
A: 提供されたコンシューマーオフセットに基づいて、DTS サーバーはオフセットに対応する完全なトランザクションを検索し、トランザクションの BEGIN ステートメントから下流にデータを配信します。したがって、完全なトランザクションコンテンツを受信します。
Q: データが正常に消費されていることを確認するにはどうすればよいですか。
A: データが正常に消費されると、Data Transmission Service コンソールのコンシューマーオフセットが期待どおりに進みます。
Q: 変更追跡 SDK の usePublicIp=true は何を意味しますか。
A: 変更追跡 SDK で usePublicIp=true を設定することは、SDK がインターネット経由で DTS 変更追跡チャネルにアクセスすることを意味します。
Q: 変更追跡タスクのソース RDS インスタンスでプライマリ/セカンダリ スイッチオーバーまたはプライマリデータベースの再起動が発生した場合、業務に影響はありますか。
A: ApsaraDB RDS for MySQL、ApsaraDB RDS for PostgreSQL、PolarDB for MySQL、PolarDB for PostgreSQL、または PolarDB-X 1.0 (RDS MySQL ストレージタイプ) インスタンスでプライマリ/セカンダリ スイッチオーバーまたは再起動が発生した場合、DTS は自動的にスイッチオーバーに適応し、業務に影響はありません。
Q: ApsaraDB RDS は、オンプレミスサーバーへの binlog の自動ダウンロードをサポートしていますか。
A: DTS 変更追跡は、ApsaraDB RDS の binlog のリアルタイム追跡をサポートしています。DTS 変更追跡サービスをアクティブ化し、DTS SDK を使用して ApsaraDB RDS の binlog データを追跡し、データをリアルタイムでオンプレミスサーバーに同期できます。
Q: 変更追跡によって追跡されるリアルタイムの増分データには、新しく追加されたデータのみが含まれますか、それとも変更されたデータも含まれますか。
A: DTS 変更追跡が追跡できる増分データには、すべての挿入、削除、更新、およびスキーマ変更 (DDL) が含まれます。
Q: 変更追跡タスクのコンシューマー側のレコードが ACK されていません。SDK を再起動した後に重複データを受信するのはなぜですか。
A: SDK に ACK されていないメッセージがある場合、サーバーはバッファ内のすべてのメッセージをプッシュし続けます。プッシュが完了すると、SDK はそれ以上メッセージを受信できなくなります。この時点で、サーバーに保存されているコンシューマーオフセットは、ACK されていないメッセージの前の最後のメッセージのオフセットです。SDK が再起動すると、メッセージが失われないようにするために、サーバーは ACK されていないメッセージの前のメッセージに対応するオフセットからデータのプッシュを再度開始します。したがって、SDK はいくつかの重複したメッセージを受信します。
Q: 変更追跡のコンシューマーオフセットはどのくらいの頻度で更新されますか。SDK を再起動した後に重複データを受信することがあるのはなぜですか。
A: 変更追跡 SDK が各メッセージを消費した後、ackAsConsumed を呼び出してサーバーに ACK を送信する必要があります。サーバーが ACK を受信すると、メモリ内のコンシューマーオフセットが更新され、10 秒ごとにオフセットが永続化されます。最新の ACK が永続化される前に SDK が再起動されると、サーバーは以前に永続化されたコンシューマーオフセットからメッセージのプッシュを開始して、メッセージが失われないようにします。その結果、SDK は重複したメッセージを受信します。
Q: 1 つの変更追跡インスタンスで複数の RDS インスタンスを追跡できますか。
A: いいえ。現在、1 つの変更追跡インスタンスで追跡できる RDS インスタンスは 1 つだけです。
Q: 変更追跡インスタンスでデータの不整合が発生する可能性はありますか。
A: いいえ。変更追跡タスクは、ソースデータベースからの変更を取得するだけで、データの不整合は発生しません。クライアントによって消費されたデータが期待と一致しない場合は、お客様側で問題をトラブルシューティングしてください。
Q: 追跡データを消費するときに表示される UserRecordGenerator メッセージを処理するにはどうすればよいですか。
A: 追跡データを消費するときに、
UserRecordGenerator: haven't receive records from generator for 5sのようなメッセージが表示された場合は、コンシューマーオフセットが増分データ収集モジュールのオフセット範囲内にあるかどうかを確認し、コンシューマーが正常に実行されていることを確認してください。Q: トピックは複数のパーティションをサポートしていますか。
A: いいえ。グローバルなメッセージの順序を保証するために、各変更追跡トピックには 1 つのパーティションしかなく、これは固定でパーティション 0 に割り当てられます。
Q: 変更追跡 SDK は Go をサポートしていますか。
A: はい。サンプルコードについては、「dts-subscribe-demo」をご参照ください。
Q: 変更追跡 SDK は Python をサポートしていますか。
A: はい。サンプルコードについては、「dts-subscribe-demo」をご参照ください。
Q: flink-dts-connector は、追跡データのマルチスレッド同時消費をサポートしていますか。
A: いいえ。
Q: 変更追跡インスタンスのコンシューマーグループのユーザー名またはパスワードを忘れた場合はどうすればよいですか。
A: 業務上許容される場合は、コンシューマーグループを削除してから、新しいコンシューマーグループを作成できます (元のユーザー名と新しいパスワードを使用) 。
Q: 変更追跡タスクとデータ同期タスクの両方を同じ RDS インスタンスに設定できますか。
A: はい。両方のタスクを同時に設定しても、互いに影響はありません。変更追跡とデータ同期は 2 つの独立したタスクタイプであり、同じ RDS インスタンス上で干渉することなく共存できます。