Q: データ同期または移行タスクの実行中にターゲットデータベースのデータを変更すると、どのような影響がありますか?
A:Data Transmission Service (DTS) は、リレーショナルデータベース管理システム (RDBMS)、NoSQL データベース、オンライン分析処理 (OLAP) データベースなど、さまざまなデータソース間のデータ同期をサポートしています。サポートされているデータベースインスタンスについては、「データ同期シナリオ」をご参照ください。
Q: データ同期または移行タスクが実行中に、ソースデータベースとターゲットデータベースに同時にデータを書き込むことはできますか?
A: はい。ただし、DTS インスタンスの実行中に、DTS 以外のデータソースがターゲットデータベースにデータを書き込むと、ターゲットデータベースのデータまたは DTS インスタンスで例外が発生する可能性があります。
Q: DTS は、サンプリングデータ同期または時間範囲を指定した移行をサポートしていますか?
A: いいえ。
Q: データの同期または移行時に、ターゲットデータベースに手動でテーブルを作成する必要がありますか?
A: スキーマタスクをサポートする DTS インスタンス (スキーマ同期またはスキーマ移行) では、スキーマタスク (同期タイプ で スキーマ同期 を選択、または 移行タイプ で スキーマ移行 を選択) を設定した場合、ターゲットデータベースに手動でテーブルを作成する必要はありません。
Q: データの同期または移行時に、ソースデータベースとターゲットデータベースはネットワーク経由で接続されている必要がありますか?
A: いいえ。
Q: 同期または移行タスクの ETL 機能を API を使用して設定するには、どうすればよいですか?
A: etlOperatorCtl や etlOperatorSetting などの共通パラメーターを使用して、API の Reserve パラメーターで設定できます。詳細については、「ConfigureDtsJob」および「Reserve パラメーターリファレンス」をご参照ください。
Q:DTS の同期または移行が終了した後、ソースデータベースのデータは保持されますか?
A: はい。DTS はソースデータベースのデータを削除しません。ソースデータベースのデータが不要な場合は、手動で削除してください。
Q: 同期または移行インスタンスの実行中に、レートを調整できますか?
A: はい。詳細については、「データ移行の速度制限を有効にする」をご参照ください。
Q: 増分同期エラーは、パケットが大きすぎるか、送信先の max_allowed_packet の値が不十分であることを示しています。この問題を解決するにはどうすればよいですか?
A:同じキーを持つデータは上書きされます。DTS は事前チェック段階で送信先をチェックします。送信先が空でない場合、エラーが報告されます。
Q:同期タスクが数時間中断されており、送信先で MDL ロックが発生していると思われます。どのように解決すればよいですか?
A:はい。マッピング機能を使用して同期する必要のない列をフィルタリングしたり、SQL WHERE 条件を指定して同期するデータをフィルタリングしたりできます。詳細については、「特定の列を同期または移行する」および「SQL 条件でタスクデータをフィルタリングする」をご参照ください。
Q: 増分同期のエラーで、ターゲットデータベースに一時テーブルが存在しない、または SELECT INTO の競合が発生したことが示されます。この問題を解決するにはどうすればよいですか?
A:いいえ。異なる種類のタスクを相互に変換することはできません。
Q: DTS をデータ同期または移行に使用する場合、送信先の既存のデータは上書きされますか?
A:はい。同期タスクを設定する際に、スキーマ同期 を選択しないでください。
Q:データ同期インスタンスのソースとターゲットでデータが不整合になる原因として、どのようなものが考えられますか?
データの不整合の原因として、以下の可能性が考えられます:
タスクを設定する際に、送信先をクリアしなかったため、送信先に既存のデータが含まれていました。
タスクを設定する際に、増分同期モジュールのみを選択し、完全同期モジュールを選択しませんでした。
タスクを設定する際に、完全同期モジュールのみを選択し、増分同期モジュールを選択しなかったため、タスク終了後にソースデータが変更されました。
DTS タスクによって書き込まれたデータ以外のデータが送信先に書き込まれました。
増分書き込みが遅延し、すべての増分データが送信先に書き込まれていません。
Q:データ同期タスクで、ターゲットデータベース内のソースデータベースの名前を変更できますか?
A:はい。ターゲットデータベース内のソースデータベースの名前を変更する方法については、「ターゲットインスタンスで同期されたオブジェクトの名前を変更する」をご参照ください。
Q:DTS は DML または DDL 操作のリアルタイム同期をサポートしていますか?
はい。リレーショナルデータベース間のデータ同期では、サポートされる DML 操作は INSERT、UPDATE、DELETE であり、サポートされる DDL 操作は CREATE、DROP、ALTER、RENAME、TRUNCATE です。
説明サポートされる DML および DDL 操作はシナリオによって異なります。「データ同期シナリオ」で、ご利用のビジネスシナリオに一致する同期リンクを選択し、特定のリンクの構成ガイドでサポートされる DML および DDL 操作をご確認ください。
Q:読み取り専用インスタンスを同期タスクのソースインスタンスとして使用できますか?
同期タスクにはデフォルトで増分データ同期が含まれます。そのため、以下の 2 つのシナリオが適用されます:
インスタンスがトランザクションログを記録する読み取り専用インスタンス (例:ApsaraDB RDS for MySQL 5.7 または 8.0) である場合、ソースインスタンスとして使用できます。
インスタンスがトランザクションログを記録しない読み取り専用インスタンス (例:ApsaraDB RDS for MySQL 5.6) である場合、ソースインスタンスとして使用できません。
Q:DTS はシャーディングされたデータベースとテーブルのデータ同期をサポートしていますか?
A:はい。たとえば、MySQL または PolarDB for MySQL のシャーディングされたデータベースとテーブルを AnalyticDB for MySQL に同期して、複数のテーブルをマージできます。
Q:同期タスクが終了した後、ターゲットインスタンスのデータ量がソースインスタンスよりも少ないのはなぜですか?
A:同期中にデータがフィルタリングされた場合、またはソースインスタンスのテーブルに多くのフラグメントが含まれている場合、移行完了後にターゲットインスタンスのデータ量がソースインスタンスよりも少なくなることがあります。
Q:アカウント間のデータ同期タスクは双方向同期をサポートしていますか?
A:現在、アカウント間の双方向同期タスクは、ApsaraDB RDS for MySQL インスタンス間、PolarDB for MySQL クラスター間、Tair (Enterprise Edition) インスタンス間、ApsaraDB for MongoDB (レプリカセットアーキテクチャ) インスタンス間、および ApsaraDB for MongoDB (シャードクラスターアーキテクチャ) インスタンス間でのみサポートされています。
Q:DTS はクロスボーダー双方向同期タスクをサポートしていますか?
A:いいえ。
Q:双方向同期タスクで、一方のデータベースに追加したレコードがもう一方のデータベースに表示されないのはなぜですか?
A: 逆方向タスクが設定されていない可能性があります。
Q:増分同期タスクの進捗が 100% にならないのはなぜですか?
A:DTS の増分同期は、ソースからターゲットへの変更をリアルタイムで継続的に複製し、自動的に終了することはありません。そのため、100% の完了状態は存在しません。リアルタイム同期が不要になった場合は、DTS コンソールでタスクを終了してください。
Q:増分同期タスクがデータを同期できないのはなぜですか?
A:DTS インスタンスに増分同期のみが設定されている場合、DTS はタスク開始後に生成された増分データのみを同期します。タスク開始前に存在するデータはターゲットデータベースに同期されません。データ整合性を確保するため、タスクを設定する際には 増分データ同期、スキーマ同期、および 完全データ同期 を選択することを推奨します。
Q:RDS データベースから完全データを同期すると、ソース RDS データベースのパフォーマンスに影響しますか?
はい。ソースデータベースのクエリパフォーマンスに影響します。以下の 3 つの方法のいずれかを使用して、DTS タスクがソースデータベースに与える影響を軽減できます:
ソースデータベースインスタンスの仕様をアップグレードします。
DTS タスクを一時停止し、ソースデータベースの負荷が低いときに再起動します。
DTS タスクのレートを下げます。「完全移行レートの調整」をご参照ください。
Q:DTS は MySQL から ClickHouse への同期をサポートしていますか?
A:DTS で MySQL データベースから ClickHouse クラスターにデータを同期する機能は提供終了となりました。すでにこの機能を購入されているお客様は影響を受けません。この機能を新規に購入する場合は、ApsaraDB for ClickHouse の製品ドキュメントを参照し、「ApsaraDB RDS for MySQL からデータを同期する」トピックに従って MySQL から ClickHouse への同期を設定してください。
Q:ソースデータベースが PolarDB-X 1.0 の同期インスタンスで遅延が表示されないのはなぜですか?
A:ソースデータベースが PolarDB-X 1.0 のインスタンスは分散タスクですが、DTS が監視するメトリックはサブタスクにしか存在しません。そのため、ソースが PolarDB-X 1.0 のインスタンスでは遅延情報が表示されません。遅延情報を表示するには、インスタンス ID をクリックし、インスタンスの タスク管理 > サブタスクの詳細 に移動してください。
Q:複数テーブルマージタスクで DTS-071001 エラーが報告されるのはなぜですか?
A:これは、複数テーブルマージタスクの実行中にソースデータベースでオンライン DDL 操作が実行され、ソーステーブルのスキーマが変更されたにもかかわらず、対応する変更がターゲットデータベースに手動で適用されなかったことが原因である可能性があります。
Q:以前のコンソールでタスクを設定する際にホワイトリストの追加に失敗した場合はどうすればよいですか?
A:新しいコンソールでタスクを設定してください。
Q:ソースデータベースで DDL 操作が実行されたために DTS データ同期タスクが失敗した場合はどうすればよいですか?
A:ソースで実行された DDL 操作に基づいて、ターゲットで手動で DDL 操作を実行し、タスクを再起動してください。データ同期中は、pt-online-schema-change などのツールを使用して、ソースデータベースの同期オブジェクトに対してオンライン DDL 変更を実行しないでください。実行すると、同期が失敗します。DTS によって書き込まれたデータ以外のデータがターゲットデータベースに書き込まれていない場合は、Data Management (DMS) を使用してオンライン DDL 変更を実行するか、同期オブジェクトを変更して DDL の影響を受けるテーブルを削除できます。テーブルを削除する手順については、「同期オブジェクトの削除」をご参照ください。
Q:ターゲットデータベースで DDL 操作が実行されたために DTS データ同期タスクが失敗した場合はどうすればよいですか?
DTS による増分同期中にターゲットのデータベースまたはテーブルが削除され、タスクが異常になった場合、以下の 2 つのソリューションのいずれかを使用してタスクを回復できます:
ソリューション 1:タスクを再設定し、タスクの失敗原因となったデータベースまたはテーブルを同期オブジェクトとして選択しないでください。
ソリューション 2:同期オブジェクトを変更し、タスクの失敗原因となったデータベースまたはテーブルを削除します。手順については、「同期オブジェクトの削除」をご参照ください。
Q:リリースされた同期タスクは回復できますか?タスクを再設定することでデータ整合性を確保できますか?
A:リリースされた同期タスクは回復できません。タスクを再設定する際に 完全データ同期 を選択しない場合、タスクのリリースから新しいタスクの開始までの期間に追加されたデータはターゲットデータベースに同期できず、データ整合性を確保できません。ビジネスで厳密なデータ精度が要求される場合は、ターゲットデータベースからデータを削除し、同期タスクを再設定して、タスクのステージ で スキーマ同期 と 完全データ同期 の両方を選択します (増分データ同期 はデフォルトで選択されています)。
Q:DTS の完全同期タスクが長時間進捗しない場合はどうすればよいですか?
A:同期するテーブルにプライマリキーがない場合、完全同期は非常に遅くなります。同期する前に、ソースデータベースのテーブルにプライマリキーを追加することを推奨します。
Q:同じ名前のテーブルを同期する場合、ソーステーブルのデータはターゲットテーブルに存在しない場合にのみ転送できますか?
A:はい。タスクを設定する際に、競合するテーブルの処理モード を エラーを無視して続行 に設定します。スキーマが一致している場合、完全同期中に、ターゲットがソースと同じプライマリキー値を持つレコードを検出すると、ソースのレコードはターゲットに同期されません。
Q:アカウント間同期タスクを設定するにはどうすればよいですか?
A:まず、「アカウント間タスクのシナリオ」を決定し、次にデータベースインスタンスを所有する Alibaba Cloud アカウントを使用して「アカウント間 DTS タスクの RAM 認可を設定」し、その後「アカウント間 DTS タスクを設定」します。
Q:DMS LogicDB インスタンスを選択できない場合はどうすればよいですか?
A:インスタンスが属する正しいリージョンを選択していることを確認してください。それでもインスタンスを選択できない場合は、利用可能なインスタンスが 1 つしかない可能性があります。他のパラメーターの設定を続けてください。
Q:ソースとして SQL Server を使用する同期タスクは、関数の同期をサポートしていますか?
A:いいえ。同期オブジェクトの粒度としてテーブルが選択されている場合、ビュー、トリガー、ストアドプロシージャなどの他のオブジェクトはターゲットデータベースに同期されません。
Q:データ同期タスクでエラーが報告された場合はどうすればよいですか?
A:エラーメッセージに基づいて、「一般的なエラーの概要」で解決策をご確認ください。
Q:同期タスクのホットスポットマージを有効にするにはどうすればよいですか?
A:「パラメーター値の変更」を参照して、trans.hot.merge.enable の値を true に変更してください。
Q:ソースデータベースにトリガーが含まれている場合、どのように同期を実行すればよいですか?
A:データベース全体が同期オブジェクトとして選択され、データベース内のトリガーがデータベース内のテーブルを更新する場合、ソースデータベースとターゲットデータベースの間でデータの不整合が発生する可能性があります。同期手順については、「トリガーを持つソースデータベースのタスクを設定する」をご参照ください。
Q:DTS は sys データベースとシステムデータベースの同期をサポートしていますか?
A:いいえ。
Q:DTS は MongoDB の admin および local データベースの同期をサポートしていますか?
A:いいえ。DTS は、MongoDB の admin および local データベースをソースまたはターゲットデータベースとしてサポートしていません。
Q:双方向同期タスクの逆方向タスクはいつ設定できますか?
A:双方向同期タスクの逆方向タスクは、順方向増分タスクに遅延がなくなった後にのみ設定できます。
Q:PolarDB-X 1.0 が同期タスクのソースである場合、ソースの PolarDB-X 1.0 はノードのスケーリングをサポートしていますか?
A:いいえ。ソースの PolarDB-X 1.0 がノードをスケールアップまたはスケールダウンする場合、タスクを再設定する必要があります。
Q:DTS は Kafka に同期されるデータの一意性を保証できますか?
A:いいえ。データは Kafka に追加されるため、DTS タスクの再起動時やソースログが複数回プルされた場合に重複データが発生する可能性があります。DTS はデータのべき等性を保証します。データは順序付けられ、重複データの最新の値が最後に配置されます。
Q:DTS データ同期は、ApsaraDB RDS for MySQL から他の送信先への同期をサポートしていますか?
A:はい。設定手順については、「ApsaraDB RDS for MySQL から AnalyticDB for MySQL 3.0 にデータを同期する」をご参照ください。
Q:Redis インスタンス間の同期タスクで完全同期が表示されないのはなぜですか?
A:Redis インスタンス間の同期は、完全データ同期と増分データ同期の両方をサポートしています。2 つの段階は結合され、増分データ同期 として表示されます。
Q:完全同期をスキップできますか?
A:はい。完全同期をスキップした後も増分同期は続行されますが、エラーが発生する可能性があります。完全同期をスキップしないことを推奨します。
Q:DTS は定期的な自動同期をサポートしていますか?
A:DTS は現在、データ同期タスクの定期的な開始をサポートしていません。
Q:テーブル内の断片化されたスペースも同期中に同期されますか?
A:いいえ。
Q:MySQL 8.0 から MySQL 5.6 にデータを同期する際に知っておくべきことは何ですか?
A:同期を実行する前に、MySQL 5.6 でデータベースを作成する必要があります。互換性を確保するために、ソースデータベースとターゲットデータベースのバージョンを同じにするか、下位バージョンから上位バージョンに同期することを推奨します。上位バージョンから下位バージョンに同期すると、データベースの互換性の問題が発生する可能性があります。
Q:ソースデータベースからターゲットデータベースにアカウントを同期できますか?
A:現在、アカウント同期をサポートしているのは、ApsaraDB RDS for MySQL インスタンス間の同期タスクのみです。他の同期タスクはこの機能をサポートしていません。
Q:アカウント間の双方向同期タスクを設定できますか?
現在、アカウント間の双方向同期タスクは、ApsaraDB RDS for MySQL インスタンス間、PolarDB for MySQL クラスター間、Tair (Enterprise Edition) インスタンス間、ApsaraDB for MongoDB (レプリカセットアーキテクチャ) インスタンス間、および ApsaraDB for MongoDB (シャードクラスターアーキテクチャ) インスタンス間でのみサポートされています。
説明Alibaba Cloud アカウント間でデータを複製 設定オプションがないタスクについては、Cloud Enterprise Network (CEN) を使用してアカウント間の双方向同期タスクを実装できる場合があります。詳細については、「アカウントまたはリージョンをまたいでデータベースにアクセスする」をご参照ください。
Q:ApsaraMQ for Kafka が送信先の場合、どのようにパラメーターを設定すればよいですか?
A:実際のシナリオに基づいてパラメーターを設定してください。一部の特殊なパラメーターの設定方法については、「Kafka インスタンスのパラメーターを設定する」をご参照ください。
Q:無料で試用できるデータ同期インスタンスはいくつですか?
A:1 つの同期インスタンスを 3 か月間無料で試用できます。詳細については、「Alibaba Cloud 無料トライアル」をご参照ください。
Q:DTS を使用して Redis データを同期または移行する際に「ERR invalid DB index」エラーが発生した場合、どうすればよいですか?
原因:
ERR invalid DB indexエラーは、ターゲットデータベースがSELECT DB操作を実行するときに発生します。これは通常、ターゲットデータベースのdatabasesの数が不足していることが原因です。ターゲットデータベースがプロキシを使用している場合は、プロキシがdatabasesの数の制限を解除できるかどうかを確認してください。ソリューション:ターゲットデータベースの
databases構成を変更します。ソースデータベースの値と一致するように値を増やすことを推奨します。その後、DTS タスクを再起動します。ターゲットデータベースのdatabases構成をクエリするコマンドは次のとおりです:CONFIG GET databases;Q:SQL Server から AnalyticDB for PostgreSQL にデータを同期または移行する際に「IDENTIFIER CLUSTERED」エラーが発生した場合、どうすればよいですか?
A:
原因:SQL Server のデータを AnalyticDB for PostgreSQL に同期または移行する際に、
CREATE CLUSTERED INDEXコマンドがサポートされていないため、タスクが進行できません。ソリューション:遅延期間中に他の DDL コマンドが存在しないことを確認した後、「インスタンスパラメーターの変更」で
sink.ignore.failed.ddlを true に設定します (すべての DDL 文の実行をフィルタリングするため)。増分同期または移行のチェックポイントが進んだ後、sink.ignore.failed.ddlを false に戻します。Q:Redis の同期または移行タスクで、ターゲットデータベースのキーの有効期限を延長することに実際の効果はありますか?
A:
完全データ同期中にキーが有効期限切れになるのを防ぐため、タスクでターゲットデータベースのキーの有効期限を延長できます。増分同期または移行部分を含む DTS タスクの場合、ソースデータベースのキーが有効期限切れになり削除されると、ターゲットデータベースの対応するキーも解放されます。
Q:ターゲットデータベースのキーの有効期限が延長された後、ソースデータベースのキーが有効期限切れになった場合、ターゲットデータベースの対応するキーはすぐに解放されますか?
A:
ターゲットデータベースのキーは、有効期限が切れても必ずしもすぐに解放されるわけではありません。ターゲットデータベースのキーがすぐに解放されるのは、ソースデータベースの対応するキーが有効期限切れになり、クリーンアップされた場合のみです。
たとえば、ソースデータベースのキーが 5 秒で有効期限切れに設定され、ターゲットデータベースの対応するキーの有効期限が 30 秒に延長された場合、ソースキーが 5 秒後に有効期限切れになり自動的にクリーンアップされると、ターゲットキーはすぐに解放されます。ソースデータベースのキーが有効期限切れになり自動的にクリーンアップされると、システムは AOF ファイルに削除操作を追加します。このリクエストはターゲットデータベースに同期され、そこで実行されます。
Q:DTS を使用して SelectDB にデータを同期する際に「column_name[xxx], the length of input string is too long than vec schema」エラーが発生した場合、どうすればよいですか?
原因:ソースの xxx 列の増分サイズが、ターゲットの xxx 列の型の上限を超えました。
ソリューション:列が
STRING型の場合、SelectDB コンソールで string_type_length_soft_limit_bytes パラメーターを増やすことで問題を解決できます。このパラメーターは実際の長さ(7,241,898) よりも大きい値に設定する必要があります。
Q:DTS を使用して SelectDB にデータを同期する際に「column(xxx) values is null while columns is not nullable.」エラーが発生した場合、どうすればよいですか?
原因:ターゲットの xxx 列は
NOT NULLですが、NULL値が書き込まれています。ソリューション:
ターゲットの列の型を NULL 値を許可するように変更します。
同期オブジェクトを変更します:問題のあるテーブルを削除し、ソースデータを修正してから、ターゲットの対応するテーブルを削除します。再度同期オブジェクトを変更してテーブルを追加し直し、完全同期と増分同期を再実行します。
説明一般的なシナリオ:ソースに
0000-0000-0000のような無効な日付データが含まれている場合。DTS はこのようなデータを自動的にNULLに変換し、エラーをトリガーします。Q:誤って設定されたターゲットテーブル名マッピングを修正するにはどうすればよいですか?
A:DTS タスク設定ページの [選択されたオブジェクト] セクションで、ターゲットデータベースを展開し、マッピングが誤っているテーブルを見つけて、右側の [編集] ボタンをクリックします。表示されるダイアログボックスで、ターゲットテーブル名を正しい名前に変更し、変更を保存します。
Q:新しい列を追加した後、履歴データをバックフィルするにはどうすればよいですか?
DTS は新しく追加された列の履歴データを自動的にバックフィルしません。このルールは SelectDB だけでなく、すべてのターゲットデータベースタイプに適用されます。履歴データをバックフィルするには、次の手順を実行します:
ターゲットテーブルに新しい列を手動で追加します。
DTS コンソールで、同期オブジェクトを変更し、テーブルを同期オブジェクトから削除します。
データ整合性を確保する必要がある場合は、
TRUNCATEを実行してターゲットテーブルのデータをクリアします。テーブルを同期オブジェクトに再度追加して、完全データと増分データの同期をトリガーし、新しい列を含む履歴データをターゲットデータベースに移行します。
Q:DTS の増分同期タスクがテーブルスキーマの不一致によりエラーを報告した場合、DML 操作をまとめてスキップできますか?
DTS は DML 操作を直接まとめてスキップすることをサポートしていません。次の 2 つのソリューションのいずれかを使用できます:
ソリューション 1 (推奨):不足している DDL 文を追加して、ソースとターゲットのテーブルスキーマを一致させてから、タスクを再起動します。このソリューションではデータ損失は発生しません。
ソリューション 2:同期チェックポイントを変更して (たとえば、1 秒または 1 分の時間範囲をスキップ)、エラーの原因となった増分レコードをスキップします。
警告ソリューション 2 は、その時間範囲内のすべての DML 操作 (INSERT、UPDATE、DELETE を含む) をスキップするため、データ損失や不整合が発生する可能性があります。このソリューションを使用する前に、影響を慎重に評価してください。
Q:DTS 設定の「イベントの移行」オプションとは何ですか?どのように値を選択すればよいですか?
[イベントの移行] オプションは、ソースデータベースのイベントオブジェクトをターゲットデータベースに同期するかどうかを制御します。
いいえ (デフォルト):ソースデータベースのイベントオブジェクトは同期されません。ターゲットデータベースで定期的なイベントロジックを実行する必要がない場合は、デフォルト値のままにしてください。
はい:ソースデータベースのイベント定義とトリガーロジックがターゲットデータベースに同期されます。ソースデータベースのイベントスケジューリングをターゲットデータベースで完全に再現する必要がある場合は、このオプションを選択してください。
Q:同期オブジェクトを変更する際に、データの不整合やスキーマの非同期をどのように処理すればよいですか?
A:次のいずれかの問題が発生した場合、同期オブジェクトを削除して再追加することで解決できます:
ターゲットデータベースのデータがソースデータベースのデータと一致しない。
ソース側の DDL 変更 (列の追加や列の型の変更など) がターゲットに同期されない。
NULL 値を含む一意キーを持つテーブルが異常に同期される。
SQL 構文エラー (
near 'null'エラーなど)。
手順:
DTS タスクの同期オブジェクトを変更し、問題のあるテーブルを削除します。
ターゲットで、対応する問題のあるテーブルを削除 (
DROP TABLE) または空 (TRUNCATE TABLE) にします。DTS タスクの同期オブジェクトにテーブルを再度追加し、事前チェックを開始します。DTS はスキーマを再初期化し、テーブルに対して完全同期と増分同期を実行します。
Q:データ同期または移行タスクの実行中にターゲットデータベースのデータを変更すると、どのような影響がありますか?
ターゲットデータベースのデータを変更すると、DTS タスクが失敗する可能性があります。データ移行または同期中に、ターゲットデータベースで移行または同期中のオブジェクトに対して操作を実行すると、主キー競合や更新レコードの欠落などの問題が発生し、最終的に DTS タスクが失敗する可能性があります。ただし、DTS タスクを中断しない操作は実行できます。たとえば、ターゲットインスタンスにテーブルを作成してデータを書き込んでも、そのテーブルは移行または同期オブジェクトに含まれていないため、DTS タスクには影響しません。
DTS はソースインスタンスデータベースから情報を読み取り、その完全データ、スキーマデータ、増分データをターゲットインスタンスに移行または同期するため、タスク中にターゲットデータベースに加えられたデータ変更は、ソースデータベースから移行または同期されたデータによって上書きされる可能性があります。
Q:DTS を使用してデータ同期または移行を行う場合、ターゲットの既存データは上書きされますか?
A:データ同期を例にとると、DTS のデフォルトの動作と関連パラメーターは次のとおりです:
DTS のデフォルトの動作:同期タスクの実行中に主キーまたは一意キーの競合が発生した場合:
-
テーブルスキーマが同じで、ターゲットデータベースのレコードがソースデータベースのレコードと同じ主キーまたは一意キーの値を持つ場合:
-
完全同期中、DTS はターゲットクラスターのレコードを保持します。ソースデータベースの対応するレコードは同期されません。
-
増分同期中、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
-
-
テーブルスキーマが異なる場合、初期データ同期が失敗する可能性があります。これにより、一部の列データのみが同期されたり、同期が完全に失敗したりする可能性があります。注意して進めてください。
関連パラメーター:タスクを設定する際に、競合するテーブルの処理モード パラメーターを使用して、関連データの処理方法を管理できます。
-
エラーの事前チェックと報告:ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、事前チェックは成功します。同じ名前のテーブルが存在する場合、事前チェックは失敗し、データ同期タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、別のテーブル名にマッピングできます。詳細については、「テーブル名と列名のマッピング」をご参照ください。
-
エラーを無視して続行:ターゲットデータベースでの重複テーブル名のチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例:
-
テーブルスキーマが同じで、ターゲットデータベースのレコードがソースデータベースのレコードと同じ主キーまたは一意キーの値を持つ場合:
-
完全同期中、DTS はターゲットクラスターのレコードを保持します。ソースデータベースの対応するレコードは同期されません。
-
増分同期中、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
-
-
テーブルスキーマが異なる場合、初期データ同期が失敗する可能性があります。これにより、一部の列データのみが同期されたり、同期が完全に失敗したりする可能性があります。注意して進めてください。
-
推奨事項:データ整合性を確保するため、ビジネスで許容される場合は、DTS タスクを設定する前にターゲットテーブルを削除することを推奨します。
Q:増分同期エラーで、ターゲットデータベースに一時テーブルがない、または SELECT INTO の競合が発生したと表示されます。どうすれば解決できますか?
原因:
この問題は、実際にはターゲットデータベースに一時テーブルがないことが原因ではありません。代わりに、ソースデータベースで変更データキャプチャ (CDC) が有効になった後、DTS によって作成されたトリガーが
SELECT INTOによる暗黙的なテーブル作成を妨害し、データ同期中に競合が発生します。ソリューション:
ソースのトランザクションログファイルが存在し、破損していないことを確認します。
ソースデータベースの CDC 機能を無効にします。
DTS コンソールにログインし、同期タスクを再設定して、増分同期方法として [ソースデータベースのログを解析] を選択し、タスクを再起動します。
Q:同期タスクが数時間中断しており、ターゲットで MDL ロックが存在すると思われます。どうすれば解決できますか?
原因:
長時間実行される DDL 操作 (大きなテーブルへの列の追加やインデックスの再構築など) によって引き起こされるターゲットのメタデータロック (MDL ロック) が、DTS からの増分データ書き込みをブロックし、同期リンクが長時間中断されます。
ソリューション:
ApsaraDB RDS コンソールにログインし、ターゲットデータベースインスタンスに移動して
SHOW FULL PROCESSLISTを実行し、MDL ロックを保持している異常なセッションを特定します。その後、セッションを強制終了します。DTS コンソールにログインし、同期オブジェクトを変更して、MDL ロックの影響を受けるテーブルを同期範囲から削除します。
ターゲットデータベースのテーブルを削除します (この操作の前に、データがバックアップされているか、クリア可能であることを確認してください)。
DTS 同期タスクが正常に戻り、同期遅延がゼロになった後、同期オブジェクトを再度変更してテーブルを同期範囲に戻し、再移行を完了します。
Q:増分同期エラーで、パケットが大きすぎる、またはターゲットの max_allowed_packet 値が不足していると表示されます。どうすれば解決できますか?
原因:
ソースに大量のデータを含む行があり、増分同期中にターゲットの
max_allowed_packetパラメーターの制限を超え、同期エラーが発生します。ソリューション:
ソースデータベースにログインし、
max_allowed_packetパラメーターの現在の値をクエリします:SHOW VARIABLES LIKE 'max_allowed_packet';値 (例:
1073741824、これは 1 GB) を記録します。ApsaraDB RDS コンソール (またはターゲットが PolarDB for MySQL の場合は PolarDB コンソール) にログインします。ターゲットデータベースインスタンスの [パラメーター] ページで、
max_allowed_packetパラメーターをソースの値以上の値に設定します。パラメーターの変更が完了したら、DTS コンソールで同期タスクを再起動し、同期が正常に戻るかどうかを確認します。
Q:同期または移行インスタンスの実行後にレートを調整できますか?
A:はい。詳細については、「データ移行の速度制限を有効にする」をご参照ください。
Q:DTS の同期または移行が終了した後、ソースデータベースのデータは保持されますか?
A:はい。DTS はソースデータベースのデータを削除しません。ソースデータベースのデータを保持する必要がない場合は、手動で削除してください。
Q:API を使用して同期または移行タスクの ETL 機能を設定するにはどうすればよいですか?
A:API の Reserve パラメーターで、etlOperatorCtl や etlOperatorSetting などの共通パラメーターを使用して設定できます。詳細については、「ConfigureDtsJob」および「Reserve パラメーターリファレンス」をご参照ください。
Q:データを同期または移行する際、ソースデータベースとターゲットデータベースはネットワークで接続されている必要がありますか?
A:いいえ。
Q:データを同期または移行する際、ターゲットデータベースに手動でテーブルを作成する必要がありますか?
A:スキーマタスクをサポートする DTS インスタンス (スキーマ同期またはスキーマ移行) の場合、スキーマタスク (同期タイプ で スキーマ同期 を選択、または 移行タイプ で スキーマ移行 を選択) を設定している場合は、ターゲットデータベースに手動でテーブルを作成する必要はありません。
Q:DTS は時間範囲によるサンプリングデータ同期または移行をサポートしていますか?
A: いいえ。
Q:データ同期または移行タスクの実行中に、ソースデータベースとターゲットデータベースに同時にデータを書き込むことはできますか?
A:はい。ただし、DTS インスタンスの実行中に、DTS 以外のデータソースがターゲットデータベースにデータを書き込むと、ターゲットデータベースのデータまたは DTS インスタンスに例外が発生する可能性があります。
Q:DTS はアカウント間のデータ移行またはデータ同期をサポートしていますか?
A:はい。設定方法については、「アカウント間 DTS タスクを設定する」をご参照ください。