すべてのプロダクト
Search
ドキュメントセンター

DataWorks:リアルタイム同期に関するよくある質問

最終更新日:Aug 14, 2026

このトピックでは、リアルタイム同期に関するよくある質問にお答えします。

概要

カテゴリ

関連トピック

リアルタイム同期タスクの設定に関する注意事項

MySQL データのリアルタイム同期に関するよくある質問

MySQL のリアルタイム同期タスクが、最初はデータを読み取るものの、しばらくすると停止する場合の対処方法

Oracle、PolarDB、MySQL データのリアルタイム同期に関するよくある質問

Oracle、PolarDB、MySQL のリアルタイム同期タスクでエラーが繰り返し発生する

エラーメッセージと解決策

エラーメッセージと解決策

  • Kafka データのリアルタイム同期中のエラー:Startup mode for the consumer set to timestampOffset, but no begin timestamp was specified.

  • MySQL データのリアルタイム同期中のエラー:

    • Cannot replicate because the master purged required binary logs.

    • MySQLBinlogReaderException

    • show master status' has an error!

    • parse.exception.PositionNotFoundException: can't find start position forxxx

  • Hologres データのリアルタイム同期中のエラー:permission denied for database xxx

  • MaxCompute へのリアルタイム同期中のエラー:ODPS-0410051:invalid credentials-accessKeyid not found

  • Oracle へのリアルタイム同期中のエラー:logminer doesn't init, send HeartbeatRecord

リアルタイム同期タスクの設定に関する注意事項

リアルタイム同期ではどのデータソースがサポートされていますか?

リアルタイム同期でサポートされているデータソースについては、「サポートされているデータソース」をご参照ください。

リアルタイム同期タスクのレイテンシーが高いのはなぜですか?

リアルタイム同期タスクで生成されたテーブルをクエリしてもデータが同期されていない場合、タスクのレイテンシーが高いことが原因である可能性があります。オペレーションセンターの [リアルタイム同期タスク] ページに移動して、[ビジネスレイテンシー] の値が大きすぎないか確認できます。詳細については、「リアルタイム同期タスクにおける高レイテンシーの解決策」をご参照ください。

ビジネスレイテンシーが高い場合、考えられる原因は次のとおりです。

症状

原因

解決策

高い読み取りレイテンシー

ソースでの過剰なデータ変更。

レイテンシーの急激な増加は、ある時点でソースのデータ量が増加したことを示します。

ソースデータの更新が頻繁でデータ量が大きく、同期レイテンシーが高い場合は、次の対応が可能です。

  • タスク設定の変更:ソースデータベースで許可されている最大接続数の範囲内で、同期対象のデータベースまたはテーブルの数を総合的に評価し、リアルタイム同期の同時実行数を調整できます。

    説明

    同時実行数の上限は、現在のリソースグループがサポートする最大同時実行数です。リソースグループの仕様によって、サポートされる最大同時実行数やタスク数は異なります。詳細については、「リソースグループの仕様」をご参照ください。同時実行数を設定する際、ソースが RDS インスタンスの場合は、データベースで許可されている最大接続数に基づいて評価します。LogHub の場合は、シャードの数に基づいて同時実行数を設定します。

  • リソースグループ仕様のアップグレード:ソースのデータ量が増加した場合、または同期ソリューションタスクを再編集した場合 (タスクを単一のデータベースとテーブルの読み取りから複数のデータベースとテーブルの読み取りに変更した場合など) 、現在のリソースグループではデータ量を処理できない可能性があります。この場合、リソースグループの仕様をスケールアップできます。リソースグループの仕様を調整する方法の詳細については、「リソースグループの仕様を変更する」をご参照ください。

同期開始オフセットが早すぎる設定になっている。

開始オフセットが早すぎる場合、リアルタイム同期タスクはデータに追いつくための時間が必要です。

高い書き込みレイテンシー

宛先データベースのパフォーマンスと負荷の問題

データベースの負荷が高い場合、同期タスクの同時実行数を調整するだけでは問題は解決しません。データベース管理者に連絡して支援を依頼する必要があります。

読み取り側または書き込み側の高レイテンシー

パブリックネットワーク経由で同期すると、ネットワークの問題によってタスクのレイテンシーが発生することがあります。

パブリックネットワーク経由の同期では、リアルタイム同期の適時性を保証できません。ネットワーク接続をセットアップし、内部ネットワーク経由でデータを同期することを推奨します。

説明

パブリックネットワーク経由の同期には、ネットワークの不安定化、頻繁なパケット損失、同期パフォーマンスへの影響、セキュリティの低下といったリスクがあります。

ソースデータベースと宛先データベースの間に大きなパフォーマンスの差がある場合、またはデータベースの負荷が高い場合にも、高レイテンシーが発生する可能性があります。

データベースの負荷が高い場合、同期タスクの同時実行数を調整するだけでは問題は解決しません。データベース管理者に連絡して支援を依頼する必要があります。

リアルタイム同期タスクにパブリックネットワークの使用が推奨されないのはなぜですか?

リアルタイム同期タスクにパブリックネットワークを使用すると、次のようなリスクがあります。

  • ネットワークが不安定になったり、パケット損失が頻繁に発生したりすることで、同期パフォーマンスに影響が及ぶ可能性があります。

  • セキュリティが低下します。

リアルタイム同期における追加列

Data Integration が MySQL、Oracle、LogHub、または PolarDB から DataHub または Kafka へリアルタイムでデータを同期する際、メタデータ管理、ソート、重複排除、およびその他の操作のために、宛先に 5 つの追加列が追加されます。詳細については、「リアルタイム同期における追加列」をご参照ください。

リアルタイム同期は TRUNCATE 操作をどのように処理しますか?

リアルタイム同期は TRUNCATE 操作をサポートしており、増分同期および完全同期中に有効になります。TRUNCATE を無視することを選択した場合、リアルタイム同期中に余分なデータが現れる可能性があります。

リアルタイム同期の速度とパフォーマンスを向上させるにはどうすればよいですか?

書き込み速度が遅い場合は、書き込みの同時実行数を増やし、JVM パラメーターを調整できます。JVM パラメーターは同期されるデータベースの数とは関係なく、変更頻度に関連しています。現在のリソースグループのマシンが許す限り、割り当てるメモリが多いほど Full GC の頻度が低くなり、リアルタイム同期のパフォーマンスが向上します。[同時実行数] を 3 に設定します。タスクの [基本設定] パネルで、[JVM パラメーター] を -Xms8192m -Xmx8192m に設定します。

リアルタイム同期タスクはコンソールで実行できますか?

リアルタイム同期タスクは、DataWorks コンソールで直接実行することはできません。リアルタイム同期タスクを設定した後、リアルタイム同期ノードをコミットしてデプロイし、本番環境でノードを実行する必要があります。詳細については、「リアルタイム同期ノードのデプロイ」をご参照ください。

MySQL データソースを使用するとリアルタイム同期が遅くなるのはなぜですか?

1 つの理由として、処理するバイナリログの量が増加することが挙げられます。バイナリログはインスタンスレベルで生成されるため、同期タスクがテーブル A のみを同期するように設定されていても、テーブル B やテーブル C などの他のテーブルへの変更もバイナリログを生成します。これらの追加のバイナリログが、同期処理速度を低下させます。

リアルタイム同期で単一データベースと複数データベースを選択した場合にメモリ使用量が異なるのはなぜですか?

2 つ以上のデータベースを選択すると、タスクは「フルインスタンス」リアルタイム同期モードに入り、それぞれが単一のデータベースを同期する 2 つの別々のタスクよりも多くのリソースを消費します。

リアルタイム同期はどのような DDL ポリシーをサポートしていますか?

処理方法は次のとおりです:

通常の処理

無視

アラート

エラー

DDL メッセージは処理のために宛先データソースに転送されます。宛先データソースによって DDL メッセージの処理方法が異なる場合があります。

DDL メッセージは破棄され、宛先データソースでは何の処理も行われません。

DDL メッセージは破棄され、アラート通知が送信されます。

説明

リアルタイム同期タスクにアラートルールが設定されていない場合、対応するアラート通知は受信できません。

リアルタイム同期タスクはエラーとなり終了します。

説明

リアルタイム同期タスクにタスクステータスのアラートルールが設定されている場合、対応するアラート通知を受信できます。

DDL タイプのカテゴリ:

テーブルの作成

  • Hudi に書き込むリアルタイム同期タスクは、通常の処理をサポートします。

    説明

    新しく作成されたテーブルの名前がリアルタイム同期タスクに設定されたフィルター規則と一致する場合、対応するテーブルが宛先に作成されます。

  • シャード化されたリアルタイム同期タスクの場合、規則に一致する子テーブルが作成されると、その子テーブルのデータは宛先テーブルに同期されます。新しい宛先テーブルは作成されません。

  • 他のタスクタイプは通常の処理をサポートしていません。無視、アラート、またはエラーのみを選択できます。

テーブルの削除

  • シャード化されたリアルタイム同期タスクの場合、通常の処理がサポートされます。規則に一致する子テーブルが削除されると、削除された子テーブルのデータは同期されなくなりますが、宛先テーブルは削除されません。

  • 他のタスクタイプは通常の処理をサポートしていません。無視、アラート、またはエラーのみを選択できます。

列の追加

  • MaxCompute (ODPS)、Hologres、MySQL、Oracle、または ADB for MySQL に書き込むリアルタイム同期タスクは、通常の処理をサポートします。

    説明

    ソースに列を追加する場合、新しいフィールドをフィールドリストの末尾に追加することを推奨します。既存のフィールドの間に新しいフィールドを挿入すると、データ同期の例外を引き起こす可能性があるため、推奨されません。

  • 他のタスクタイプは通常の処理をサポートしていません。無視、アラート、またはエラーのみを選択できます。

列の削除

通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。

テーブル名の変更

通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。

列名の変更

通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。

列の型の変更

  • Hudi に書き込むリアルタイム同期タスクは、通常の処理をサポートします。詳細については、「スキーマエボリューション」をご参照ください。

  • 他のタスクタイプは通常の処理をサポートしていません。無視、アラート、またはエラーのみを選択できます。

テーブルの切り捨て

  • MaxCompute (ODPS)、Hologres、MySQL、Oracle、または ADB for MySQL に書き込むリアルタイム同期タスクは、通常の処理をサポートします。宛先テーブルのデータは切り捨てられます。

  • シャード化されたリアルタイム同期タスクの場合、子テーブルで TRUNCATE 操作が発生すると、その子テーブルのデータは宛先テーブルから削除されます。

  • 他のタスクタイプは通常の処理をサポートしていません。無視、アラート、またはエラーのみを選択できます。

宛先データソースへの書き込み時のソース DDL および DML 操作に関する考慮事項

  • ソースに列が追加され、DDL が宛先で正常に実行された後、次の制限が適用されます。

    • DEFAULT VALUE を持つ列が追加された後、宛先テーブルの新しい列には値がなく、NULL のままです。その後、ソースの追加された列に新しいデータが挿入されると、リアルタイム同期タスクはその新しいデータをその列に同期します。

    • VIRTUAL 列が追加された後、宛先テーブルの新しい列には値がなく、NULL のままです。その後、ソースの追加された列に新しいデータが挿入されると、リアルタイム同期タスクはその新しいデータをその列に同期します。

  • MySQL または PolarDB MySQL ソースからのリアルタイム同期では、ソースに列を追加する際に、列を末尾に追加することを推奨します。既存の列の間に列を追加しないでください。ソースで列の途中への追加が避けられない場合は、次の制約に注意してください。

    • 完全+増分ソリューションでは、完全同期フェーズ中に列を途中に追加しないでください。そうしないと、増分同期フェーズでデータに異常が発生します。

    • 増分同期フェーズ中に、同期チェックポイントのリセット時刻は、列を途中に追加した DDL イベントの後に設定する必要があります。そうしないと、後続の増分同期データが異常になる可能性があります。

  • データに異常が発生した場合は、完全データ初期化を再実行して (タスク内のすべてのテーブルを再初期化するのではなく、列が途中に追加されたテーブルのみを削除して再初期化するだけで十分です) 、正しいデータを復元できます。

Data Integration は、送信先テーブルを作成する際に、デフォルト値や非 NULL 制約などのプロパティを保持しますか?

送信先テーブルを作成する際、DataWorks はソーステーブルから列名、データの型、コメントのみを保持します。デフォルト値、制約 (非 NULL 制約やインデックスを含む) は保持しません。

PostgreSQL から読み取るリアルタイム同期タスクがフェイルオーバーした後にレイテンシーが高くなるのはなぜですか?

これは PostgreSQL データベース自体の特性です。レイテンシーが許容できない場合は、タスクを停止して再起動し、完全+増分データ同期を実行できます。

既存の同期タスクで完全同期を実行する方法

Data Integration で、タスクリストから対象の同期タスクを見つけ、[操作] 列で [その他] > [再実行] の順にクリックします。

DataWorks のリアルタイム同期タスクは、ダーティデータのしきい値 (errorLimit) の設定やダーティデータの無視をサポートしていますか?

リアルタイム同期タスクは、ダーティデータのしきい値 (errorLimit) の設定やダーティデータの無視をサポートしていません。同期中にダーティデータが検出されると、タスクはブロックされます。

代替の解決策:

  • リアルタイム同期タスクを、時間単位または分単位のスケジュールされたバッチ同期タスクに置き換えます。バッチ同期は、ダーティデータのしきい値の設定とダーティデータの無視をサポートしています。

  • リアルタイム同期パイプラインにデータ処理ノードを追加して、データをクレンジングおよびフィルタリングし、ダーティデータが宛先に到達するのを防ぎます。

  • タスクのエラーメッセージに基づいてソースデータを特定して修正し、ソースでダーティデータを排除します。

MySQL データのリアルタイム同期に関するよくある質問

MySQL データソースのリアルタイム同期で、初期読み取り後にデータが読み取られなくなる場合の対処方法

  1. データベースで次のコマンドを実行して、現在のデータベースインスタンスが書き込んでいるバイナリログファイルを確認します。

    show master status 
  2. ログで読み取られたバイナリログファイルを比較します。ログで journalName=MySQL-bin.000001,position=50 を検索して、データがデータベースに書き込まれているかどうかを確認します。

  3. データが書き込まれているにもかかわらずバイナリログが更新されない場合は、データベース管理者 (DBA) に連絡して支援を依頼してください。

Oracle、PolarDB、MySQL のリアルタイム同期に関するよくある質問

Oracle、PolarDB、または MySQL のリアルタイム同期タスクでエラーが繰り返し発生する

  • 症状:リアルタイム同期タスクでエラーが繰り返し発生します。

    リアルタイム同期タスクのソースが Oracle、PolarDB、または MySQL データソースの場合、ソースからの DDL メッセージはデフォルトでは処理されません。テーブル作成以外の DDL 変更が実行されると、リアルタイム同期タスクはエラーを出して終了します。チェックポイントベースのリカバリシナリオでは、ソースから新しい DDL メッセージが生成されない場合でも、同期タスクでエラーが発生することがあります。

    説明

    特定の期間中のデータ損失や順序の乱れを避けるため、Rename コマンドを使用して 2 つの列の名前を交換しないでください。たとえば、列 A と列 B の列名を交換することは許可されていません。

  • 原因:リアルタイム同期はチェックポイントベースのリカバリをサポートしています。データ損失を防ぐため、同期が再開されると、オフセットがロールバックされて一部のデータがリプレイされることがあります。このプロセスにより、以前に読み取られた DDL メッセージが再度処理され、アラートが再び発生する可能性があります。

  • 解決策:

    1. ソースで DDL の変更が行われた場合は、宛先データベースで対応する DDL の変更を手動で実行します。

    2. リアルタイム同期タスクを起動し、DDL メッセージ処理ポリシーを [エラー] から [無視] に変更します。

      説明

      チェックポイントベースの再開では、この DDL イベントが引き続きサブスクライブされるため、タスクが再度失敗するのを防ぐために、このイベントを一時的に無視するように設定します。

    3. リアルタイム同期タスクを停止し、DDL メッセージ処理ポリシーを [無視] から [エラー] に戻し、リアルタイム同期タスクを再開します。

エラーメッセージと解決策

Kafka のリアルタイム同期エラー: Startup mode for the consumer set to timestampOffset, but no begin timestamp was specified.

開始オフセットをリセットします。タスクの [開始] ダイアログボックスで、[オフセットのリセット] オプションを見つけ、[オフセットのリセット] チェックボックスを選択してこの機能を有効にします。

Data Integration の [オフセットのリセット] 機能は、データ同期の開始位置をリセットするために使用されます。特定の時点またはデータ位置から同期を再開する必要がある場合に、この機能を使用できます。たとえば、データ同期中にエラーが発生した場合や、データの一部を再同期する必要がある場合に、オフセットをリセットすることで、指定した位置から同期を再開し、データの整合性と完全性を確保できます。

MySQL のリアルタイム同期エラー:Cannot replicate because the master purged required binary logs.

MySQL のリアルタイム同期エラー:Cannot replicate because the master purged required binary logs. Replicate the missing transactions from elsewhere, or provision a new slave from backup.。このエラーは、消費オフセットのバイナリログレコードが MySQL で見つからないために発生する可能性があります。MySQL インスタンスのバイナリログ保持期間を確認し、同期タスクを開始する際にオフセットがこの時間範囲内に設定されていることを確認してください。

バイナリログをサブスクライブできない場合は、オフセットを現在の時刻にリセットしてみてください。

MySQL のリアルタイム同期エラー:MySQLBinlogReaderException

MySQL のリアルタイム同期エラー:MySQLBinlogReaderException: The database you are currently syncing is the standby database, but the current value of log_slave_updates is OFF, you need to enable the binlog log update of the standby database first. 。このエラーは、スタンバイデータベースでバイナリログが有効になっていないために発生する可能性があります。スタンバイデータベースからデータを同期したい場合は、スタンバイデータベースでカスケードバイナリログを有効にする必要があります。データベース管理者 (DBA) に連絡して支援を依頼してください。

バイナリログを有効にする方法の詳細については、「ステップ 3: MySQL バイナリログを有効にする」をご参照ください。

MySQL のリアルタイム同期エラー:show master status' has an error!

MySQL のリアルタイム同期エラー:show master status' has an error!。エラーの詳細は Caused by: java.io.IOException: message=Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation, with command: show master status です。このエラーは、データソースに必要なデータベース権限がないために発生する可能性があります。

データソースに設定されたアカウントには、データベースに対する SELECT、REPLICATION SLAVE、および REPLICATION CLIENT 権限が必要です。データソースに必要な権限を付与する方法の詳細については、「ステップ 2: アカウントの作成と権限の設定」をご参照ください。

MySQL のリアルタイム同期エラー:parse.exception.PositionNotFoundException: can't find start position forxxx

同期がオフセットを見つけられません。オフセットをリセットしてください。

MySQL のリアルタイム同期エラー:Can't get position by timestamp

考えられる原因:指定された同期開始時刻に対応するバイナリログが、ソースデータベースによってパージ (削除) されました。バイナリログがパージされると、リアルタイム同期タスクはその時点に基づいてオフセットを取得できなくなり、このエラーが発生します。

解決策:[データソース設定] ページで、MySQL データソースの [OSS Binlog 読み取りをサポート] 機能を有効にします。この機能を有効にすると、同期タスクは OSS ログバックアップからパージされたバイナリログを読み取ることができ、ローカルのバイナリログの有効期限切れによる同期の中断を防ぐことができます。

この機能は RDS MySQL データソースでのみサポートされており、RDS インスタンスは DataWorks ワークスペースと同じリージョンにある必要があります。

PolarDB のリアルタイム同期エラー:The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first

Hologres へのリアルタイム同期におけるエラー:permission denied for database xxx

リアルタイムで Hologres にデータを同期する場合、現在の操作ユーザーに Hologres インスタンスに対する admin 権限 (スキーマを作成する権限が必要) を付与する必要があります。詳細については、「Hologres の権限を管理する」をご参照ください。

MaxCompute へのリアルタイム同期におけるエラー:ODPS-0410051:invalid credentials-accessKeyid not found

MaxCompute データソースにリアルタイムでデータを同期し、一時的な AccessKey ペアを使用する場合、一時的な AccessKey ペアは 7 日後に自動的に期限切れになり、タスクが失敗します。プラットフォームは、一時的な AccessKey ペアがタスクの失敗を引き起こしたことを検出すると、タスクを自動的に再起動します。このタイプのタスクにアラートルールを設定している場合は、アラート通知が届きます。

Oracle からのリアルタイム同期におけるエラー:logminer doesn't init, send HeartbeatRecord

Oracle からのリアルタイム同期タスクが初期化され、適切な同期チェックポイントを検索する際には、前のアーカイブログをロードする必要があります。アーカイブログが大きい場合、初期化フェーズが完了するまでに 3〜5 分かかることがあります。

PostgreSQL のリアルタイム同期で、読み書き分離アドレスまたはレプリケーションモードがサポートされていないというエラーが発生した場合の対処方法

考えられる原因:PostgreSQL のリアルタイム同期 (CDC) は、データベースの論理レプリケーション (レプリケーションモード) メカニズムに依存しており、プライマリインスタンスのエンドポイントへの接続のみをサポートします。読み書き分離アドレス、プロキシアドレス、およびセカンダリインスタンスのアドレスはこのメカニズムをサポートしていません。そのため、タスクでは読み書き分離アドレスまたはレプリケーションモードがサポートされていないというエラーが発生します。

解決策:[データソース設定] で PostgreSQL データソースの接続アドレスをプライマリインスタンスのエンドポイントに変更し、設定を保存して再度接続テストを行います。テストが成功した後、リアルタイム同期タスクを再実行してください。