このトピックでは、リアルタイム同期に関するよくある質問にお答えします。
概要
|
カテゴリ |
関連トピック |
|
リアルタイム同期タスクの設定に関する注意事項 |
|
|
MySQL データのリアルタイム同期に関するよくある質問 |
|
|
Oracle、PolarDB、MySQL データのリアルタイム同期に関するよくある質問 |
|
|
エラーメッセージと解決策 |
|
リアルタイム同期タスクの設定に関する注意事項
リアルタイム同期ではどのデータソースがサポートされていますか?
リアルタイム同期でサポートされているデータソースについては、「サポートされているデータソース」をご参照ください。
リアルタイム同期タスクのレイテンシーが高いのはなぜですか?
リアルタイム同期タスクで生成されたテーブルをクエリしてもデータが同期されていない場合、タスクのレイテンシーが高いことが原因である可能性があります。オペレーションセンターの [リアルタイム同期タスク] ページに移動して、[ビジネスレイテンシー] の値が大きすぎないか確認できます。詳細については、「リアルタイム同期タスクにおける高レイテンシーの解決策」をご参照ください。
ビジネスレイテンシーが高い場合、考えられる原因は次のとおりです。
|
症状 |
原因 |
解決策 |
|
高い読み取りレイテンシー |
ソースでの過剰なデータ変更。 レイテンシーの急激な増加は、ある時点でソースのデータ量が増加したことを示します。 |
ソースデータの更新が頻繁でデータ量が大きく、同期レイテンシーが高い場合は、次の対応が可能です。
|
|
同期開始オフセットが早すぎる設定になっている。 |
開始オフセットが早すぎる場合、リアルタイム同期タスクはデータに追いつくための時間が必要です。 |
|
|
高い書き込みレイテンシー |
宛先データベースのパフォーマンスと負荷の問題 |
データベースの負荷が高い場合、同期タスクの同時実行数を調整するだけでは問題は解決しません。データベース管理者に連絡して支援を依頼する必要があります。 |
|
読み取り側または書き込み側の高レイテンシー |
パブリックネットワーク経由で同期すると、ネットワークの問題によってタスクのレイテンシーが発生することがあります。 |
パブリックネットワーク経由の同期では、リアルタイム同期の適時性を保証できません。ネットワーク接続をセットアップし、内部ネットワーク経由でデータを同期することを推奨します。 説明 パブリックネットワーク経由の同期には、ネットワークの不安定化、頻繁なパケット損失、同期パフォーマンスへの影響、セキュリティの低下といったリスクがあります。 |
|
ソースデータベースと宛先データベースの間に大きなパフォーマンスの差がある場合、またはデータベースの負荷が高い場合にも、高レイテンシーが発生する可能性があります。 |
データベースの負荷が高い場合、同期タスクの同時実行数を調整するだけでは問題は解決しません。データベース管理者に連絡して支援を依頼する必要があります。 |
リアルタイム同期タスクにパブリックネットワークの使用が推奨されないのはなぜですか?
リアルタイム同期タスクにパブリックネットワークを使用すると、次のようなリスクがあります。
-
ネットワークが不安定になったり、パケット損失が頻繁に発生したりすることで、同期パフォーマンスに影響が及ぶ可能性があります。
-
セキュリティが低下します。
リアルタイム同期における追加列
Data Integration が MySQL、Oracle、LogHub、または PolarDB から DataHub または Kafka へリアルタイムでデータを同期する際、メタデータ管理、ソート、重複排除、およびその他の操作のために、宛先に 5 つの追加列が追加されます。詳細については、「リアルタイム同期における追加列」をご参照ください。
リアルタイム同期は TRUNCATE 操作をどのように処理しますか?
リアルタイム同期は TRUNCATE 操作をサポートしており、増分同期および完全同期中に有効になります。TRUNCATE を無視することを選択した場合、リアルタイム同期中に余分なデータが現れる可能性があります。
リアルタイム同期の速度とパフォーマンスを向上させるにはどうすればよいですか?
書き込み速度が遅い場合は、書き込みの同時実行数を増やし、JVM パラメーターを調整できます。JVM パラメーターは同期されるデータベースの数とは関係なく、変更頻度に関連しています。現在のリソースグループのマシンが許す限り、割り当てるメモリが多いほど Full GC の頻度が低くなり、リアルタイム同期のパフォーマンスが向上します。[同時実行数] を 3 に設定します。タスクの [基本設定] パネルで、[JVM パラメーター] を -Xms8192m -Xmx8192m に設定します。
リアルタイム同期タスクはコンソールで実行できますか?
リアルタイム同期タスクは、DataWorks コンソールで直接実行することはできません。リアルタイム同期タスクを設定した後、リアルタイム同期ノードをコミットしてデプロイし、本番環境でノードを実行する必要があります。詳細については、「リアルタイム同期ノードのデプロイ」をご参照ください。
MySQL データソースを使用するとリアルタイム同期が遅くなるのはなぜですか?
1 つの理由として、処理するバイナリログの量が増加することが挙げられます。バイナリログはインスタンスレベルで生成されるため、同期タスクがテーブル A のみを同期するように設定されていても、テーブル B やテーブル C などの他のテーブルへの変更もバイナリログを生成します。これらの追加のバイナリログが、同期処理速度を低下させます。
リアルタイム同期で単一データベースと複数データベースを選択した場合にメモリ使用量が異なるのはなぜですか?
2 つ以上のデータベースを選択すると、タスクは「フルインスタンス」リアルタイム同期モードに入り、それぞれが単一のデータベースを同期する 2 つの別々のタスクよりも多くのリソースを消費します。
リアルタイム同期はどのような DDL ポリシーをサポートしていますか?
処理方法は次のとおりです:
|
通常の処理 |
無視 |
アラート |
エラー |
|
DDL メッセージは処理のために宛先データソースに転送されます。宛先データソースによって DDL メッセージの処理方法が異なる場合があります。 |
DDL メッセージは破棄され、宛先データソースでは何の処理も行われません。 |
DDL メッセージは破棄され、アラート通知が送信されます。 説明 リアルタイム同期タスクにアラートルールが設定されていない場合、対応するアラート通知は受信できません。 |
リアルタイム同期タスクはエラーとなり終了します。 説明 リアルタイム同期タスクにタスクステータスのアラートルールが設定されている場合、対応するアラート通知を受信できます。 |
DDL タイプのカテゴリ:
|
テーブルの作成 |
|
|
テーブルの削除 |
|
|
列の追加 |
|
|
列の削除 |
通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。 |
|
テーブル名の変更 |
通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。 |
|
列名の変更 |
通常の処理はサポートされていません。無視、アラート、またはエラーのみを選択できます。 |
|
列の型の変更 |
|
|
テーブルの切り捨て |
|
宛先データソースへの書き込み時のソース DDL および DML 操作に関する考慮事項
-
ソースに列が追加され、DDL が宛先で正常に実行された後、次の制限が適用されます。
-
DEFAULT VALUE を持つ列が追加された後、宛先テーブルの新しい列には値がなく、NULL のままです。その後、ソースの追加された列に新しいデータが挿入されると、リアルタイム同期タスクはその新しいデータをその列に同期します。
-
VIRTUAL 列が追加された後、宛先テーブルの新しい列には値がなく、NULL のままです。その後、ソースの追加された列に新しいデータが挿入されると、リアルタイム同期タスクはその新しいデータをその列に同期します。
-
-
MySQL または PolarDB MySQL ソースからのリアルタイム同期では、ソースに列を追加する際に、列を末尾に追加することを推奨します。既存の列の間に列を追加しないでください。ソースで列の途中への追加が避けられない場合は、次の制約に注意してください。
-
完全+増分ソリューションでは、完全同期フェーズ中に列を途中に追加しないでください。そうしないと、増分同期フェーズでデータに異常が発生します。
-
増分同期フェーズ中に、同期チェックポイントのリセット時刻は、列を途中に追加した DDL イベントの後に設定する必要があります。そうしないと、後続の増分同期データが異常になる可能性があります。
-
-
データに異常が発生した場合は、完全データ初期化を再実行して (タスク内のすべてのテーブルを再初期化するのではなく、列が途中に追加されたテーブルのみを削除して再初期化するだけで十分です) 、正しいデータを復元できます。
Data Integration は、送信先テーブルを作成する際に、デフォルト値や非 NULL 制約などのプロパティを保持しますか?
PostgreSQL から読み取るリアルタイム同期タスクがフェイルオーバーした後にレイテンシーが高くなるのはなぜですか?
これは PostgreSQL データベース自体の特性です。レイテンシーが許容できない場合は、タスクを停止して再起動し、完全+増分データ同期を実行できます。
既存の同期タスクで完全同期を実行する方法
Data Integration で、タスクリストから対象の同期タスクを見つけ、[操作] 列で の順にクリックします。
DataWorks のリアルタイム同期タスクは、ダーティデータのしきい値 (errorLimit) の設定やダーティデータの無視をサポートしていますか?
リアルタイム同期タスクは、ダーティデータのしきい値 (errorLimit) の設定やダーティデータの無視をサポートしていません。同期中にダーティデータが検出されると、タスクはブロックされます。
代替の解決策:
-
リアルタイム同期タスクを、時間単位または分単位のスケジュールされたバッチ同期タスクに置き換えます。バッチ同期は、ダーティデータのしきい値の設定とダーティデータの無視をサポートしています。
-
リアルタイム同期パイプラインにデータ処理ノードを追加して、データをクレンジングおよびフィルタリングし、ダーティデータが宛先に到達するのを防ぎます。
-
タスクのエラーメッセージに基づいてソースデータを特定して修正し、ソースでダーティデータを排除します。
MySQL データのリアルタイム同期に関するよくある質問
MySQL データソースのリアルタイム同期で、初期読み取り後にデータが読み取られなくなる場合の対処方法
-
データベースで次のコマンドを実行して、現在のデータベースインスタンスが書き込んでいるバイナリログファイルを確認します。
show master status -
ログで読み取られたバイナリログファイルを比較します。ログで
journalName=MySQL-bin.000001,position=50を検索して、データがデータベースに書き込まれているかどうかを確認します。 -
データが書き込まれているにもかかわらずバイナリログが更新されない場合は、データベース管理者 (DBA) に連絡して支援を依頼してください。
Oracle、PolarDB、MySQL のリアルタイム同期に関するよくある質問
Oracle、PolarDB、または MySQL のリアルタイム同期タスクでエラーが繰り返し発生する
-
症状:リアルタイム同期タスクでエラーが繰り返し発生します。
リアルタイム同期タスクのソースが Oracle、PolarDB、または MySQL データソースの場合、ソースからの DDL メッセージはデフォルトでは処理されません。テーブル作成以外の DDL 変更が実行されると、リアルタイム同期タスクはエラーを出して終了します。チェックポイントベースのリカバリシナリオでは、ソースから新しい DDL メッセージが生成されない場合でも、同期タスクでエラーが発生することがあります。
説明特定の期間中のデータ損失や順序の乱れを避けるため、Rename コマンドを使用して 2 つの列の名前を交換しないでください。たとえば、列 A と列 B の列名を交換することは許可されていません。
-
原因:リアルタイム同期はチェックポイントベースのリカバリをサポートしています。データ損失を防ぐため、同期が再開されると、オフセットがロールバックされて一部のデータがリプレイされることがあります。このプロセスにより、以前に読み取られた DDL メッセージが再度処理され、アラートが再び発生する可能性があります。
-
解決策:
-
ソースで DDL の変更が行われた場合は、宛先データベースで対応する DDL の変更を手動で実行します。
-
リアルタイム同期タスクを起動し、DDL メッセージ処理ポリシーを [エラー] から [無視] に変更します。
説明チェックポイントベースの再開では、この DDL イベントが引き続きサブスクライブされるため、タスクが再度失敗するのを防ぐために、このイベントを一時的に無視するように設定します。
-
リアルタイム同期タスクを停止し、DDL メッセージ処理ポリシーを [無視] から [エラー] に戻し、リアルタイム同期タスクを再開します。
-
エラーメッセージと解決策
Kafka のリアルタイム同期エラー: Startup mode for the consumer set to timestampOffset, but no begin timestamp was specified.
開始オフセットをリセットします。タスクの [開始] ダイアログボックスで、[オフセットのリセット] オプションを見つけ、[オフセットのリセット] チェックボックスを選択してこの機能を有効にします。
Data Integration の [オフセットのリセット] 機能は、データ同期の開始位置をリセットするために使用されます。特定の時点またはデータ位置から同期を再開する必要がある場合に、この機能を使用できます。たとえば、データ同期中にエラーが発生した場合や、データの一部を再同期する必要がある場合に、オフセットをリセットすることで、指定した位置から同期を再開し、データの整合性と完全性を確保できます。
MySQL のリアルタイム同期エラー:Cannot replicate because the master purged required binary logs.
MySQL のリアルタイム同期エラー:Cannot replicate because the master purged required binary logs. Replicate the missing transactions from elsewhere, or provision a new slave from backup.。このエラーは、消費オフセットのバイナリログレコードが MySQL で見つからないために発生する可能性があります。MySQL インスタンスのバイナリログ保持期間を確認し、同期タスクを開始する際にオフセットがこの時間範囲内に設定されていることを確認してください。
バイナリログをサブスクライブできない場合は、オフセットを現在の時刻にリセットしてみてください。
MySQL のリアルタイム同期エラー:MySQLBinlogReaderException
MySQL のリアルタイム同期エラー:MySQLBinlogReaderException: The database you are currently syncing is the standby database, but the current value of log_slave_updates is OFF, you need to enable the binlog log update of the standby database first. 。このエラーは、スタンバイデータベースでバイナリログが有効になっていないために発生する可能性があります。スタンバイデータベースからデータを同期したい場合は、スタンバイデータベースでカスケードバイナリログを有効にする必要があります。データベース管理者 (DBA) に連絡して支援を依頼してください。
バイナリログを有効にする方法の詳細については、「ステップ 3: MySQL バイナリログを有効にする」をご参照ください。
MySQL のリアルタイム同期エラー:show master status' has an error!
MySQL のリアルタイム同期エラー:show master status' has an error!。エラーの詳細は Caused by: java.io.IOException: message=Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation, with command: show master status です。このエラーは、データソースに必要なデータベース権限がないために発生する可能性があります。
データソースに設定されたアカウントには、データベースに対する SELECT、REPLICATION SLAVE、および REPLICATION CLIENT 権限が必要です。データソースに必要な権限を付与する方法の詳細については、「ステップ 2: アカウントの作成と権限の設定」をご参照ください。
MySQL のリアルタイム同期エラー:parse.exception.PositionNotFoundException: can't find start position forxxx
同期がオフセットを見つけられません。オフセットをリセットしてください。
MySQL のリアルタイム同期エラー:Can't get position by timestamp
考えられる原因:指定された同期開始時刻に対応するバイナリログが、ソースデータベースによってパージ (削除) されました。バイナリログがパージされると、リアルタイム同期タスクはその時点に基づいてオフセットを取得できなくなり、このエラーが発生します。
解決策:[データソース設定] ページで、MySQL データソースの [OSS Binlog 読み取りをサポート] 機能を有効にします。この機能を有効にすると、同期タスクは OSS ログバックアップからパージされたバイナリログを読み取ることができ、ローカルのバイナリログの有効期限切れによる同期の中断を防ぐことができます。
この機能は RDS MySQL データソースでのみサポートされており、RDS インスタンスは DataWorks ワークスペースと同じリージョンにある必要があります。
PolarDB のリアルタイム同期エラー:The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first
-
考えられる原因:ソースの PolarDB データソースで loose_polar_log_bin パラメーターが有効になっていません。
-
解決策:loose_polar_log_bin パラメーターを有効にします。詳細については、「リアルタイム同期のために PolarDB データソースを設定する」をご参照ください。
Hologres へのリアルタイム同期におけるエラー:permission denied for database xxx
リアルタイムで Hologres にデータを同期する場合、現在の操作ユーザーに Hologres インスタンスに対する admin 権限 (スキーマを作成する権限が必要) を付与する必要があります。詳細については、「Hologres の権限を管理する」をご参照ください。
MaxCompute へのリアルタイム同期におけるエラー:ODPS-0410051:invalid credentials-accessKeyid not found
MaxCompute データソースにリアルタイムでデータを同期し、一時的な AccessKey ペアを使用する場合、一時的な AccessKey ペアは 7 日後に自動的に期限切れになり、タスクが失敗します。プラットフォームは、一時的な AccessKey ペアがタスクの失敗を引き起こしたことを検出すると、タスクを自動的に再起動します。このタイプのタスクにアラートルールを設定している場合は、アラート通知が届きます。
Oracle からのリアルタイム同期におけるエラー:logminer doesn't init, send HeartbeatRecord
Oracle からのリアルタイム同期タスクが初期化され、適切な同期チェックポイントを検索する際には、前のアーカイブログをロードする必要があります。アーカイブログが大きい場合、初期化フェーズが完了するまでに 3〜5 分かかることがあります。
PostgreSQL のリアルタイム同期で、読み書き分離アドレスまたはレプリケーションモードがサポートされていないというエラーが発生した場合の対処方法
考えられる原因:PostgreSQL のリアルタイム同期 (CDC) は、データベースの論理レプリケーション (レプリケーションモード) メカニズムに依存しており、プライマリインスタンスのエンドポイントへの接続のみをサポートします。読み書き分離アドレス、プロキシアドレス、およびセカンダリインスタンスのアドレスはこのメカニズムをサポートしていません。そのため、タスクでは読み書き分離アドレスまたはレプリケーションモードがサポートされていないというエラーが発生します。
解決策:[データソース設定] で PostgreSQL データソースの接続アドレスをプライマリインスタンスのエンドポイントに変更し、設定を保存して再度接続テストを行います。テストが成功した後、リアルタイム同期タスクを再実行してください。