フル同期と増分同期タスクの管理 - DataWorks - Alibaba Cloud - DataWorks

同期タスクを設定した後、タスクを管理し、そのパフォーマンスメトリクスを表示できます。このトピックでは、全量・増分同期タスクを管理するための一般的な操作について説明します。

全量・増分同期タスクの管理

タスクを設定した後、Data Integration > Synchronization Task ページに移動して、同期タスクのリストを表示できます。さまざまな基準に基づいてタスクをフィルター処理し、次の操作を実行できます。

操作	説明
Start	同期タスクの Operations 列で Submit and Run をクリックしてタスクを開始します。
Edit	本番環境では、ビジネスサービスの進化に伴い、新しいテーブルがソースに追加されることがあります。全量・増分同期タスクのテーブルを追加または削除できます。Operations 列で、More > Modify Configuration を選択して、タスク設定ページを開きます。テーブルを追加または削除した後、Submit and Run をクリックします。システムは現在のテーブルリストを最後に成功した実行のリストと比較します。新しいテーブルが検出されると、システムはそれらを追加するプロセスを開始します。詳細については、「実行中の同期ソリューションへのソーステーブルの追加または削除」をご参照ください。同期タイプがワンクリックリアルタイム同期の場合、システムはまず新しいテーブルに対して全量データ同期を実行します。完了すると、システムは新しいテーブルをリアルタイムデータ同期タスクに追加して開始します。説明リアルタイムデータ同期タスクのチェックポイントがリセットされてタスクが再開されると、システムは新しいテーブルの変更データの追加を開始します。チェックポイントは、新しいテーブルの全量データ同期の開始時刻にリセットされます。例えば、同期タスクが 08:00 に開始され、09:00 にもまだ実行中であるとします。09:00 に新しいテーブルを追加します。新しいテーブルの全量データ同期は 09:00 に開始され、1 時間かかり、10:00 に完了します。この時点で、実行中のリアルタイム同期タスクは停止し、チェックポイントは増分データを追加するために 09:00 にリセットされます。09:00 から 10:00 までの間に変更されたすべてのテーブルの増分データは、Hologres の宛先テーブルに再同期されます。ワンクリックでのテーブル追加は、結果整合性のみを保証します。すべてのテーブルを初期化する場合は、Rerun 機能を使用してください。
Rerun	ソースデータが破損した場合やデータパイプラインに問題が発生した場合など、特定の特別なケースでは、Operations 列で More > Rerun をクリックして、すべてのソーステーブルの全量・増分初期化を強制し、ソースデータを宛先テーブルに再移行して、迅速なデータ回復を行うことができます。説明 Hologres と MaxCompute のみが同期タスクの強制再実行をサポートしています。シャーディングされた全量・増分同期タスクでは、強制再実行はサポートされていません。以下は、データベース全体の全量・増分同期タスクのデータを回復するために再実行が必要となる一般的なシナリオです。リアルタイムタスクが長時間失敗状態にあり、binlog がパージされ、増分データを回復できない。さまざまな理由により、宛先テーブルから列が欠落している。さまざまな理由により、宛先テーブルのデータが欠落しているか、正しくない。重要強制再実行により、ソーステーブルから宛先テーブルに列が同期されます。宛先テーブルにソーステーブルに存在する列が欠落している場合、欠落している列が追加されます。再実行を実行する前に、実行中または実行予定のマージタスクインスタンスと競合する可能性があるかどうかを確認してください。同じビジネス日付で同時実行される場合、パーティションデータまたはテーブルデータが上書きされる可能性があります。 DataWorks の [オペレーションセンター] の [定期インスタンス] ページに移動して、同期タスクのマージインスタンスの実行ステータスを確認できます。マージタスクが強制再実行操作と競合する場合、次のいずれかの操作を実行できます。強制再実行操作を一時停止します。マージタスクが完了するのを待ってから、強制再実行を実行します。今後のマージインスタンスをフリーズします。強制再実行が完了するのを待ってから、マージインスタンスのフリーズを解除します。再実行が完了した後、翌日にデータが生成されない場合や、マージタスクが自動実行を再開しない場合は、手動でマージインスタンスを確認して再開する必要があります。リアルタイムタスクに遅延がある場合は、遅延の問題を解決してください。詳細については、「リアルタイム同期タスクの遅延問題のトラブルシューティング」をご参照ください。前のサイクルのインスタンスが実行されていないか失敗した場合は、前のサイクルへの依存関係を削除できます。詳細については、「定期インスタンス」をご参照ください。
Backfill Data for All Data	この機能は、さまざまな理由で MaxCompute の宛先テーブルにデータ損失や正確性の問題があり、データを復元するために全量データを再同期する必要がある場合に適用されます。説明データベース全体の全量・増分同期タスクのみが全データの補完をサポートしています。シャーディングされた同期タスクでは、全データの補完はサポートされていません。同期タスクの Operations 列で Backfill Data for All Data をクリックし、全データを補完するためのパラメーターを設定します。データを補完するビジネス日付を選択します。パーティションテーブルの場合、全量データはビジネス日付に対応する日付パーティションに同期されます。データを補完するテーブルを選択します。左側の選択ボックスで、全量同期を実行するテーブルを選択し、アイコンをクリックして右側に追加します。 Confirm をクリックして、全データ補完操作を開始します。重要ビジネス日付は 1 日しか選択できません。複数日の全データを補完するには、全データ補完操作を複数回実行する必要があります。ワンクリック全量同期は、ソーステーブルと宛先テーブル間の共通列、および全量・増分同期タスクで定義された追加列を同期します。全データ補完を実行する前に、選択したビジネス日付が実行中または実行予定のマージタスクインスタンスと競合する可能性があるかどうかを確認してください。同じビジネス日付で同時実行される場合、パーティションデータまたはテーブルデータが上書きされる可能性があります。 DataWorks の [オペレーションセンター] の [定期インスタンス] ページに移動して、同期タスクのマージインスタンスの実行ステータスを確認できます。マージタスクが全データ補完操作と競合する場合、次のいずれかの操作を実行できます。全データ補完操作を一時停止します。マージタスクが完了するのを待ってから、全データ補完を実行します。今後のマージインスタンスをフリーズします。全データ補完が完了するのを待ってから、マージインスタンスのフリーズを解除します。
Stop	実行中のタスクについては、Operations 列の Stop をクリックして同期タスクを終了できます。

タスク実行詳細の表示

タスク名をクリックすると、タスク実行詳細ページに移動できます。

タスクリストページでは、タスクの基本情報と現在の実行ステータスを表示できます。

タスク実行は、Schema Migration、Full Data Initialization、Real-time Data Synchronization、Incremental Merge の 4 つのステージで構成されます。進捗バーに基づいて現在のステージを表示し、各ステージで生成されたサブタスクの実行詳細を確認できます。

増分マージタスクは定期タスクです。タスク名をクリックしてオペレーションセンターに移動し、対応する定期インスタンスを表示できます。