DataWorks:完全同期および増分同期のエラーからの回復

強制再実行による回復

• ユースケース

  • リアルタイムタスクが長期間失敗し、Binlog がクリアされて増分データのバックフィルができない。

  • 宛先テーブルに新しい列が欠落している。

  • 宛先テーブルのデータが欠落しているか、正しくない。

• 手順

  1. [データ統合] > [同期タスク] ページに移動し、対象のタスクを見つけます。

  2. [操作] 列で、[その他] > [再実行] を選択します。これにより、すべてのソーステーブルに対して完全同期および増分同期の初期化が強制的に実行され、データが宛先テーブルに再移行されて、迅速なデータ回復が可能になります。

     タスクの [操作] 列にある [実行詳細] をクリックすると、実行の詳細を表示できます。

     重要

     • データベース全体の完全同期および増分同期タスクを再実行する前に、実行中またはスケジュールされているマージタスクインスタンスとの潜在的な競合を確認してください。同じビジネス日付で同時に実行されると、パーティションデータまたはテーブルデータが上書きされる可能性があります。

       DataWorks の [オペレーションセンター] の [自動トリガーインスタンスの表示] ページで、同期タスクのマージタスクインスタンスのステータスを確認できます。競合が発生した場合は、次のいずれかの操作を実行できます：

       • マージタスクが完了するまで再実行操作を延期する。

       • 次のマージタスクインスタンスをフリーズし、再実行操作が成功した後に再開する。

     • 再実行が完了した後、同期パイプラインが安定するまで、完全同期やテーブルの追加/削除などの他の操作を実行しないでください。他の操作を実行すると再実行が無効になり、タスクを再度実行する必要があります。

     • 再実行が完了した後、翌日のデータが生成されない、またはマージタスクが自動的に再開されない場合は、手動でマージタスクインスタンスを確認して再開します：

       • リアルタイムタスクに遅延がある場合は、その遅延を解決します。詳細については、「リアルタイム同期タスクの遅延に関するソリューション」をご参照ください。

       • 前のサイクルのインスタンスが実行されなかったか失敗した場合は、前のサイクルへの依存関係を削除します。詳細については、「自動トリガーインスタンスの表示」をご参照ください。

完全データのバックフィルによる回復

1. タスクの再開

   [データ統合] > [同期タスク] ページに移動し、対象のタスクを再起動して、まず増分データコレクションを再開します。

2. 完全データのバックフィル

   1. [データ統合] > [同期タスク] ページに移動し、宛先タスクを見つけます。

   2. タスクの [操作] 列で [すべてのデータをバックフィル] をクリックし、パラメーターを設定します。

      1. データバックフィルのビジネス日付を選択します。

         前日をビジネス日付として選択します。

      2. バックフィルするテーブルを選択します。

         左側のパネルで完全同期するテーブルを選択し、 アイコンをクリックして右側のパネルに追加します。タスク全体を回復するには、すべてのテーブルを選択します。

      3. [OK] をクリックして、完全データのバックフィルを開始します。

   3. 実行詳細の表示

      タスクの [操作] 列にある [実行詳細] をクリックすると、実行の詳細を表示できます。

      重要

      • 完全データをバックフィルする前に、ビジネス日付を確認して、実行中またはスケジュールされているマージタスクインスタンスとの潜在的な競合を回避してください。同じビジネス日付で同時に実行されると、パーティションデータまたはテーブルデータが上書きされる可能性があります。

        DataWorks の [オペレーションセンター] の [自動トリガーインスタンスの表示] ページで、同期タスクのマージタスクインスタンスのステータスを確認できます。競合が発生した場合は、次のいずれかの操作を実行できます：

        • 完全データのバックフィルを一時停止し、マージタスクが完了するのを待ちます。

        • 次のマージタスクインスタンスをフリーズし、データバックフィルが完了した後に再開します。

      • 完全データのバックフィル機能は、シャーディングされたデータベースとテーブルの完全同期および増分同期タスクではサポートされていません。

      • この操作を実行する前に、このセクションの注意事項を確認してください。翌日に実行結果を確認します。データが生成されない、またはマージタスクが自動的に再開されない場合は、手動でマージタスクインスタンスを確認して再開します。

同期タスクの再作成

1. [データ統合] > [同期タスク] ページに移動します。次に、元のタスクを [停止] してから [削除] します。

2. 既存の宛先テーブルを使用してタスクを再作成します。次に、「データベース全体のリアルタイム同期タスクの設定」に従って新しいタスクを実行します。

特定テーブルのデータ回復

1. [データ統合] > [同期タスク] ページに移動し、対象のタスクを見つけて [その他] > [編集] をクリックします。目的のテーブルをタスクに再度追加して、同期を再開します。

2. 履歴データの復元

   • データベース全体の完全同期および増分同期タスクの場合、「完全データのバックフィルによる回復」の方法を使用して、現在の完全データセットを履歴パーティションに同期します。特定の期間の履歴データのバックフィルはサポートされていません。

   • データベース全体のリアルタイム同期タスクの場合、手動で「バッチ同期タスクを作成」して履歴データをバックフィルします。