データバックフィル操作では、過去または未来の期間についてタスクを実行し、その出力を対応する時間ベースのパーティションに書き込みます。システムは、選択されたビジネス日付に基づいて、コード内のスケジューリングパラメーターを自動的に特定の値に置き換えます。その後、コード内のロジックが、そのタイムスタンプに対応するデータを指定されたパーティションに書き込みます。データが書き込まれる正確なパーティションは、タスクコード内のロジックによって決まります。
権限要件
データバックフィルチェーン上のすべてのタスクに対する操作権限が必要です。いずれかのタスクに対する権限がない場合、次のような結果となります:
-
直接のターゲットタスクに対する権限がない:データバックフィルのルートタスク、またはその下流タスクのいずれかに対する操作権限がない場合、データバックフィルは 実行できません。
-
中間タスクに対する権限がない:権限がないタスクが、このデータバックフィルにおける中間ノードである場合 (上流タスクと下流タスクの両方がデータバックフィルのスコープ内にある場合)、 システムはそのタスクに対して ドライラン を実行します。
-
ドライランの説明:タスクの開始後、実際の計算ロジックは実行されません。下流タスクをトリガーできるように、直ちに成功ステータスを返します。
-
リスク警告:ドライランとして実行される中間タスクは実データを生成しないため、下流タスクが異常な出力を生成したり、入力の欠落により失敗したりする可能性があります。 注意して続行してください。
-
注意事項
データバックフィル操作の安定性と予測可能性を確保するため、次のランタイムルールをよくお読みください。
1. インスタンスライフサイクルとログ保持
-
インスタンスのクリーンアップ:データバックフィルインスタンスは手動で削除できません。作成から約 30 日後に、プラットフォームが自動的にクリーンアップします。タスクを実行する必要がなくなった場合は、そのインスタンスをフリーズしてスケジューリングを停止できます。
-
保持ポリシー:インスタンスとログの保持期間は、リソースグループのタイプによって異なります。
リソースグループのタイプ
インスタンスの保持ポリシー
ログ保持ポリシー
スケジューリング用共有リソースグループ
30 日
7 日
専用スケジューリングリソースグループ
30 日
30 日
Serverless リソースグループ
30 日
30 日
-
大容量ログのクリーンアップ:完了したインスタンスでは、ランタイムログが 3 MB を超える場合、プラットフォームは日次スケジュールでログをクリーンアップします。
2. インスタンスのランタイムルール
-
厳密な日次依存関係:データバックフィルは、ビジネス日付ごとに直列で実行されます。翌日のインスタンスは、前日のすべてのインスタンスが成功した後にのみ実行を開始します。いずれかのインスタンスが失敗した場合、以降の日付のすべてのタスクがブロックされます。
-
日跨ぎの依存関係は有効にならない:タスク間の日跨ぎの依存関係は、データバックフィル中は有効になりません。複数日にまたがる期間でタスクをバックフィルする場合、デフォルトでは、翌日のインスタンスは前日のすべてのインスタンスが完了した後にのみ実行され、元の日跨ぎの依存関係に基づいてトリガーされることはありません。
-
指定範囲またはセット型依存関係の日跨ぎ処理:指定範囲またはセット型の依存関係では、依存関係が日をまたぐ場合、データバックフィルインスタンスの生成時には同日分の依存関係のみが追加されます。日跨ぎの依存関係は自動的に無視されます。
-
時単位/分単位タスクの同時実行の動作:特定の日のすべてのインスタンスをバックフィルする場合、実行方法はタスクの自己依存属性によって決まります:
-
自己依存が未設定:各上流の依存関係が満たされている限り、同日内のすべてのインスタンス (例:00:00、01:00 など) はグループ単位で実行できます。
-
自己依存が設定済み:同日内のすべてのインスタンスは、厳密に直列で実行されます (例:01:00 のインスタンスは、00:00 のインスタンスが成功した後にのみ実行されます)。
-
-
スケジュールされたインスタンスとの競合:通常のスケジューリングを確保するため、スケジュールされたインスタンスはデータバックフィルインスタンスよりも優先度が高くなります。両方が同時に実行される場合は、手動でデータバックフィルインスタンスを終了してください。
-
ブロックリスト登録タスクの扱い:ブロックリストに登録されたタスクがデータバックフィルチェーンの中間ノードである場合、そのタスクもドライランとして実行され、下流タスクのデータ出力に影響する可能性があります。
3. スケジューリングリソースと優先度
-
リソースの適切な設定:データバックフィルインスタンスが多すぎる場合や、並列度が高すぎる場合、スケジューリングリソースを大量に消費し、スケジュールされたタスクの正常な運用に影響する可能性があります。必要に応じて適切に設定してください。
-
優先度の引き下げポリシー:コア業務を確保するため、プラットフォームはデータバックフィルのビジネス日付に基づいてタスクの優先度を動的に調整します:
-
前日 (T-1) データのバックフィル:タスクの優先度は変更されず、タスクが所属するベースラインの優先度によって決まります。
-
履歴 (T-2 以前) データのバックフィル:タスクは、次のルールに従って自動的に優先度が引き下げられます:
-
元のレベル 7 または 8 → レベル 3 に引き下げ
-
元のレベル 5 または 3 → レベル 2 に引き下げ
-
元のレベル 1 → 変更されず
-
-
データバックフィルタスクの作成
ステップ 1: データバックフィルページへの移動
[オペレーションセンター] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
-
左側のナビゲーションペインで、 をクリックして、データバックフィルページに移動します。
特定の定期タスクのデータをバックフィルする場合は、ページに移動し、対象タスクの横にある [データバックフィル] をクリックすることもできます。
ステップ 2: データバックフィルタスクの作成
データバックフィルページで、[データバックフィルタスクの作成] をクリックし、ビジネス要件に基づいてデータバックフィルタスクを設定します。
-
設定 基本情報。
プラットフォームは、デフォルト形式でデータバックフィル名を自動生成します。この名前は必要に応じて変更できます。
-
バックフィルするタスクを選択します。
[手動選択]、[トレース別]、[ワークスペース別]、[指定タスクおよびすべての下流]などの方法を使用して、操作権限のあるタスクのデータバックフィルを開始し、そのタスクに基づいてバックフィルする他のタスクを選択できます。設定パラメーターは方法によって異なります。
手動選択
1 つ以上のタスクをルートタスクとして選択し、ルートタスクの下流タスクをこのデータバックフィルのタスク範囲として選択します。この方法は、以前の 現在のノード、現在のノードと下流ノード、および 詳細モード のデータバックフィルソリューションと互換性があります。
パラメーターの詳細は以下のとおりです。
パラメーター
説明
[方法]
[手動選択]を選択します。
[ルートタスクの検索]
名前または ID でルートタスクを検索して追加します。 [バッチ追加] をクリックして、リソースグループ、スケジュール、ワークスペースなどの条件で検索し、複数のルートタスクを一括で追加することもできます。
説明所属するワークスペース (つまり、メンバーであるワークスペース) 内のタスクのみを選択できます。
[選択されたデータバックフィルリスト]
バックフィルするタスクです。リストには、追加されたルートタスクが表示されます。ルートタスクに基づいて、バックフィルする下流タスクを選択できます。
説明-
依存関係レベルで下流タスクをフィルタリングできます。ルートタスクの直接の下流タスクはデフォルトでレベル 1 になります。
-
一度にバックフィルできるルートタスクは最大 500 個で、合計タスク数 (ルートタスクとその下流タスク) は最大 2000 個です (中国 (北京) および中国 (杭州) リージョンでは 3000 個)。
-
タスクに 並列インスタンスの最大数 が設定されている場合、データバックフィルインスタンスもこの制限の対象となり、スケジュールされたインスタンスと同時実行クォータを共有します。
[タスクブラックリスト]
バックフィルする必要がないタスクがある場合は、ブロックリストに追加できます。ブロックリスト内のタスクは、このデータバックフィルの対象外となります。
説明-
ブロックリストに追加できるのはルートタスクのみです。ルートタスクの子タスクをバックフィルする必要がない場合は、[選択されたデータバックフィルリスト]から削除してください。
-
ブロックリスト内のタスクがこのデータバックフィルの中間タスクである場合 (つまり、その上流と下流の依存関係がこのデータバックフィル範囲内にある場合)、タスクはドライランとして実行され、下流タスクの実行を保証します (実際には実行されず、開始後すぐに成功ステータスを返します)。ただし、このタスクの下流タスクのデータ出力が異常になる可能性があります。
チェーンで選択
開始タスクと 1 つ以上の終了タスクを選択します。自動分析により、ルートタスクと終了タスクの間のすべてのタスクが、このデータバックフィルのタスク範囲となります (開始タスクと終了タスクを含む)。
パラメーターの詳細は以下のとおりです。
パラメーター
説明
[方法]
[トレース別]を選択します。
[タスクの検索]
名前または ID で検索して、開始タスクと 1 つ以上の終了タスクを追加します。プラットフォームは、開始タスクと終了タスクに基づいて中間タスクを分析します (つまり、中間タスクは開始タスクの直接または間接的な下流タスクであり、終了タスクの直接または間接的な上流タスクです)。
[中間タスクリスト]
開始タスクと終了タスクに基づいてプラットフォームが自動的に分析した中間タスクのリストです。
説明リストには 2000 個のタスクのみが表示されます。2000 個を超えるタスクは表示されませんが、正常に実行されます。
[タスクブラックリスト]
バックフィルする必要がないタスクがある場合は、ブロックリストに追加できます。ブロックリスト内のタスクは、このデータバックフィルの対象外となります。
説明ブロックリスト内のタスクがこのデータバックフィルの中間タスクである場合 (つまり、その上流と下流の依存関係がこのデータバックフィル範囲内にある場合)、タスクはドライランとして実行され、下流タスクの実行を保証します (実際には実行されず、開始後すぐに成功ステータスを返します)。ただし、このタスクの下流タスクのデータ出力が異常になる可能性があります。
ワークスペースで選択
タスクをルートタスクとして選択し、下流ノードのワークスペースに基づいて、このデータバックフィルのタスク範囲を決定します。この方法は、以前の 大規模ノードモード のデータバックフィルソリューションと互換性があります。
-
以前の [大規模ノードパターン] のデータバックフィルソリューションと互換性があります。
-
タスクブロックリストの設定はサポートされていません。
パラメーターの詳細は以下のとおりです。
パラメーター
説明
[方法]
[ワークスペース別]を選択します。
[ルートタスクの検索]
名前または ID でルートタスクを検索して追加します。プラットフォームは、ルートタスクの下流タスクのワークスペース内のタスクをバックフィルします。
説明所属するワークスペース (つまり、メンバーであるワークスペース) 内のタスクのみを選択できます。
[ルートノードを含める]
このデータバックフィルにルートタスクを含めるかどうかを設定します。
[データバックフィルワークスペース]
ルートタスクの下流タスクのワークスペースに基づいて、バックフィルするノードが含まれるワークスペースを選択します。
説明-
データバックフィル操作では、現在のリージョンの DataWorks ワークスペースのみを選択できます。
-
ワークスペースを選択すると、デフォルトでワークスペース内のすべてのノードがバックフィルされます。必要に応じて、データバックフィルの許可リストとブロックリストをカスタマイズできます。
[タスクのホワイトリスト]
選択したワークスペースに含まれるノードに加えて、バックフィルする必要があるノードです。
[タスクブラックリスト]
選択したワークスペース内でバックフィルする必要がないノードです。
タスクとすべての下流タスクを指定
ルートタスクを選択すると、プラットフォームは自動的に分析し、そのタスクとすべての下流タスクを、このデータバックフィルのタスク範囲として使用します。
トリガーされたタスクは、データバックフィルタスクの実行中にのみ確認できます。慎重に使用してください。
パラメーターの詳細は以下のとおりです。
パラメーター
説明
[方法]
[指定タスクおよびすべての下流]を選択します。
[ルートタスクの検索]
名前または ID でルートタスクを検索して追加します。プラットフォームは、ルートタスクとそのすべての下流タスクをバックフィルします。
説明-
所属するワークスペース (つまり、メンバーであるワークスペース) 内のタスクのみを選択できます。
-
選択したルートタスクに下流タスクがない場合、データバックフィルタスクの送信後、現在のルートタスクのデータのみがバックフィルされます。
[タスクブラックリスト]
バックフィルする必要がないタスクがある場合は、ブロックリストに追加できます。ブロックリスト内のタスクは、このデータバックフィルの対象外となります。
説明ブロックリスト内のタスクがこのデータバックフィルの中間タスクである場合 (つまり、その上流と下流の依存関係がこのデータバックフィル範囲内にある場合)、タスクはドライランとして実行され、下流タスクの実行を保証します (実際には実行されず、開始後すぐに成功ステータスを返します)。ただし、このタスクの下流タスクのデータ出力が異常になる可能性があります。
-
データバックフィルランタイムポリシーを設定します。
ビジネス要件に基づいて、データバックフィルタスクのランタイム、グループで実行するかどうか、アラートをトリガーするかどうか、使用するリソースグループなどの情報を設定します。
パラメーターは以下のとおりです。
パラメーター
説明
[データタイムスタンプ]
タスクのバックフィルを行うビジネス日付を指定できます。手動入力、AI ベースの生成、および 一括入力 がサポートされています。
選択した日付とオプションに基づいて、システムは異なる実行ポリシーを使用します。
シナリオ 1:履歴データのバックフィル (ビジネス日付 < 現在の日付)
これは最も一般的なデータバックフィルシナリオです。選択したビジネス日付が今日より前の場合、システムはその履歴日付のタスクインスタンスを 即座に作成して実行 し、過去のデータを遡って再計算します。
-
目的:履歴データのエラーを修正し、欠落しているデータをバックフィルします。
-
実行モード:即時実行。
シナリオ 2:将来のタスクのスケジュール (ビジネス日付 > 現在の日付)
将来のビジネス日付を選択し、特別なオプションを 選択しない 場合、これは将来の「1 回限りの」スケジュールされたタスクの作成と同等です。
-
目的:将来の特定の既知の日付に対して、1 回限りのタスク実行を事前にスケジュールします。
-
実行モード:スケジュール時に実行。インスタンスが作成され、保留状態になります。対応するビジネス日付が到来したときにのみ、タスク自体のスケジュール設定に基づいて自動的に実行されます。
シナリオ 3:スケジュール時刻が現在時刻より後のインスタンスを即時実行
[現在時刻より後にスケジュールされたデータバックフィルインスタンスをすぐに実行します。]は高度なオプションです。このオプションは、データバックフィルのビジネス日付が現在の日付より後の場合、またはビジネス日付が T-1 でタスクにスケジュール時刻が現在時刻より後のインスタンスが含まれている場合に表示されます。このオプションを選択すると、スケジュール時刻が現在時刻より後のインスタンスは、対応するスケジュール時刻まで待機するのではなく、即座に実行されます。
-
目的:将来の日付のタスクインスタンスを事前に実行し、データ移行やテストのために特定のパーティションのデータを事前に準備するか、T-1 データをバックフィルする際にスケジュール時刻がまだ到来していない時間単位または分単位のインスタンスを即座に実行します。
-
実行モード:選択後に即時実行。
-
例 1 (将来のデータのバックフィル):現在の日付が
2024-03-12で、2024-03-17のデータをバックフィルすることを選択し、[現在時刻より後にスケジュールされたデータバックフィルインスタンスをすぐに実行します。]を選択します。この場合、タスクインスタンスは2024-03-12に 即座に開始 されますが、実行時に使用するビジネス日付パラメーター (データパーティションなどに影響) は2024-03-17です。 -
例 2 (T-1 データのバックフィル):現在時刻が
2024-03-12 14:30で、2024-03-11(T-1) のデータをバックフィルすることを選択します。タスクは 1 時間ごとにスケジュールされています (1 時間ごとに 1 回実行)。このオプションを選択しない場合、15:00、16:00、および 14:30 より後の他の時刻にスケジュールされたインスタンスは、それぞれのスケジュール時刻まで待機する必要があります。[現在時刻より後にスケジュールされたデータバックフィルインスタンスをすぐに実行します。]を選択すると、すべてのインスタンスが 即座に実行 されます。
説明-
ビジネス日付の概念:バッチコンピューティングでは、タスクは通常、今日 (T) に昨日 (T-1) のデータを処理します。データバックフィル機能は、指定された「ビジネス日付」のインスタンスを生成するため、タスクがどの日のデータを処理するかを正確に制御できます。
-
複数の期間:連続していない複数の日付のデータをバックフィルするには、追加 をクリックして複数の期間を設定します。
-
リソース計画:1 回のデータバックフィルの期間を長く設定しすぎないことを推奨します。大量のデータバックフィルインスタンスはスケジューリングリソースを消費し、通常の定期タスクの運用に影響を与える可能性があります。
[指定エポック]
選択したタスクが実行される期間を指定します。タスクは、スケジュール時刻がこの期間内にある場合にのみ、インスタンスを生成して実行します。この機能を使用して、時間単位または分単位の定期タスクで、指定された期間のインスタンスのみを実行できます (つまり、指定された期間内のデータのみをバックフィルできます)。デフォルトは
00:00-23:59です。説明-
タスクのスケジュール時刻がこの期間内にない場合、タスクはインスタンスを生成しません。より大きなサイクルのタスクがより小さなサイクルのタスクに依存するケース (例:日次タスクが時間単位のタスクに依存) がある場合、孤立インスタンスが生成され、タスクの運用がブロックされる可能性があります。
-
時間単位または分単位の定期タスクで、指定された期間のデータをバックフィルする必要がある場合にのみ、このパラメーターを変更することを推奨します。
[グループ実行]
複数のビジネス日付のデータをバックフィルする場合、このデータバックフィルタスクを同時実行するグループ数を指定できます。選択肢は次のとおりです。
-
[はい]:プラットフォームは、指定されたグループ数でビジネス日付を分割し、グループ化結果に基づいて同時実行される複数のデータバックフィルバッチグループを生成します。
-
[いいえ]:ビジネス日付の順序で直列に実行されます。次のデータバックフィルインスタンスは、前のインスタンスが完了した後にのみ実行されます。
説明時間単位または分単位のタスクの特定の日のインスタンスがグループで同時実行されるかどうかは、タスク自体に 自己依存 が設定されているかどうかによって異なります。
グループ数の範囲は
2 から 10です。複数のインスタンスグループは次のように同時実行されます。-
ビジネス日付の期間がグループ数より少ない場合、タスクはグループで同時実行されます。
たとえば、ビジネス日付が
1 月 11 日から 1 月 13 日でグループ数が 4 の場合、3 つのデータバックフィルインスタンスのみが生成され (各データバックフィルインスタンスは 1 つのビジネス日付に対応)、3 つのインスタンスがグループで同時実行されます。 -
ビジネス日付の期間がグループ数より大きい場合、プラットフォームはビジネス日付の [順序] に基づいて、タスクを直列と並列の両方で実行します。
たとえば、ビジネス日付が
1 月 11 日から 1 月 13 日でグループ数が 2 の場合、2 つのデータバックフィルインスタンスが生成され (データバックフィルインスタンスの 1 つには 2 つのビジネス日付が含まれ、これら 2 つのビジネス日付のタスクは直列に実行されます)、2 つのデータバックフィルインスタンスが並列で実行されます。
[データバックフィルアラート]
このデータバックフィル操作でアラートをトリガーするかどうかを設定します。
-
[はい]:トリガー条件が満たされるとアラートが生成されます。
-
[いいえ]:このデータバックフィルはアラートをトリガーしません。
[トリガー条件]
[データバックフィルアラート] が [はい] に設定されている場合にのみ、アラートトリガー条件を設定します。
-
[失敗、成功のいずれの場合もアラート]:データバックフィルが成功しても失敗してもアラートが生成されます。
-
[成功アラート]:データバックフィルが成功した場合にのみアラートが生成されます。
-
[失敗アラート]:データバックフィルが失敗した場合にのみアラートが生成されます。
[アラート方式]
[データバックフィルアラート] が [はい] に設定されている場合にのみ、[ショートメッセージとメール]、[ショートメッセージ]、または [メール] でアラートを受信することを選択できます。アラート受信者は、データバックフィルの開始者です。
説明[連絡先の検証] をクリックして、アラート受信者の電話番号またはメールアドレスが登録されているかどうかを確認します。登録されていない場合は、「アラート連絡先の設定」を参照して設定してください。
[順序]
[データタイムスタンプ昇順]または [データタイムスタンプ (降順)] でデータバックフィルを実行することを選択します。
[リソースグループのスケジューリング]
データバックフィルインスタンスの実行に使用するリソースグループを指定します。
-
[タスクの設定に従う]:定期タスク用に元々設定されていたリソースグループを使用して、データバックフィルインスタンスを実行します。
-
[スケジューリングリソースグループの指定]:指定されたリソースグループを使用してデータバックフィルインスタンスを実行し、データバックフィルインスタンスとスケジュールされたインスタンス間のリソースの競合を回避します。
説明-
リソースグループのネットワーク接続が設定されていることを確認してください。そうでない場合、タスクが失敗する可能性があります。指定されたリソースグループが関連するワークスペースに関連付けられていない場合、元の定期タスクのリソースグループが引き続き使用されます。
-
サーバーレスリソースグループまたは スケジューリング用専用リソースグループ の使用を推奨します。これにより、専用のコンピューティングリソースグループを提供でき、タスクが高い同時実行性で実行され、時間をずらして実行できない場合に、高速で安定したデータ転送を保証できます。
[実行時間帯]
今回生成されたデータバックフィルタスクを実行するタイミングを指定します。
-
[タスクの設定に従う]:データバックフィルインスタンスのスケジュール時刻に基づいて実行されます。
-
[期間の指定]:データバックフィルタスクを指定された期間内でのみトリガーして実行するように設定します。バックフィルするタスクの数に基づいて、実行期間を適切に設定してください。
説明この期間後に未実行状態のタスクは実行されませんが、この期間後に実行中状態のタスクは実行を継続します。
[計算リソース]
現在、EMR および Serverless Spark コンピューティングリソースのみを、データバックフィルのコンピューティングリソースとして設定できます。
マッピングされたコンピューティングリソースが存在し、利用可能であることを確認してください。そうでない場合、タスクのスケジューリングに影響を与える可能性があります。
-
-
-
データバックフィルタスクチェックポリシーを設定します。
データバックフィルチェックが失敗した場合にタスクの実行を終了するかどうかを設定します。プラットフォームは、このデータバックフィルタスクの基本ステータスと潜在的なリスクを次のようにチェックします。
-
[コミット] をクリックして、データバックフィルタスクの作成を完了します。
ステップ 3: データバックフィルタスクの実行
データバックフィルタスクが設定された実行時間になり、異常が存在しない場合、タスクは自動的にトリガーされて実行されます。
以下の条件に該当する場合、データバックフィルタスクは実行できません。
-
データバックフィルタスクではチェックが有効になっており、チェックが失敗するとタスクの実行がブロックされます。詳細については、「データバックフィルタスクの作成: ステップ 4」をご参照ください。
-
データバックフィル操作で拡張チェックが有効になっており、チェックが失敗してタスクの実行がブロックされます。詳細については、「拡張機能の管理」をご参照ください。
データバックフィルインスタンスの管理
データバックフィルインスタンスのクエリ
左側のナビゲーションペインで、 をクリックして、データバックフィルページに移動します。
データバックフィルページの右側で 検索の展開 をクリックして、データ補完名、実行状態、タスクタイプ などの条件でクエリ対象のインスタンスを絞り込みます。 また、実行中のデータバックフィルタスクをすばやく一括終了することもできます。
データバックフィルインスタンスのステータスの表示
このセクションでは、データバックフィルインスタンスに関する情報を表示できます。以下の情報が含まれます。
-
[タスク名]: データバックフィルインスタンスの名前を表示します。インスタンス名の前にある
アイコンをクリックすると、インスタンスの実行日と実行ステータス、およびインスタンスに含まれるノードとその実行詳細が表示されます。 -
[ステータスのチェック]: 現在のデータバックフィルインスタンスのチェックステータス。
-
[実行状態]: 成功、失敗、リソース待機中、トリガー待機中などのステータスがあります。異常なステータスに基づいて、関連する問題をトラブルシューティングできます。
-
[ノード数]: データバックフィルインスタンスに含まれるノード数。
-
[データタイムスタンプ]: データバックフィルインスタンスが実行される日付です。
-
[最大並列インスタンス数]: タスクに設定された最大並列インスタンス数を表示します。値は 無制限 または特定の値 (1 ~ 10000) です。この設定は、同時に実行できる同じタスクのインスタンスの最大数を制限します。この値は、定期実行インスタンス、データ補完インスタンス、およびテストインスタンスで共有されます。
-
[タスク分析結果]: タスクで生成が予測されるインスタンス、実行日、リスクチェック結果を確認し、ブロックされたタスクを迅速に処理できます。[データ補完タスク分析結果] ページには、次の情報が表示されます: [データ補完名]、[タスク分析] (各ワークスペース名と、生成が予測されるインスタンス数を表形式で一覧表示)、[業務日] の範囲、[指定期間] の時間範囲、および [リスクチェック] の結果 (サイクル検出と分離タスク検出に合格したかどうかを含む)。
-
操作: データバックフィルインスタンスに対して、バッチ終了、バッチ再実行、再利用 などの操作を実行できます。
操作
説明
[バッチ終了]
データバックフィルインスタンス内で、実行中 状態のインスタンスを選択して一括終了できます。この操作を実行すると、対応するインスタンスは 実行失敗 状態に設定されます。
説明停止済み、実行が完了しました。、または 実行失敗 状態のインスタンスの終了はサポートされていません。
[バッチ再実行]
データバックフィルインスタンスを一括で再実行します。
説明-
状態が実行が完了しました。または実行失敗のインスタンスのみ再実行できます。
-
一括再実行は、インスタンス間の依存関係に従わずに、選択されたインスタンスをすぐに再実行します。順序どおりに実行するには、ダウンストリームの再実行 を使用するか、データバックフィル 操作を再度実行します。
[再利用]
以前のデータバックフィル操作のノードセットを再利用して、バックフィルするノードを迅速に選択できます。
-
データバックフィルノードの管理
このセクションでは、データバックフィルインスタンスに含まれるノードに関する情報を表示できます。以下の情報が含まれます。
-
[名前]:ノード名をクリックすると、ノード詳細ページに移動して、ノードの詳細情報を表示できます。
-
[実行時刻]:ノードタスクに設定された実行予定時刻。
-
[実行開始時刻]: ノードタスクの実行の開始時間。
-
[終了時間]: ノードタスクの実行の終了時刻です。
-
[実行時間]: ノードタスクの実行時間。
-
[操作]: データ補完ノードタスクを、DAG グラフ、実行の終了、再実行 などの操作で管理できます。
操作
説明
[DAG グラフ]
ノードの DAG を表示して、ノードの上流タスクと下流タスクを分析できます。詳細については、「DAG 機能の概要」をご参照ください。
[実行の終了]
You can terminate a node in the [実行中] state. After this operation, the node is set to the [実行失敗] state.
説明-
Terminating nodes in the [停止済み], [実行が完了しました。], or [実行失敗] state is not supported.
-
This operation causes the instance to fail and blocks the operation of the instance's downstream nodes. Be aware of the risks and proceed with caution.
[再実行]
対象のノードタスクを再実行します。
説明成功または失敗状態のノードのみ再実行できます。
[詳細]
[ダウンストリームの再実行]
対象のノードタスクの下流ノードを再実行します。
[設定が完了しました。]
ノードタスクのステータスを「成功」に設定します。
[一時停止 (フリーズ)]
現在のノードを一時停止 (フリーズ) 状態に設定し、スケジューリングを停止します。
説明リソース待機中、待機時間、および実行中 (ノードコード実行中、データ品質チェック中) の状態では、フリーズ操作はサポートされていません。
[復元 (解凍)]
一時停止 (フリーズ) されたノードのスケジューリングを再開します。
[データリネージの表示]
ノードのリネージグラフを表示します。
-
選択したタスクノードについて、実行の終了 または 再実行 をクリックし、ノードタスクを一括で停止または再実行します。
インスタンスステータスの説明
|
ステータスタイプ |
ステータスインジケーター |
|
成功 |
|
|
未実行 |
|
|
失敗 |
|
|
実行中 |
|
|
保留中 |
|
|
凍結 |
|





