DataWorks:時間プロパティの設定

クイックスタート：設定例

シナリオ：ある E コマース企業が、毎日 02:00 に前日の総売上を自動計算する必要があります。ネットワークの変動などの要因でタスクが失敗した場合、システムは自動的に 3 回リトライする必要があります。

• ステップ 1：スケジュール時刻の設定

  1. スケジューリング周期の設定: タスク名をダブルクリックして、タスク構成パネルを開きます。右側で [スケジュール設定] > [時間プロパティ] をクリックします。スケジューリング周期 を 日 に設定します。

  2. スケジュール時刻の設定：スケジュール時刻を 02:00 に設定します。

• ステップ 2：スケジューリングポリシーの設定

  1. 再実行プロパティの設定：再実行プロパティを実行が成功したか失敗したかにかかわらず、再実行できます。に設定します。

  2. 失敗時の自動再実行: [失敗時の自動再実行] を選択し、リトライ回数を 3 に設定し、間隔を 5 分 に設定します。

  3. 他のプロパティはデフォルト値のままにします。

• 結果：

  タスクをデプロイすると、システムは翌日 (T+1) から毎日 02:00 に自動的にタスクをトリガーします。タスクが失敗した場合、システムは 5 分ごとにリトライします。タスクは最大 4 回 (通常実行 1 回 + リトライ 3 回) 実行されます。

仕組み

時間プロパティの設定は、インスタンスの生成から実行まで、定期タスクのライフサイクル全体を定義します。これらは以下のコアディメンションをカバーしています：

• スケジュール時刻：タスク実行の頻度と特定の時間を視覚的に定義します。

• インスタンスのライフサイクル管理：インスタンスがいつ作成され、いつまで有効かを決定します。これには以下が含まれます：

  • インスタンス生成モード：インスタンスがデプロイ日に生成されるか、翌日に生成されるかを制御します。

  • 有効期間：タスク全体の有効な時間範囲を設定します。

  • スケジュールカレンダー：休日などの非稼働日を除外するために使用します。

• 実行ポリシー：スケジュールタイプを通じて、スケジュール時刻が到来した後のインスタンスの動作を定義し、インスタンスが通常通り実行されるか、ドライラン (スキップ) を行うか、または一時停止されるかを決定します。

• 例外処理とフォールトトレランス：タイムアウト定義と再実行設定を通じて、タスク実行の失敗やタイムアウトなどの例外に対する自動処理メカニズムを提供します。

スケジュール時刻

スケジュール時刻は、タスクがいつ実行される予定か (スケジュール時刻とも呼ばれる) を制御し、これによりタスクノードが本番環境でどれくらいの頻度で自動的にトリガーされるかが決まります。設定した周期に基づいて、システムはタスクに対応する数の定期的なインスタンスを生成し、これらのインスタンスのスケジュール時刻とスケジューリング依存関係を通じて、ワークフロー全体の自動実行を駆動します。

以下は、各シナリオの設定例です：

インスタンスのライフサイクル管理

これらの設定は、タスクインスタンスが作成されるかどうかを決定します。タスクの具体的な実行時間には関与せず、代わりに、インスタンスが作成されるべきか、スケジューリングルール自体が有効であるかをマクロレベルで管理します。

• インスタンス生成モード：設定変更が当日に有効になるか、翌日に有効になるかを決定します。翌日モード (デフォルト) は、変更が当日のタスクに干渉しないようにし、スムーズな移行を可能にします。即時モードは、当日のインスタンスを強制的にリセットして変更を適用します。このモードは、影響を完全に理解し、リスクを評価した後の緊急修正にのみ使用してください。

• 有効期間：スケジューリングルール全体の有効な時間範囲を定義します。

• スケジュールカレンダー：スケジュールを特定のカレンダー (取引日のみ実行するなど) にバインドできます。これにより、週単位の周期よりも柔軟な制御が可能になります。

実行ポリシー

この設定は、タスクがトリガーされた後にどのように実行されるかを定義します。

例外処理とフォールトトレランス

これは、さまざまな可能性のある例外に対する対応計画を事前に設定することで、データパイプラインの安定性を確保するための鍵です。

• 再実行プロパティ：タスクが失敗したときに、システムが自動的にリトライするかどうか、またその方法を定義します。

• タイムアウト設定：タスクに妥当な最大実行時間を設定します。タスクがこの時間を超えた場合、システムは自動的にアラートをトリガーするか、タスクを終了させて、単一ノードがスタックして過剰なリソースを消費するのを防ぎます。

よくある質問とベストプラクティス

• Q：タスクの実際の実行時間がスケジュール時刻と異なるのはなぜですか？

  A：スケジュール時刻は、タスクの期待される開始時刻にすぎません。実際の実行には、①すべての上流依存タスクが正常に実行されたこと、②スケジューリングリソースが利用可能であること、という 2 つの条件が満たされる必要があります。どちらかの条件が満たされない場合、タスクは待機状態のままになります。

  また、スケジュール時刻が 00:00 前後に設定されている場合、この時間帯は DataWorks のスケジューリングのピークタイムであるため、インスタンスがトリガーされるまでに数分の遅延が発生することがあります。これは正常な現象です。詳細については、次の質問をご参照ください。

• Q：タスクのスケジュール時刻は 00:00 ですが、なぜインスタンスの実行開始が数分遅れるのですか？

  A：毎日 00:00 前後は、DataWorks のスケジューリングのピークタイムです。多数のタスクが同時にトリガーされるため、スケジュール時刻とインスタンスの実際の開始時刻との間に通常数分の遅延が発生します。この遅延はタスクのトリガーフェーズで発生するものであり、正常な現象です。チケットを起票する必要はありません。

  トリガーの遅延を減らすには、ピーク時間を避けるために、スケジュール時刻を 00:00 以降の時点に設定することを推奨します。ビジネス要件で 00:00 のトリガーが必要な場合は、パイプラインのレイテンシーを評価する際にこの遅延を考慮に入れてください。

• Q：私の上流タスクは時間単位で実行され、下流タスクは日単位で実行されます。これらは互いに依存できますか？

  A：DataWorks は、異なるスケジューリング周期を持つタスク間の依存関係をサポートしています。システムは複雑な依存関係解決アルゴリズムを使用して、下流タスクが実行される前に、すべての上流インスタンスが完了するのを正しく待機するようにします。詳細については、「周期をまたぐ依存関係の原則」をご参照ください。

• Q：先週の金曜日のデータを補填しましたが、なぜ bizdate 変数が金曜日の日付を表示しないのですか？

  A：これは通常、「データタイムスタンプ」(bizdate) と「実行日」を混同しているために起こります。DataWorks では、bizdate = スケジュール時刻 − 1 日です。土曜日の早朝にスケジュールされたタスクを補填する場合、選択する必要がある bizdate は金曜日です。

• Q：私のタスクにはデータ書き込みロジックが含まれています。タスクを再実行するとデータが重複しますか？

  A：その可能性があります。そのため、タスクのべき等性を確保することを強く推奨します。データ書き込みタスクでは、複数回の再実行で一貫した結果を保証するために、INSERT INTO (追加) の代わりに INSERT OVERWRITE (上書き) を使用してください。