DataWorks:時間プロパティの設定

クイックスタート：設定例

シナリオ： ある E コマース企業が、毎日 02:00 に前日の総売上を自動的に計算する必要があります。ネットワークの変動などの要因でタスクが失敗した場合、システムは自動的に 3 回再試行する必要があります。

• ステップ 1: スケジュール時刻の設定

  1. スケジューリング周期の設定：タスク名をダブルクリックします。右側の [プロパティ] > [スケジュール] セクションで、[スケジューリング周期] を [日] に設定します。

  2. スケジュール時刻の設定：スケジュール時刻を 02:00 に設定します。

• ステップ 2: スケジューリングポリシーの設定

  1. 再実行プロパティの定義：[再実行] を [実行ステータスに関係なく許可] に設定します。

  2. 失敗時の自動再実行：[失敗時の自動再実行] を選択し、再試行回数を 3 に、間隔を 5 分 に設定します。

  3. 他のプロパティはデフォルト値のままにします。

• 結果：

  タスクをデプロイすると、システムは翌日 (T+1) から毎日 02:00 にタスクを自動的にトリガーします。タスクが失敗した場合、システムは 5 分ごとに再試行します。タスクは最大 4 回 (通常の実行 1 回 + 再試行 3 回) 実行されます。

機能紹介

時間プロパティの設定は、定期タスクの生成から実行までの全プロセスを定義します。これには、以下のコアディメンションが含まれます：

• スケジュール時刻：タスク実行のスケジューリング頻度と特定の時刻を定義します。

• インスタンスのライフサイクル管理：インスタンスがいつ作成され、その有効期間がどうなるかを決定します。これには以下が含まれます：

  • インスタンス生成モード: インスタンスが生成されるタイミングを制御します。

    デプロイメント当日または翌日。

  • 有効期間：タスク全体の有効期間を設定します。

  • スケジューリングカレンダー：祝日などの非稼働日を除外します。

• 実行ポリシー：スケジュール時刻におけるインスタンスの動作を定義します。例えば、通常実行、ドライラン (スキップ)、または一時停止などです。

• 例外とフォールトトレランス：タイムアウト定義と再実行設定を通じて、タスクの失敗やタイムアウトなどの例外に対する自動処理を提供します。

スケジュール時刻

スケジュール時刻は、タスクの計画された実行時間 (定刻とも呼ばれる) を制御します。これにより、本番環境でタスクノードがどれくらいの頻度で自動的にトリガーされるかが決まります。システムは、設定した周期に基づいて対応する数の定期インスタンスをタスクに対して生成します。その後、これらのインスタンスのスケジュール時刻とスケジューリング依存関係を使用して、ワークフロー全体の自動実行を管理します。

以下のセクションでは、さまざまなシナリオの設定例を示します：

分単位のスケジューリング

開始時刻、終了時刻、および実行間隔を設定します。最小間隔は 1 分です。指定された期間内に、システムは固定間隔で複数のインスタンスを生成します。

設定例

対象ノードは、毎日 00:00 から 23:59 までの時間帯に 30 分ごとにスケジュールされます。以下の図に設定の詳細を示します。

インスタンスの詳細

以下の図は、30 分ごとにスケジュールされるノードのスケジュール時刻とスケジューリングパラメーターの置換を示しています。

時間単位のスケジューリング

これは、高頻度の同期やニアリアルタイムコンピューティングのシナリオに適しています。

• インスタンス生成ロジック：システムは、閉区間 [開始時刻, 終了時刻] に基づいて定期インスタンスを計算します。

  • 例：時間範囲を [00:00, 03:00]、間隔を 1 時間 に設定した場合、システムは 4 つのインスタンスを生成します。それらの計画実行時刻は、正確に 00:00、01:00、02:00、03:00 です。

• 設定方法：

  • 頻度ベースのトリガー：指定された期間内に、固定間隔 (1 時間ごとなど) でタスクがループ実行されます。

  • 特定時刻トリガー：タスクを実行するための、1 つ以上の離散的で正確な時刻を直接指定します。

設定例

対象タスクは、毎日 00:00 から 23:59 までの時間帯に 6 時間ごとに自動的にスケジュールされます。以下の図に設定の詳細を示します。

スケジューリングの詳細

スケジューリングシステムは、毎日 4 つのインスタンスを生成し、それらをスケジュール時刻である 00:00、06:00、12:00、18:00 に実行します。以下の図に示します。

日単位のスケジューリング

日単位のスケジューリングは、最も一般的なスケジューリング方法です。指定された有効期間内に、1 日 1 回、指定された時刻にタスクを実行できます。タスクを作成すると、デフォルトで日単位のスケジューリングに設定され、スケジュール時刻は 00:00 から 00:30 の間でランダムに生成されます。必要に応じて、異なる実行時刻を指定できます。例えば、毎日 13:00 にタスクを 1 回実行するように指定できます。

設定例

スケジューリングの詳細

スケジューリングシステムは、タスクのインスタンスを自動的に生成して実行します。以下の図は、各ビジネス日付のデータ変換時刻を示しています。

週単位のスケジューリング

これは、週に 1 回の固定頻度で行われるビジネスサマリーや定期的なデータメンテナンスに適しています。

インスタンス生成ロジック：システムは、有効期間内に毎日インスタンスを生成します。

• 通常実行：コードロジックは、選択した実行日 (月曜日と金曜日など) にのみスケジュール通りにトリガーされます。

• 自動ドライラン：選択されていない日 (火曜日、水曜日、木曜日、土曜日、日曜日など) に生成されたインスタンスは、自動的に成功したドライラン状態に設定されます。これらは実際にはロジックを実行せず、コンピューティングリソースも消費しません。

設定例

対象タスクが毎週月曜日と金曜日にスケジュール実行されるように設定されている場合、月曜日と金曜日に生成されたインスタンスは正常にスケジュールされ、実行されます。火曜日、水曜日、木曜日、土曜日、日曜日に生成されたインスタンスはドライランされます。これは、スケジュールされた実行時刻に達すると、コードロジックを実行せずにステータスが直接「成功」に設定されることを意味します。以下の図に設定の詳細を示します。

スケジューリングの詳細

スケジューリングシステムは、タスクのインスタンスを自動的に生成して実行します。

月単位のスケジューリング

これは、暦月に基づくデータ処理シナリオに適しています。財務決済、月次業績レポート、ユーザー行動の月次分析など、コアタスクの一般的な周期です。

インスタンス生成ロジック：システムは、選択した月の特定の日付に基づいてインスタンスを生成します。月単位のスケジューリングインスタンスは、暦月全体を表します。

• 通常実行：コードロジックは、選択した実行日 (15 日や月の最終日など) にのみスケジュール通りにトリガーされます。

• 自動ドライラン：選択されていない日 (月の 1 日から 14 日など) に生成されたインスタンスは、自動的にドライラン状態に設定されます。これらは実際にはロジックを実行せず、コンピューティングリソースも消費しません。

設定例

対象タスクが毎月の最終日に決済を実行するように設定されている場合、月の最終日に生成されたインスタンスは正常にスケジュールされ、実行されます。他の日に生成されたインスタンスはドライランされます。これは、スケジュールされた実行時刻に達すると、コードロジックを実行せずにステータスが直接「成功」に設定されることを意味します。以下の図に設定の詳細を示します。

スケジューリングの詳細

スケジューリングシステムは、以下の図に示すように、タスクのインスタンスを自動的に生成して実行します。

説明

• データバックフィル機能を使用して月単位のスケジューリングタスクのデータをバックフィルする場合、バックフィル用に選択する日付はビジネス日付であり、ビジネス日付 = スケジュール時刻 - 1 日であることにご注意ください。

  例：

  • 月の初日に実行されるタスクのデータをバックフィルする場合、データタイムスタンプとして前月の末日を選択します。

  • 月の末日に実行されるタスクのデータをバックフィルする場合、データタイムスタンプとして月の末日の前日を選択します。

  • バックフィルのデータタイムスタンプとして他の時刻を選択した場合、データバックフィルインスタンスはドライランされます。

• 依存関係のシナリオに関する詳細については、「ベストプラクティス：複雑な依存関係を持つスケジューリング設定の原則と例」をご参照ください。

年単位のスケジューリング

これは、四半期ごとのサマリー、年次監査、または特定の祝日のためのタスクなど、長周期のデータタスクに適しています。

• インスタンス生成ロジック：インスタンスは年間を通じて毎日生成されますが、実際の計算は指定された月と日付にのみトリガーされます。

  • 柔軟な組み合わせ：各四半期の初日または最終日にのみ実行するなど、異なる月にまたがる複数の日付の選択をサポートします。

  • ドライランメカニズム：実行条件を満たさない日付では、インスタンスは数秒でドライランされます。実際にはロジックを実行せず、コンピューティングリソースも消費しません。

設定例

対象タスクが毎年 1 月、4 月、7 月、10 月の 1 日と最終日に実行されるように設定されている場合、これらの指定された日付に生成されたインスタンスは正常にスケジュールされ、実行されます。他の日付に生成されたインスタンスはドライランされます。これは、スケジュールされた実行時刻に達すると、コードロジックを実行せずにステータスが直接「成功」に設定されることを意味します。以下の図に設定の詳細を示します。

スケジューリングの詳細

スケジューリングシステムは、以下の図に示すように、タスクのインスタンスを自動的に生成して実行します。

インスタンスのライフサイクル管理

これらの設定は、タスクインスタンスが作成されるかどうかを決定します。タスクの特定の実行時間を制御するのではなく、より高いレベルでインスタンスを作成すべきか、スケジューリングルール自体がアクティブであるべきかを管理します。

• インスタンス生成モード：設定変更が当日に有効になるか、翌日に有効になるかを決定します。翌日有効化 (デフォルト) は、変更が当日のタスクに干渉しないようにし、スムーズな移行を可能にします。即時有効化は、当日のインスタンスを強制的にリセットして変更を適用します。このオプションは、緊急の修正が必要で、変更のリスクを理解し評価した後にのみ使用してください。

• 有効期間：スケジューリングルール全体の有効期間を定義します。

• スケジューリングカレンダー：「取引日」のみに実行するなど、スケジューリングを特定のカレンダーにバインドできます。これは、「週」単位のスケジューリングよりも柔軟な制御方法です。

実行ポリシー

この設定は、タスクがトリガーされた後にどのように実行されるべきかを定義します。

例外とフォールトトレランス

これは、データリンクの安定性を確保するための重要な部分です。さまざまな起こりうる例外に対するソリューションを提供します。

• 再実行プロパティ：タスクが失敗したときに、システムがタスクを自動的に再試行するかどうか、またその方法を決定します。

• タイムアウト設定：タスクの実行時間に合理的な上限を設定します。時間を超えた場合、システムは自動的にアラートを送信したり、タスクを中断したりして、単一の異常なノードがスタックしてリソースを過剰に消費するのを防ぎます。

よくある質問

• Q：タスクの実際の実行時間がスケジュール時刻と異なるのはなぜですか？

  A：スケジュール時刻は、タスクの「期待される」開始時刻にすぎません。実際の実行には、① すべての上流依存タスクが成功していること、② スケジューリングリソースが利用可能であること、という 2 つの条件が満たされる必要があります。どちらかの条件が満たされない場合、タスクは待機状態のままになります。

• Q：私の上流タスクは時間単位で実行され、下流タスクは日単位で実行されます。これらは互いに依存できますか？

  A：はい、できます。DataWorks は、異なるスケジューリング周期を持つタスク間の依存関係をサポートしています。システムは複雑な依存関係解析アルゴリズムを使用して、下流タスクが実行される前に、すべての上流インスタンスが完了するのを待つようにします。詳細については、「複雑な依存関係シナリオにおけるスケジューリング設定の原則と例」をご参照ください。

• Q：先週の金曜日のデータをバックフィルした後、bizdate 変数に金曜日の日付が表示されないのはなぜですか？

  A：これは通常、「ビジネス日付」と「実行日」を混同しているためです。DataWorks では、ビジネス日付 = スケジュール時刻 - 1 日となります。土曜日の早朝に実行されるようにスケジュールされたタスクのデータをバックフィルする場合、選択する必要があるビジネス日付は金曜日です。

• Q：私のタスクはデータを書き込みます。再実行された場合、データは重複しますか？

  A：はい、その可能性があります。そのため、タスクがべき等であることを強く推奨します。データ書き込みタスクでは、INSERT INTO (追記) の代わりに INSERT OVERWRITE (上書き) を使用して、タスクを複数回再実行しても同じ結果になるようにしてください。