DataWorks:インテリジェントベースライン

ユースケース

• タスクの優先度を管理する。

  タスク数が増加し、リソースが限られている場合、リソースの競合が発生する可能性があります。重要なタスクをベースラインに追加し、ベースラインに高い優先度を設定することで、これらのタスクにリソースが最初に割り当てられるようにすることができます。

• タスクの推定完了時刻を計算する。

  タスクの実行は、リソースの可用性と上位タスクのステータスの影響を受けます。タスクをベースラインに追加すると、DataWorks は日次または時間単位の推定完了時刻を計算します。これにより、タスクの予測完了時刻を簡単に表示できます。

• タスクがコミット時刻前に完了することを保証する。

  タスクをベースラインに追加し、コミット時刻を設定できます。システムがタスクがコミット時刻前に完了できないと予測した場合、または上位タスクが失敗したり遅延したりした場合、システムはアラートを送信します。その後、アラート情報を使用して問題を迅速に解決し、タスクが時間通りに完了するようにできます。

概念

• ベースライン: 重要なタスクをベースラインに追加してコミット時刻を設定すると、システムは実行ステータスに基づいてベースラインタスクの推定完了時刻を計算します。システムがベースラインタスクがコミット時刻前に完了しない可能性があると判断した場合、ベースラインアラートをトリガーします。

• コミット時刻: タスクが正常に完了しなければならない最新の時刻。データアプリケーションの場合、タスクはこの時刻までに完了することが保証されます。運用保守 (O&M) エンジニアが例外を処理するための時間を確保するために、ベースラインに [アラートマージン] を設定できます。システムは数式 コミット時刻 - アラートマージン を使用して アラート時刻 を計算し、タスクがこの時刻までに正常に完了できるかどうかを判断します。

• ベースラインタスク: ベースラインに追加されたタスク。

• ベースラインインスタンス: システムはベースラインインスタンスを使用して、各タスク実行の推定完了時刻を計算します。ベースラインインスタンスは、Safe、Warning、または Breached のいずれかのステータスを持つことができます。

  • Safe: 推定完了時刻 < アラート時刻。

  • Warning: アラート時刻 < 推定完了時刻 < コミット時刻。

  • Breached: 推定完了時刻 > コミット時刻。

• キーパス: ベースラインタスクに影響を与えるすべてのパスの中で最も実行時間が長いパス。

• イベント: ベースラインタスクまたはその上位タスクが失敗した場合、またはキーパス上のタスクが遅延した場合にイベントが生成されます。イベントは、ベースラインタスクの時間通りの完了に影響を与える可能性があります。

特徴

重要なタスクをベースラインに追加すると、DataWorks はベースラインの優先度に基づいてベースラインタスクにリソースを割り当てます。また、ベースラインタスクの上流および下流の依存関係に基づいて監視範囲を決定します。この範囲内のタスクの実行ステータスに基づいて、ベースラインアラートまたはイベントアラートがトリガーされます。

監視範囲は、ベースラインタスク K に基づいて決定されます。

• ベースラインタスクの上位ノード: タスク K の出力に影響を与えるすべてのノードが監視範囲に含まれます:

• ベースラインタスクの下位ノード: これらは監視範囲に含まれません:

• キーパス: タスク K に影響を与えるすべてのパスの中で最も長いパス:

1. ベースラインを作成する:

   • ベースラインに追加するタスク K を指定します。

   • ベースラインの優先度とアラートポリシーのパラメーターを設定します。

2. 監視範囲内のタスクの実際の実行ステータスに基づいて、ベースラインアラートまたはイベントアラートがトリガーされます。

課金

• ベースラインインスタンスの数: 有効になっているすべてのベースラインはベースラインインスタンスを生成します。DataWorks は、当日 23:59 までに生成されたベースラインインスタンスの数に基づいて課金します。詳細については、「インテリジェントベースラインインスタンスの課金」をご参照ください。

• アラートのショートメッセージと電話の数: ベースラインアラートでは、ショートメッセージと電話の料金が発生します。詳細については、「アラートのショートメッセージと電話の課金」をご参照ください。

制限

DataWorks Standard Edition 以降のバージョンのみがインテリジェントベースライン機能をサポートしています。以前のバージョンを使用している場合は、この機能を使用するために Standard Edition 以降のバージョンにアップグレードする必要があります。詳細については、「DataWorks の各エディションの機能」をご参照ください。

コアロジック: 監視範囲

ベースラインが作成され、タスクが追加された後、インテリジェントベースライン機能はベースラインタスクのすべての上流および下流タスクを監視するわけではありません。関連する上流および下流タスクの監視範囲は次のとおりです:

• 上流タスク: ベースラインタスクのデータ出力に影響を与える上流タスクは監視範囲に含まれます。

• 下流タスク: 下流タスクは監視範囲に含まれません。これは、ベースラインタスクの下流タスクや、上位タスクの別のブランチの下流タスクが失敗してもアラートがトリガーされないことを意味します。

上の図に示すように、DataWorks システムに 6 つのタスクノードがあると仮定します。タスク D と E はベースラインタスクです。タスク A と B はタスク D と E のデータ出力に影響を与えます。したがって、タスク A、B、D、E はすべて監視範囲に含まれます。この範囲内で、いずれかのタスクが失敗したり遅延したりするなど異常になった場合、インテリジェントベースライン機能が自動的にそれを検出します。タスク C と F はインテリジェントベースラインによって監視されません。

コアロジック: ベースラインアラート

コアロジック: イベントアラート

コアロジック: キーパスとキーインスタンス

ベースライン上で保証されなければならないタスクの依存関係は複雑になることがあります。DataWorks は、ベースライン上のデータ出力をブロックしているキーパスとキーインスタンスを迅速に特定するのに役立つガントチャート機能を提供します。ベースラインのキーパスは、ベースラインタスクの出力に影響を与える複数のパスの中で最も実行時間が長いパスです。

例

• シナリオ: 現在の時刻は 6:40 で、タスク F はまだ実行中です。

• ベースライン警告:

  YYYY-MM-DD HH:mm:ss

  ベースライン XX 警告、ビジネス時間 XX、マージン: -10 分...

• イベントアラート:

  YYYY-MM-DD HH:mm:ss

  イベントリマインダー、ビジネス時間 XX、タスク XX、ステータス: 遅延...