スケジュールされたタスクは、そのスケジュール設定に基づいて自動的に実行されるタスクです。オペレーションセンターのスケジュールされたタスクページでは、ワークスペース内のスケジュールされたタスクのリストを表示し、本番環境での設定を確認し、管理操作を実行できます。
背景情報
DataWorks では、スケジュールされたタスクは、そのスケジュールに基づいて自動的に実行されるタスクです。スケジュールされたタスク管理ページですべてのスケジュールされたタスクを表示できます。これらのタスクは、スケジュールに従って自動的に実行することも、オンデマンドで手動で実行することもできます。タスクを手動で実行するには、データバックフィルとテスト機能を使用して、特定のデータ処理やデバッグのためにバックフィルインスタンスやテストインスタンスを生成できます。自動でスケジュールされるタスクの場合、システムはトリガー条件が満たされると新しいスケジュールされたインスタンスを作成して実行します。たとえば、毎晩 22:00 に、システムは翌日のスケジュールされたインスタンスを生成します。
本番環境でスケジュールされたタスクに加えられた変更は、通常、変更後に生成されるインスタンスに影響します。ほとんどのスケジュールされたタスクの変更は、当日のスケジュールされたインスタンスが前日の 22:00 に生成されるため、次のスケジュールされた実行時に有効になります。対照的に、データバックフィルインスタンスは、現在のタスク設定に基づいて即座に生成され、手動でトリガーされるとすぐに実行されます。タスクの作成、デプロイ、実行、スケジューリングの一時停止、アンデプロイなどの詳細な O&M 操作については、「スケジュールされたタスクの基本的な O&M 操作」をご参照ください。
制限事項
DataWorks Professional Edition またはそれ以降のエディションのユーザーのみが、DAG ビューでノード集約、上流分析、下流分析機能を使用できます。エディションのアップグレードに関する詳細については、「エディションと課金方法の選択」をご参照ください。
注意事項
-
workspace-name_rootノードを操作しないでください。これはワークスペースのルートノードです。すべてのスケジュールされたインスタンスはこのノードに依存します。このノードをフリーズすると、スケジュールされたインスタンスは実行できません。 -
タスクへのすべての変更は、本番環境で有効にするためにデプロイする必要があります。デプロイが失敗したり、ブロックされたり、または予期しないバージョンになる可能性があります。したがって、タスクをデプロイした後は、 ページに移動して変更を確認してください：
スケジュールされたタスクページへの移動
-
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
-
オペレーションセンター に移動し、左側のナビゲーションペインで の順にクリックします。[自動トリガーノード] ページで、スケジュールされたタスクリストまたは DAG を表示します。
スケジュールされたタスクの表示
スケジュールされたタスクリストには、スケジューリングシステムに送信されたタスクが表示されます。[インテリジェント検索] または [フィルター] を使用して、表示したいタスクを見つけることができます。
インテリジェント検索モード
スケジュールされたタスクのスマート検索機能を使用すると、検索内容を入力するだけで、システムが自動的に解析し、表示したいタスクリストをすばやく絞り込みます。
-
スマート検索を実行します。
スケジュールされたタスクのフィルターバーにある [インテリジェント検索] ボタンをクリックします。表示されるダイアログで、
タスクタイプでソートなど、検索したい内容を入力し、Enterキーを押して確定します。システムが自動的に一致するタスクを検索し、表示します。 -
新しいビューを保存します。
後でインテリジェント検索の検索条件を再利用したい場合は、検索バーの をクリックします。[ビューの保存] ダイアログで、カスタムの [ビュー名] を指定し、保存 をクリックします。その後、ビュー検索バーで新しいビューを見つけて、将来のタスク検索に使用できます。
説明タスク検索に新しいビューを使用しなくなった場合は、ビュー検索バーで作成したビュー名を見つけます。ビュー名にカーソルを合わせ、右側の [...] ボタンをクリックし、ビューの 編集 または 削除 を選択します。
-
スマート検索を閉じます。
フィルター条件を使用して正確な検索を行う必要がある場合は、Escキーを押すか、タスクツールバーの [インテリジェント検索を閉じる] ボタンをクリックして、インテリジェント検索モードを終了します。
フィルターモード
スケジュールされたタスクのフィルター機能を使用すると、提供されているフィルター条件を使用して、必要なタスクリストを正確に絞り込むことができます。
-
簡易フィルタリング
ツールバーで、タスク名 / タスク ID、タスクタイプ、180日以内に有効期限切れ、リファレンスの有効化 などの基準に基づいて複数のフィルター条件を1つずつ選択し、表示したいタスクを絞り込むことができます。
-
高度なフィルタリング
スケジュールされたタスクのフィルターバーにある フィルター ボタンをクリックします。タスク名 / タスク ID、エンジンタイプ、ベースライン、優先度 などの複数の条件を組み合わせて、必要なタスクを正確に見つけることができます。
-
一時停止 (フリーズ) されたノード：フリーズされたタスクは自動的にスケジュールされず、その下流タスクの実行をブロックします。具体的には、一時停止 (フリーズ) されたスケジュールされたタスクはフリーズされたインスタンスを生成し、フリーズされたインスタンスは実行がスケジュールされず、その下流タスクの実行をブロックします。
-
孤立ノード：孤立ノードは、親ノードに依存しないタスクです。このタイプのタスクは自動的にスケジュールされません。孤立ノードに多くの下流依存関係がある場合、下流タスクの実行に影響します。詳細については、「孤立ノードの処理」をご参照ください。
-
期限切れノード：有効期間内にないノードはインスタンスを生成せず、実行されません。
スケジュールされたタスクの管理
個別タスクの管理
特定のスケジュールされたタスクを管理するには、スケジュールされたタスクリストでタスクを見つけ、操作 列の機能を使用します。次の表で、利用可能な機能について説明します：
|
機能 |
説明 |
|
|
[DAG グラフ] |
DAG は、スケジュールされたタスクの上流と下流の依存関係を表示します。DAG 内のタスクに対して関連操作を実行できます。詳細については、「スケジュールされたタスクの DAG の表示」をご参照ください。 |
|
|
[テスト] |
スケジュールされたタスクが期待どおりに実行されるかをテストします。テストを実行すると、テストインスタンスが生成されます。インスタンスのテスト ページでテストタスクの実行ステータスを表示できます。詳細については、「テストインスタンス」をご参照ください。 説明
テスト実行でもビジネスデータが生成されます。注意して実行してください。 |
|
|
[データバックフィル] |
過去のデータまたは将来の期間のデータをバックフィルします。データバックフィル操作を実行すると、バックフィルインスタンスが生成されます。データバックフィルインスタンス ページでデータバックフィルタスクの実行ステータスを表示できます。詳細については、「データバックフィルインスタンス」をご参照ください。 |
|
|
[詳細] |
[一時停止 (フリーズ)] |
タスクとその下流タスクを一定期間実行する必要がない場合、タスクを一時停止 (フリーズ) できます。 フリーズされたスケジュールされたタスクは、フリーズされたインスタンスを生成します。フリーズされたインスタンスは実行されず、その下流タスクの実行をブロックします。 説明
|
|
[復元 (解凍)] |
フリーズされたスケジュールされたタスクをフリーズ解除します。 |
|
|
[所有者の変更] |
現在のタスクの所有者を変更します。 |
|
|
[スケジューリングリソースグループの変更] |
スケジュールされたタスクが使用するスケジューリングリソースグループを変更します。 |
|
|
[タグの編集] |
スケジュールされたタスクのラベル (タグ) を変更、追加、または関連付けを解除できます。タグを一元管理するには、「タグ管理」に移動します。 |
|
|
[品質モニタリングの構成] |
現在のタスクのデータ品質モニタリングルールを設定します。タスクの実行時に、データはルールに対して検証されます。詳細については、「データ品質の概要」をご参照ください。 |
|
|
[インスタンスの表示] |
このオプションをクリックすると、現在のタスクによって生成されたインスタンスが表示される 定期インスタンス ページに移動します。 |
|
|
[データリネージの表示] |
現在のタスクのリネージ情報を表示します。 |
|
|
[定期タスクの詳細] |
タスクの基本プロパティを表示します。関連パラメーターの詳細については、「ノード詳細の表示」をご参照ください。 |
|
|
[アラームの追加] |
スケジュールされたタスクの日々の実行ステータスを監視するためのカスタムアラートルールを設定します。設定が完了すると、追加されたモニタリングルールを ページで表示できます。詳細については、「モニタリングルールの設定」をご参照ください。 |
|
|
[ベースラインへ追加] |
現在のタスクをベースラインに追加します。ベースラインの詳細については、「インテリジェントベースラインの概要」をご参照ください。 |
|
一括タスク操作
スケジュールされたタスクに対して一括操作を実行するには、スケジュールされたタスクリストで対象のタスクを選択し、リストの下にある 一時停止 (フリーズ) や 復元 (解凍) などのオプションを使用します。
スケジュールされたタスクの DAG の表示
スケジュールされたタスクの 操作 列にある DAG グラフ ボタンをクリックすると、タスクの DAG 詳細ページに移動します。
DAGパネルの機能
スケジュールされたタスクの DAG 詳細ページでは、次の機能を使用して、ノードを集約したり、下流タスクを分析したり、DAG パネルの DAG 表示スタイルを調整したりできます。
|
機能 |
説明 |
|
|
|
必要に応じて左上の機能アイコンをクリックして、次のディメンションでノード情報を集約できます：
|
|
|
|
スケジュールされたタスクが多すぎる場合や階層が多すぎる場合は、下流分析 機能を使用して、現在のタスクによって影響を受ける下流タスクの数を数えることができます。 |
|
|
|
必要に応じて右上の機能アイコンをクリックして、DAG の表示スタイルを調整できます。 |
|
DAG 操作
スケジュールされたタスクの DAG 詳細ページで、ワークフロー内のノードを右クリックして、その上流と下流の依存関係、コード詳細、その他の関連情報を表示します。利用可能な操作は次のとおりです：
-
親ノードの表示：現在のタスクの上流タスクをレベルごとに展開します。最大6レベルまで展開できます。この機能を使用して、どのタスクが現在のタスクのデータ出力に影響を与えるかを特定できます。
-
子ノードの表示：現在のタスクの下流タスクをレベルごとに展開します。最大6レベルまで展開できます。この機能を使用して、どのタスクが現在のタスクのデータ出力によって影響を受けるかを特定できます。
-
コードの表示：本番環境での現在のタスクのコード詳細を確認します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされているかを確認してください。本番タスクのデプロイについては、「タスクのデプロイ」をご参照ください。
-
ノードの編集：このオプションをクリックすると、Data Studio ページに移動し、現在のタスクを開きます。
その他の操作については、「スケジュールされたタスクの管理」をご参照ください。
ノード詳細の表示
タスクのプロパティを表示し、詳細を展開して、詳細な属性、コンテキストパラメーター、操作ログ、コードを表示し、本番環境のスケジューリングパラメーター、リソースグループ、コードが期待どおりであるかを確認できます。手順は次のとおりです：
スケジュールされたタスクの DAG 詳細ページで、ワークフロー内のノードをクリックします。表示されるノード情報で、詳細を展開して、下のタブで関連情報を表示します。
|
機能 |
説明 |
|
プロパティ |
本番環境でのタスクのスケジュール設定を表示できます。パラメーターの詳細については、「スケジュール設定」をご参照ください。 説明
Data Studio ページとオペレーションセンターのスケジュールされたタスクページのパラメーター設定が一致しない場合は、タスクの変更が正常にデプロイされているかを確認してください。
|
|
操作ログ |
タスクの操作記録を表示します。操作時間、オペレーター、特定の操作などが含まれます。 |
|
コード |
本番環境での現在のタスクの最新コードを表示します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされているかを確認してください。詳細については、「タスクのデプロイ」をご参照ください。 |