スケジュールされたタスクとは、スケジュール設定に基づいて自動的に実行されるタスクです。オペレーションセンターの [スケジュールされたタスク] ページでは、ワークスペース内のスケジュールされたタスクのリストを表示し、本番環境での構成を確認し、管理操作を実行できます。
背景情報
DataWorks では、スケジュールされたタスクとは、スケジュールに基づいて自動的に実行されるタスクです。すべてのスケジュールされたタスクは、[スケジュールされたタスクの管理] ページで表示できます。これらのタスクは、スケジュールに従って自動的に実行することも、オンデマンドで手動実行することもできます。タスクを手動で実行するには、データバックフィル機能とテスト機能を使用して、特定のデータ処理やデバッグのためのデータバックフィルインスタンスまたはテストインスタンスを生成できます。自動的にスケジュールされるタスクの場合、システムはトリガー条件が満たされると新しいスケジュールされたインスタンスを作成して実行します。たとえば、毎晩 22:00 に、システムは翌日のスケジュールされたインスタンスを生成します。
本番環境でスケジュールされたタスクに加えた変更は、通常、変更後に生成されるインスタンスに影響します。スケジュールされたタスクへのほとんどの変更は、次回のスケジュール実行時に有効になります。これは、当日のスケジュールされたインスタンスが前日の 22:00 に生成されるためです。これに対して、データバックフィルインスタンスは現在のタスク構成に基づいてただちに生成され、手動でトリガーされるとすぐに実行されます。タスクの作成、デプロイ、実行、スケジュールの一時停止、デプロイ解除などの詳細な運用操作については、「スケジュールされたタスクの基本的な運用操作」をご参照ください。
制限事項
DAG ビューでのノード集約、アップストリーム分析、ダウンストリーム分析機能を使用できるのは、DataWorks Professional Edition 以上のエディションのユーザーのみです。エディションのアップグレードの詳細については、「エディションと課金方法の選択」をご参照ください。
注意事項
-
workspace-name_rootノードを操作しないでください。これはワークスペースのルートノードです。すべてのスケジュールされたインスタンスはこのノードに依存しています。このノードをフリーズすると、スケジュールされたインスタンスは実行できなくなります。 -
タスクへのすべての変更は、本番環境で有効にするためにデプロイする必要があります。デプロイは失敗したり、ブロックされたり、意図しないバージョンになったりする可能性があります。したがって、タスクをデプロイした後は、 ページに移動して変更を確認してください。
スケジュールされたタスクページへの移動
-
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
-
オペレーションセンター に移動した後、左側のナビゲーションウィンドウで をクリックします。定期タスク ページで、スケジュールされたタスクのリストまたは DAG を表示します。
スケジュールされたタスクの表示
スケジュールされたタスクリストには、スケジューリングシステムに送信されたタスクが表示されます。[スマート検索] または [フィルター] を使用して、目的のタスクを検索できます。
スマート検索モード
スケジュールされたタスクのスマート検索機能を使用すると、検索内容を入力するだけで、システムが自動的に解析し、目的のタスクリストをすばやく絞り込みます。
-
スマート検索を実行します。
スケジュールされたタスクのフィルターバーにある [スマート検索] ボタンをクリックします。表示されるダイアログで、
タスクタイプで並べ替えなど、検索したい内容を入力し、Enter キーを押します。システムが自動的に一致する関連タスクを表示します。 -
新しいビューを保存します。
スマート検索の検索条件を後で再利用したい場合は、検索バーの をクリックします。[ビューの保存] ダイアログで、任意の [ビュー名] を指定し、保存 をクリックします。その後、ビュー検索バーで新しいビューを見つけて、今後のタスク検索に使用できます。
説明新しいビューをタスク検索に使用する必要がなくなった場合は、ビュー検索バーで作成したビュー名を見つけます。ビュー名にマウスポインターを合わせ、右側の [...] ボタンをクリックし、編集 または 削除 を選択します。
-
スマート検索を閉じます。
フィルター条件を使用して正確な検索を実行する必要がある場合は、Esc キーを押すか、タスクツールバーの [スマート検索を閉じる] ボタンをクリックして、スマート検索モードを終了します。
フィルターモード
スケジュールされたタスクのフィルター機能を使用すると、提供されるフィルター条件を使用して、必要なタスクリストを正確に絞り込めます。
-
シンプルなフィルタリング。
ツールバーで、タスク名 / タスク ID、タスクタイプ、180日以内に有効期限切れ、リファレンスの有効化 などの基準に基づいて、複数のフィルター条件を1つずつ選択し、目的のタスクを絞り込めます。
-
詳細フィルタリング。
スケジュールされたタスクのフィルターバーにある フィルター ボタンをクリックします。タスク名 / タスク ID、Compute Engine Type、ベースライン、優先度 などの複数の条件を組み合わせて、必要なタスクを正確に検索できます。
-
一時停止 (フリーズ) ノード：フリーズしたタスクは自動的にスケジュールされず、ダウンストリームタスクの実行をブロックします。具体的には、一時停止 (フリーズ) したスケジュールされたタスクはフリーズしたインスタンスを生成し、フリーズしたインスタンスは実行がスケジュールされず、ダウンストリームタスクの実行をブロックします。
-
孤立ノード：孤立ノードとは、親ノードに依存しないタスクです。このタイプのタスクは自動的にスケジュールされません。孤立ノードに多くのダウンストリーム依存関係がある場合、ダウンストリームタスクの実行に影響します。詳細については、「孤立ノードの処理」をご参照ください。
-
期限切れノード：有効期間内にないノードはインスタンスを生成せず、実行されません。
スケジュールされたタスクの [管理]
個別タスクの管理
特定のスケジュールされたタスクを管理するには、スケジュールされたタスクリストでタスクを見つけ、操作 列の対応する機能を使用します。次の表に、使用可能な機能を示します。
|
機能 |
説明 |
|
|
DAG グラフ |
DAG には、スケジュールされたタスクのアップストリームとダウンストリームの依存関係が表示されます。DAG 内のタスクに対して関連操作を実行できます。詳細については、「スケジュールされたタスクの DAG の表示」をご参照ください。 |
|
|
テスト |
スケジュールされたタスクが期待どおりに実行されるかテストするために使用します。テストを実行すると、テストインスタンスが生成されます。テストタスクの実行ステータスは、インスタンスのテスト ページで確認できます。詳細については、「テストインスタンス」をご参照ください。 説明
テスト実行でもビジネスデータが生成されます。慎重に実行してください。 |
|
|
データバックフィル |
過去のデータまたは将来の期間のデータをバックフィルするために使用します。データバックフィル操作を実行すると、データバックフィルインスタンスが生成されます。データバックフィルタスクの実行ステータスは、データバックフィルインスタンス ページで確認できます。詳細については、「データバックフィルインスタンス」をご参照ください。 |
|
|
詳細 |
一時停止 (フリーズ) |
タスクとそのダウンストリームタスクを一定期間実行する必要がない場合、タスクを一時停止 (フリーズ) できます。 フリーズしたスケジュールされたタスクは、フリーズしたインスタンスを生成します。フリーズしたインスタンスは実行されず、ダウンストリームタスクの実行をブロックします。 説明
|
|
復元 (解凍) |
フリーズしたスケジュールされたタスクのフリーズを解除するために使用します。 |
|
|
所有者の変更 |
現在のタスクの所有者を変更するために使用します。 |
|
|
スケジューリングリソースグループの変更 |
スケジュールされたタスクが使用するスケジューリングリソースグループを変更するために使用します。 |
|
|
タグの編集 |
スケジュールされたタスクアセットのラベルを変更、追加、または関連付け解除できます。ラベルを一元的に管理するには、ラベル管理に移動してください。 |
|
|
品質モニタリングの構成 |
現在のタスクのデータ品質監視ルールを構成するために使用します。タスクの実行時に、ルールに基づいてデータが検証されます。詳細については、「データ品質の概要」をご参照ください。 |
|
|
インスタンスの表示 |
このオプションをクリックすると、現在のタスクによって生成されたインスタンスが表示される 定期インスタンス ページに移動します。 |
|
|
データリネージの表示 |
現在のタスクのリネージ情報を表示するために使用します。 |
|
|
定期タスクの詳細 |
タスクの基本プロパティを表示するために使用します。関連するパラメーターの詳細については、「ノードの詳細の表示」をご参照ください。 |
|
|
アラームの追加 |
スケジュールされたタスクの日常的な実行ステータスを監視するために、カスタムアラートルールを構成するために使用します。構成が完了すると、ページで追加された監視ルールを表示できます。詳細については、「監視ルールの構成」をご参照ください。 |
|
|
[ベースライン監視への追加] |
現在のタスクをベースラインに追加するために使用します。ベースラインの詳細については、「インテリジェントベースラインの概要」をご参照ください。 |
|
タスクのバッチ操作
スケジュールされたタスクに対してバッチ操作を実行するには、スケジュールされたタスクリストで目的のタスクを選択し、リストの下にある 一時停止 (フリーズ) や 復元 (解凍) などのオプションを使用します。
スケジュールされたタスクの DAG の [表示]
スケジュールされたタスクの DAG グラフ 列にある 操作 ボタンをクリックすると、タスクの DAG 詳細ページに移動します。
DAG パネルの機能
スケジュールされたタスクの DAG 詳細ページでは、次の機能を使用して、DAG パネルでノードを集約し、ダウンストリームタスクを分析し、DAG の表示スタイルを調整できます。
|
機能 |
説明 |
|
|
|
必要に応じて左上隅の機能アイコンをクリックし、次のディメンションでノード情報を集約できます。
|
|
|
|
スケジュールされたタスクが多すぎる場合やレベルが多すぎる場合は、下流分析 機能を使用して、現在のタスクによって影響を受けるダウンストリームタスクの数を集計できます。 |
|
|
|
必要に応じて右上隅の機能アイコンをクリックし、DAG の表示スタイルを調整できます。 |
|
DAG 操作
スケジュールされたタスクの DAG 詳細ページで、ワークフロー内のノードを右クリックすると、そのアップストリームとダウンストリームの依存関係、コードの詳細、その他の関連情報を表示できます。使用可能な操作は次のとおりです。
-
親ノードの表示：現在のタスクのアップストリームタスクをレベルごとに展開します。最大 6 レベルまで展開できます。この機能を使用して、現在のタスクのデータ出力に影響を与えるタスクを特定できます。
-
子ノードの表示：現在のタスクのダウンストリームタスクをレベルごとに展開します。最大 6 レベルまで展開できます。この機能を使用して、現在のタスクのデータ出力によって影響を受けるタスクを特定できます。
-
コードの表示：本番環境での現在のタスクのコードの詳細を確認するために使用します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされたかどうかを確認してください。本番タスクのデプロイの詳細については、「タスクのデプロイ」をご参照ください。
-
ノードの編集：このオプションをクリックすると、Data Studio ページに移動し、現在のタスクが開きます。
その他の操作については、「スケジュールされたタスクの管理」をご参照ください。
ノードの詳細の表示
タスクプロパティを表示し、詳細を展開して、詳細な属性、コンテキストパラメーター、操作ログ、コードを表示して、本番環境でのスケジューリングパラメーター、リソースグループ、コードが期待どおりかどうかを確認できます。手順は次のとおりです。
スケジュールされたタスクの DAG 詳細ページで、ワークフロー内のノードをクリックします。表示されるノード情報で、「詳細を展開」をクリックして、以下のタブで関連情報を表示します。
|
機能 |
説明 |
|
プロパティ |
本番環境でのタスクのスケジュール設定を表示できます。パラメーターの詳細については、「スケジュール設定」をご参照ください。 説明
Data Studio ページとオペレーションセンターのスケジュールされたタスクページのパラメーター構成に一貫性がない場合は、タスクの変更が正常にデプロイされたかどうかを確認してください。
|
|
操作ログ |
タスクの操作記録 (操作時刻、オペレーター、具体的な操作など) を表示するために使用します。 |
|
コード |
本番環境での現在のタスクの最新コードを表示するために使用します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされたかどうかを確認してください。詳細については、「タスクのデプロイ」をご参照ください。 |