自動トリガータスクは、スケジュールに基づいて自動的に実行されるタスクです。オペレーションセンターでは、自動トリガーノードページでこれらのタスクと本番環境の構成を表示および管理できます。
背景情報
DataWorksでは、自動トリガータスクは自動的に実行されるようにスケジュールされたタスクです。自動トリガータスクの管理ページで、このようなすべてのタスクを表示できます。これらのタスクは手動または自動で実行できます。タスクを手動で実行する場合、特定のデータ処理またはデバッグのために、データバックフィルおよびテスト機能を使用してデータバックフィルインスタンスまたはテストインスタンスを生成できます。自動スケジューリング用に構成された自動トリガータスクは、指定された条件が満たされると (たとえば、毎晩 23:30 に、翌日実行されるようにスケジュールされた自動トリガーインスタンスが生成されます)、新しい自動トリガーインスタンスを自動的に作成および実行します。
本番環境における自動トリガータスクへの変更は、通常、変更後に生成されたインスタンスに影響します。自動トリガータスクのほとんどの変更は、その日の自動トリガーインスタンスが前日の 23:30 に生成されたため、次のスケジュールされた時間に有効になります。対照的に、データバックフィルインスタンスは、現在のタスク構成に基づいてすぐに生成され、手動でトリガーされるとすぐに実行されます。タスクの作成、デプロイ、実行、凍結、廃止などの操作の詳細については、「自動トリガータスクの基本操作」をご参照ください。
制限事項
DataWorks Professional Edition以上のユーザーのみが、DAG (有向非巡回グラフ) のノード集約、アップストリーム分析、ダウンストリーム分析機能を使用できます。DataWorksのエディションをスペックアップする方法の詳細については、「エディション」をご参照ください。
注意事項
[
WorkspaceName_root] ノードでは操作を行わないでください。これはワークスペースのルートノードです。すべての自動トリガータスクインスタンスはこのノードに依存します。このノードを凍結すると、自動トリガータスクインスタンスは実行できません。タスクへの変更を本番環境で有効にするには、デプロイメントが必要です。デプロイメントが失敗したり、ブロックされたり、予期しないバージョンになったりする可能性があります。そのため、タスクをデプロイした後、[] ページで変更を検証することを推奨します。
自動トリガーノードページへの移動
DataWorksコンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターへ] をクリックします。
[オペレーションセンター] ページの左側のナビゲーションウィンドウで、[] を選択します。[自動トリガーノード] ページで、タスクのリストまたはDAGを表示できます。
自動トリガータスクの表示
自動トリガーノードページには、スケジュールされたすべてのタスクが一覧表示されます。[インテリジェント検索] および [フィルター] 機能を使用して、目的のタスクを見つけることができます。
インテリジェント検索モード
インテリジェント検索機能は、クエリを解析して、一致するタスクをすばやく見つけて表示します。
インテリジェント検索を実行します。
フィルターボックスにある [インテリジェント検索] ボタンをクリックします。表示されるダイアログボックスで、
sort by node typeなどのクエリを入力し、Enter キーを押します。システムが自動的に一致するタスクを検索して表示します。新しいビューを保存します。
検索条件を再利用する場合は、検索バーで をクリックします。[ビューの保存] ダイアログボックスで、カスタムの [ビュー名] を入力し、[保存] をクリックします。その後、ビュー検索バーからこの新しいビューを見つけて使用できます。
説明このビューが不要になった場合は、ビュー検索バーで検索できます。ビュー名にカーソルを合わせ、[...] ボタンをクリックし、[編集] または [削除] を選択します。
インテリジェント検索を無効にします。
条件付きフィルタリングを使用してより正確に検索するには、Esc キーを押すか、ツールバーの[インテリジェント検索を無効にする]ボタンをクリックして、インテリジェント検索モードを終了します。
フィルターモード
フィルター機能を使用すると、特定の条件に基づいてタスクリストを正確に絞り込むことができます。
シンプルなフィルター。
ツールバーでは、[タスク名/ID]、[ノードタイプ]、[過去 180 日以内に期限切れ]、[参照済み] などの複数の条件を選択して、タスクリストをフィルターできます。
高度なフィルター。
フィルターボックスの [フィルター] ボタンをクリックして、[タスク名/ID]、[コンピューティングリソースグループタイプ]、[ベースライン]、[優先度] などの複数の条件を組み合わせて、目的のタスクを正確に特定します。
凍結ノードは自動的にスケジュールされません。実行されず、ダウンストリームの依存関係をブロックする凍結インスタンスを生成します。
孤立ノードは、親ノードがないノードです。このタイプのノードは自動的に実行されるようにスケジュールされません。孤立ノードに多くのダウンストリーム依存関係がある場合、そのダウンストリームタスクの実行に影響します。詳細については、「孤立ノードの処理」をご参照ください。
期限切れノードは、有効期間外のノードです。インスタンスを生成せず、実行されません。
自動トリガータスクの操作
単一タスク操作
単一の自動トリガータスクを操作するには、リストから該当のタスクを見つけて、[操作] 列のオプションを使用します。利用可能なオプションについては、次の表に記載されています。
機能 | 説明 | |
DAG | DAGは、自動トリガータスクのアップストリームとダウンストリームの依存関係を示します。DAGでタスクを操作できます。詳細については、「自動トリガータスクのDAGの表示」をご参照ください。 | |
テスト | 自動トリガータスクが期待どおりに実行されるか検証します。テストを実行すると、テストインスタンスが生成されます。[テストインスタンス] ページでテスト実行のステータスを表示できます。詳細については、「テストの実行とテストインスタンスの表示」をご参照ください。 説明 テスト実行でもビジネスデータが生成されます。この機能は注意して使用してください。 | |
データ バックフィル | 履歴または将来の期間に対してタスクを実行します。データをバックフィルすると、データバックフィルインスタンスが生成されます。[データバックフィルインスタンス] ページでバックフィルタスクのステータスを表示できます。詳細については、「データバックフィルインスタンスの表示と管理」をご参照ください。 | |
その他 | 凍結 | タスクとそのダウンストリームタスクを一定期間実行する必要がない場合、タスクを凍結できます。 凍結された自動トリガータスクは、凍結ステータスにあるインスタンスも生成します。凍結インスタンスは実行されず、ダウンストリームの依存関係をブロックします。 説明 [ |
凍結解除 | 凍結された自動トリガータスクをアクティブなステータスに復元します。 | |
[オーナーの変更] | 現在のタスクのオーナーを変更します。 | |
スケジューリングリソースグループの変更 | タスクの実行に使用されるスケジューリングリソースグループを変更します。 | |
タグの変更 | タスクアセットのタグを変更、追加、またはバインド解除します。すべてのタグを一元的に管理するには、「タグ管理」ページに移動します。 | |
Data Quality ルールの設定 | 現在のタスクのData Qualityルールを構成して、実行時にデータを検証します。詳細については、「データ品質の概要」をご参照ください。 | |
インスタンスの表示 | クリックして、現在のタスクの [自動トリガーインスタンス] ページに移動します。 | |
系統を表示 | 現在のタスクのデータリネージを表示します。 | |
[周期タスク詳細の表示] | タスクの基本プロパティを表示します。パラメーターの詳細については、「ノード詳細の表示」をご参照ください。 | |
アラートルールの追加 | 自動トリガータスクの毎日の実行ステータスをモニターするのに役立つアラートルールをカスタマイズします。構成後、[] ページで追加されたルールを表示できます。詳細については、「カスタムアラートルールの管理」をご参照ください。 | |
ベースラインの追加 | 現在のタスクを監視のためにベースラインに追加します。ベースラインの使用方法の詳細については、「概要」をご参照ください。 | |
バッチ操作
複数のAuto Triggered Tasksを操作するには、リストでそれらを選択し、リストの下に表示されるオプションから、[フリーズ] や [フリーズ解除] などの一括操作を使用します。
タスクDAGの表示
タスクの [操作] 列にある [DAG] をクリックして、その DAG 詳細ページを開きます。
DAGパネル機能
DAG詳細ページでは、DAGパネルで次の機能を使用して、ノードを集約し、ダウンストリーム分析を実行し、DAG表示スタイルを調整できます。
機能 | 説明 | |
| 左上隅にあるこれらのアイコンをクリックして、次のディメンションでノードを集約できます。
| |
| 階層にタスクまたはレベルが多すぎる場合、[ダウンストリーム分析] 機能を使用して、現在のタスクによって影響を受けるダウンストリームタスクの数をカウントできます。 | |
| 右上隅にあるこれらのアイコンをクリックして、DAGの表示スタイルを調整できます。 | |
DAG操作
DAG詳細ページでは、DAG内のノードを右クリックして複数の操作を実行できます。次の操作が利用可能です。
[祖先ノードの表示]: 現在のタスクのアップストリームタスクをレベルごとに最大6レベルまで展開します。これを使用して、どのタスクが現在のタスクのデータ出力に影響するかを理解します。
[子孫ノードの表示]: 現在のタスクのダウンストリームタスクをレベルごとに最大6レベルまで展開します。これを使用して、どのタスクが現在のタスクのデータ出力によって影響を受けるかを理解します。
[コードの表示]: 本番環境における現在のタスクのコードを表示します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされたことを確認してください。タスクを本番環境にデプロイする方法については、「タスクのデプロイ」をご参照ください。
[ノードの編集]: 現在のタスクをDataStudioで開きます。
その他の操作については、「自動トリガータスクの操作」をご参照ください。
ノード詳細の表示
タスクのスケジューリングパラメーター、リソースグループ、および本番環境のコードが正しいかどうかを確認できます。これを行うには、詳細プロパティ、コンテキストパラメーター、操作ログ、およびコードを表示できます。
DAG詳細ページで、DAG内のノードをクリックします。表示される情報パネルで、[詳細を展開] をクリックして次の情報を表示します。
機能 | 説明 |
全般 | 本番環境におけるタスクのスケジューリングプロパティを表示できます。UI上のパラメーターの詳細については、「スケジューリングプロパティの構成」をご参照ください。 説明 DataStudioのパラメーター構成がオペレーションセンターのパラメーター構成と一致しない場合は、まずタスクの変更が正常にデプロイされたことを確認してください。
|
操作ログ | 時間、オペレーター、および特定のアクションを含む、タスクの操作履歴を表示します。 |
コード | 本番環境における現在のタスクの最新のコードを表示します。コードが期待どおりでない場合は、タスクの最新バージョンが正常にデプロイされたことを確認してください。詳細については、「タスクのデプロイ」をご参照ください。 |