自動トリガーノードは、スケジューリングシステムがそのスケジューリング設定に基づいて定期的に実行するノードです。 ページに移動して、特定のワークスペースで自動トリガーノードを表示し、それらに対して O&M 操作を実行できます。これらの操作には、ノードの自動または手動実行、実行詳細の表示、ノードの凍結、およびノードのデプロイ解除が含まれます。本トピックでは、これらの操作について詳しく説明します。
注意事項
-
本番環境のオペレーションセンターのみが、自動トリガーノードインスタンスを生成するための自動スケジューリングをサポートしています。開発環境ではサポートされていません。
-
本番環境でノードコード、スケジュール設定、リソース、関数を追加、変更、またはアンデプロイするには、コミットとデプロイのプロセスを使用します。
-
ノードへの変更を本番環境に反映させるには、デプロイが必要です。デプロイが失敗したり、ブロックされたり、予期しないバージョンになったりすることがあります。したがって、デプロイ後、 ページでノードを確認してください。詳細については、「自動トリガーノードの管理」をご参照ください。
運用保守オペレーション
本トピックでは、自動トリガーノードに対する運用保守オペレーションの実行方法について説明します。
|
運用保守オペレーション |
説明 |
|
周期タスクページでは、ノードに関する詳細情報を表示し、リストビューまたは DAG から操作を実行できます。 |
|
|
|
|
|
|
ノードとインスタンスの操作ログ、ノードバージョン、操作履歴を表示できます。 |
自動トリガーノードの表示
自動トリガーノードリストには、本番環境で自動実行されるようにスケジュールされているすべてのノードが表示されます。ノードコード、スケジュールパラメータ、依存関係、データリネージが正しいことを確認できます。また、リストビューまたは DAG から詳細情報を表示し、操作を実行することもできます。詳細については、「自動トリガーノードの管理」をご参照ください。
-
本番環境にデプロイされたノードのみが、オペレーションセンターの自動トリガーノードリストに表示されます。
-
ノードが自身の子孫ノードのいずれかに依存している場合、依存関係ループが発生するため、そのノードもスケジュールされません。
自動トリガーノードの実行
このセクションでは、DataWorks ノードの実行モードと、実行ステータスに基づいて問題を診断する方法について説明します。
実行モード
DataWorks は毎晩、現在の自動トリガーノードから翌日の自動トリガーノードインスタンスを自動的に生成します。また、自動トリガーノードを手動でトリガーして、データバックフィルインスタンスとテストインスタンスを生成することもできます。
|
インスタンスタイプ |
ユースケース |
生成方法
|
トリガー方法
|
|
定期的な自動 ETL オペレーションを実行します。 |
DataWorks は、自動トリガーノードの夜間スナップショットに基づいて、翌日のインスタンスを自動的に生成します。 説明
開発環境のオペレーションセンターは、自動トリガーノードインスタンスを自動的にスケジュールまたは生成しません。 |
DataWorks がインスタンスを自動的に実行します。 |
|
|
現在のノードとその子孫ノードの過去または将来の期間のデータをバックフィルするために ETL オペレーションを実行します。 |
自動トリガーノードのデータバックフィルを手動でトリガーすると、データバックフィルインスタンスが生成されます。 |
データバックフィルインスタンスは、生成後すぐに実行されます。 |
|
|
自動トリガーノードをテストして、実行結果が正しいことを確認します。 説明
テストインスタンスは実際のコードロジックを実行します。 |
自動トリガーノードのテスト実行を手動でトリガーすると、テストインスタンスが生成されます。 |
テストインスタンスは、生成後すぐに実行されます。 |
ノードの実行条件
定期ノードは、すべての先祖ノードが正常に完了し、スケジュールされた時刻になり、十分なスケジューリングリソースが利用可能で、ノードがフリーズされていない場合にのみ実行されます。詳細については、「定期ノードが実行されるための前提条件」をご参照ください。
ノード実行の問題のトラブルシューティング
症状：スケジュールされた時刻になってもノードが実行されない。考えられる原因には、先祖ノードが正常に実行されていない、スケジューリングリソースが不足している、またはノードがフリーズされていることなどが考えられます。
トラブルシューティング：まず、DAG パネルのアップストリーム分析機能を使用して、ブロックしている先祖ノードを特定します。次に、インテリジェント診断機能を使用して、キーインスタンスが実行されていない理由を診断するか、その他の問題を特定します。依存関係が複雑なノードの場合、この機能は問題を特定し、運用保守の効率を向上させるのに役立ちます。詳細については、「スケジュールされた時刻を過ぎてもノードが実行されないのはなぜですか?」、「リソース待ち」、「ノードのフリーズと解除」をご参照ください。
緊急オペレーション
-
上位ノードが実行されておらず、カレントノードをブロックしている場合、実行されていないインスタンスを右クリックしてを選択すると、カレントノードをすぐに実行できます。
説明このオペレーションを実行する前に、ノードのコードとデータリネージを確認して、データに悪影響を及ぼさないことを確認してください。
-
広範囲なデータ品質問題が発生した場合、インスタンスを右クリックしてを選択できます。 詳細については、「付録: 下流ノードの強制再実行」をご参照ください。
-
サーバーの電源障害やプライマリ/セカンダリ スイッチオーバーなどの極端なケースでは、DataWorks が関連する MaxCompute タスクを完全に終了できない場合があります。この場合、対応する MaxCompute プロジェクトに移動してタスクを終了します。
自動トリガーノードの管理
自動トリガーノードのデプロイ
ノードがオペレーションセンターの自動トリガーノードリストに表示されるには、本番スケジューリングシステムにデプロイする必要があります。詳細については、「ノードのデプロイ (旧バージョン DataStudio)」および「ノードまたはワークフローのデプロイ (新バージョン DataStudio)」をご参照ください。
自動トリガーノードのアンデプロイ
ノードまたはビジネスプロセスが不要になった場合、アンデプロイできます。ノードをアンデプロイすると、周期タスクページに表示されなくなります。詳細については、「ノードのアンデプロイ (旧バージョン DataStudio)」および「ノードのアンデプロイ (新バージョン DataStudio)」をご参照ください。
定期実行の一時停止
projectname_root ノードは変更しないでください。このノードはワークスペースのルートノードです。自動トリガーノードインスタンスはこのノードに依存します。このノードをフリーズすると、自動トリガーノードインスタンスは実行できません。
|
オペレーション |
ユースケース |
説明 |
|
自動トリガーノードのフリーズ |
ノードとその子孫ノードを一定期間自動的にスケジュールする必要がない場合、ノードをフリーズできます。 |
|
|
インスタンスのフリーズ |
特定のインスタンスを実行する必要がない場合、フリーズできます。 |
フリーズオペレーションは、選択したインスタンスにのみ影響します。同じ日の他のインスタンスや、自動トリガーノードによって生成される後続のインスタンスには影響しません。 |
|
自動トリガーノードをドライランに設定 |
ノードを一定期間実行する必要はないものの、その後続ノードをブロックしないようにする場合、そのスケジューリングタイプをドライランスケジューリングに設定できます。 |
ドライランに設定された自動トリガーノードは、ドライランインスタンスを生成します。これらのインスタンスには空の実行ログがあり、実行時間がなく、データを処理しません。 説明
DataStudio でスケジューリングタイプを一時停止に設定すると、オペレーションセンターで自動トリガーノードをフリーズするのと同じ効果があります。ただし、DataStudio で行った変更は開発環境でのみ有効になります。本番環境に適用するには、ノードをデプロイする必要があります。詳細については、「ノードのデプロイ (旧バージョン DataStudio)」および「ノードまたはワークフローのデプロイ (新バージョン DataStudio)」をご参照ください。 |
自動トリガーノードとそのインスタンスのフリーズと解除の効果の詳細については、「ノードのフリーズと解除」をご参照ください。
ノード優先度の管理
ベースライン管理機能を使用して、ノードの優先度を管理できます。スケジューラは、優先度の高いノードにリソースを優先的に割り当てます。詳細については、「ベースラインの管理」をご参照ください。
ノードの監視とアラート
自動トリガーノードリストからノードの監視ルールを設定できます。
-
定期実行中の自動トリガーノードインスタンスのステータスを監視します。詳細については、「カスタムアラートルールの作成と管理」をご参照ください。
-
自動トリガーノードインスタンス、データバックフィルインスタンス、テストインスタンスによって生成されるテーブルデータの品質を監視します。詳細については、「データ品質の概要」をご参照ください。
-
インスタンス数やリソース使用率などのメトリクスに対するアラートを設定して、ノードが使用するリソースグループを監視します。詳細については、「カスタムアラートルールの作成と管理」をご参照ください。
ノードのリソースグループの変更
スケジューリングリソースグループや Data Integration のリソースグループなど、ノードが使用するリソースグループを変更できます。詳細については、「参考：リソースグループの切り替え」をご参照ください。
自動トリガーノードの他のプロパティを再定義するには、DataStudio に移動し、ノードを見つけて設定パネルを開きます。詳細については、「基本プロパティの設定」をご参照ください。複数のノードを一度に変更するには、一括オペレーション ページに移動します。
ノード所有者の変更
まず、サブアカウントによるノード所有者の変更を許可 を有効にする必要があります。有効にすると、ワークスペース管理者は次の方法で所有者を変更できます。
-
DataStudio では、単一のノードまたは複数のノードの所有者を一括で変更できます。
-
単一ノード: パネルを開きます。
-
複数ノード：一括オペレーションページを使用します。詳細については、「一括オペレーション」をご参照ください。
開発環境での所有者の変更は、本番環境にデプロイされて有効になります。
-
-
本番環境の場合：
-
単一ノード: ノードの「操作」列で、 をクリックします。
-
複数のノード: 所有者を変更するノードを選択し、ページの下部にある所有者の変更をクリックします。
説明本番環境での所有者の変更は、開発環境に同期されます。
-
運用保守レコードの表示
|
エントリポイント |
説明 |
|
ノードまたはインスタンスの操作ログ |
ノードまたはインスタンスをクリックして 操作ログ タブに移動すると、その変更履歴を表示できます。 |
|
ノード [バージョン] |
デプロイプロセスに詳細なレコードがない場合、DataStudio に移動し、ノードバージョンを本番環境のバージョンと比較して、詳細な変更を確認します。詳細については、「ノードのデプロイ (旧バージョン DataStudio)」および「ノードまたはワークフローのデプロイ (新バージョン DataStudio)」をご参照ください。 |
|
[操作履歴] |
操作履歴ページで、ノード、インスタンス、ベースラインの操作レコードを表示できます。詳細については、「オペレーションセンターでの運用保守レコードの表示」をご参照ください。 |
よくある質問
自動トリガーノードの運用保守に関するよくある質問については、「自動トリガーノードに関するFAQ」をご参照ください。