Operation Center でのタスクの監視とスケジューリング - Dataphin - Alibaba Cloud - Dataphin

「統合タスクとコンピューティングタスク」ページには、コンピューティングタスク、同期タスク、統合タスクが一覧表示されます。それぞれがスケジューリングノードに対応しています。このトピックでは、これらのタスクの表示方法と管理方法について説明します。

「統合タスクとコンピューティングタスク」ページ

Dataphin のホームページで、上部メニューから [Develop] > [Task O&M] を選択します。
左側メニューで、[Task O&M] > [Periodic Tasks] を選択します。
上部メニューで、本番環境または開発環境を選択します。
[Periodic Tasks] ページで、[Integration and Compute Tasks] タブをクリックします。

統合タスクとコンピューティングタスクの操作

統合タスクまたはコンピューティングタスクを運用保守センターに送信してスケジューリングすると、そのタスクは [Periodic Tasks] > [Integration and Compute Tasks] のリストに表示されます。リストには、各タスクのタスクオブジェクト、スケジューリング周期、ディレクトリ、優先度、所有者、関連ベースライン、プロジェクト、HTTP パス、スケジューリングリソースグループ、最終更新日時、タグ、およびサポートされている操作が表示されます。

[タスクオブジェクト]：運用保守センターに送信されたスクリプトベースの定期タスクです。このフィールドには、スクリプト名、スクリプト ID、およびタスクのスケジューリング方法が表示されます。詳細については、「スケジューリング方法」をご参照ください。
[スケジューリング周期]：指定されたタイムゾーンでタスクが実行されるようスケジュールされた時刻です。
[ディレクトリ]：タスクのディレクトリです。権限のあるディレクトリのタスクのみ表示できます。
[優先度]：タスクの優先度です。ベースライン機能が有効になっている場合、タスクの優先度は関連するベースラインの最高優先度に設定され、以前に設定された優先度は上書きされます。
[関連ベースライン]：タスクをエンドノードとして保証するベースラインと、保証範囲にアップストリームノードとしてタスクを含むベースラインを一覧表示します。

説明
ベースライン機能が有効になっていない場合、このフィールドは表示されません。
[プロジェクト]：タスクが属するプロジェクトです。 Project_English_Name (Project_Chinese_Name) という形式で表示されます。
[HTTP パス]：Databricks SQL タスクの場合、このフィールドには選択した本番環境または開発環境の HTTP パスが表示されます。

説明
このフィールドは Databricks SQL タスクでのみ表示されます。他のタスクタイプの場合は - と表示されます。
[スケジューリングリソースグループ]：タスクインスタンスが実行時に使用するスケジューリングリソースグループの名前です。

タスクに指定されたカスタムリソースグループが利用できない場合、プロジェクトのデフォルトリソースグループが使用されます。プロジェクトのデフォルトリソースグループも利用できない場合は、テナントのデフォルトリソースグループが使用されます。フォールバックの順序は、カスタムリソースグループ > プロジェクトのデフォルトリソースグループ > テナントのデフォルトリソースグループ です。

説明
プロジェクトのデフォルトリソースグループを変更した場合、その更新はすぐにはここに反映されないことがありますが、タスクは新しいリソースグループを使用して実行されます。

テナントのデフォルトリソースグループ：どのプロジェクトにも属さないデフォルトのリソースグループです。各テナントに 1 つあります。このリソースグループは、カスタムリソースグループが指定されておらず、プロジェクトにもデフォルトのリソースグループがないタスクに使用されます。これは、SQL タスクや仮想タスクなどを除く、専用リソースを使用するタスクにのみ適用されます。

統合タスクとコンピューティングタスクでは、以下の操作が利用できます。

アクション	説明
DAG	をクリックして、タスクの DAG を表示します。詳細については、「タスク DAG のノードの操作」をご参照ください。
定期インスタンスの表示	タスクによって生成された定期インスタンスを表示します。これらのインスタンスの運用保守や管理も実行できます。
開発ノードの編集	Dev プロジェクトでタスクの編集ページを開きます。説明この操作は Dev-Prod モードでのみ利用できます。
ノードの編集	タスクの編集ページを開きます。説明この操作はベーシックモードでのみ利用できます。
本番ノードの表示	Prod プロジェクトを開き、タスク設定を表示します。説明この操作は、ベーシックモードまたは Dev-Prod モードで本番環境に発行されていないタスクでは使用できません。
ノードコードの表示	統合タスクまたはコンピューティングタスクのノードのコードを表示します。
バックフィルインスタンスの表示	データバックフィル操作によって生成されたインスタンスを表示および管理します。
データバックフィル	データバックフィル機能は、指定された過去の業務日付の範囲で定期タスクを再実行します。定期タスクは開発および発行された後、スケジュールされた間隔で実行されます。データバックフィル機能を使用すると、特定の期間の定期タスクの実行や、過去の期間のデータの再処理ができます。統合タスクまたはコンピューティングタスクのノードでデータバックフィルを実行する方法の詳細については、「付録：定期タスクのデータバックフィル」をご参照ください。
アップストリーム/ダウンストリームノードのダウンロード	現在のノードのアップストリームノードとダウンストリームノードのリストをダウンロードします。リストには、UI に表示されない列を含むすべての列が含まれます。 [Download Upstream and Downstream Nodes] をクリックします。 [Download Upstream and Downstream Nodes] ダイアログボックスで、アップストリームノードとダウンストリームノードのレベルを選択します。[Level 1] から [Level 10]、または [Unlimited levels] から選択できます。どちらもデフォルトは Level 1 です。 [OK] をクリックすると、`{task_name}_Upstream_and_Downstream_Nodes_{timestamp}.xlsx` という名前の Excel ファイルがダウンロードされます。
所有者の変更	タスクの所有者を変更します。説明この操作はベーシックモードと Dev-Prod モードの本番環境で利用できます。開発環境では使用できません。
優先度の変更	タスクの優先度を変更します。同時に実行準備ができたタスクの中で、優先度の高いタスクが先に実行されます。説明この操作はベーシックモードと Dev-Prod モードの本番環境で利用できます。開発環境では使用できません。ベースライン機能が有効になっている場合、タスクの優先度を最低、低、または中にのみ設定できます。より高い優先度はベースラインを通じて設定する必要があります。ベースラインタスクの優先度を直接変更することはできません。優先度はベースライン自体によって決定されるため、ベースラインの設定で調整する必要があります。お使いのコンピューティングエンジンが MaxCompute の場合、Dataphin タスクの優先度は MaxCompute ジョブの優先度に次のようにマッピングされます：最低 (9)、低 (7)、中 (5)、高 (3)、最高 (1)。MaxCompute ジョブの優先度の詳細については、「ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピューティングソースの HDFS に異なる優先度キューが設定されている場合にのみ有効になります。
一時停止	現在のタスクノードのスケジューリングを一時停止します。これにより、インスタンスは生成され続けますが、そのインスタンスおよびダウンストリームの依存関係は実行されなくなります。これは、ロジックを調整する際にダウンストリームのデータに影響を与えずにタスクとそのダウンストリームの依存関係を一時的に停止する場合などに役立ちます。
再開	一時停止されたノードのスケジューリングを再開し、通常の状態に戻します。
モニタリングとアラートの設定	タスク実行のモニタリングルールを設定します。詳細については、「オフラインタスクモニタリングの概要」をご参照ください。説明この操作は Prod プロジェクトと Basic プロジェクトにのみ適用されます。
HTTP パスの変更	タスクの本番環境の HTTP パスを変更します。本番プロジェクトに対応するクラスターに設定されている任意の HTTP パスから選択できます。説明この操作は本番環境でのみ使用できます。
スケジューリングリソースグループの変更	タスクから生成されるインスタンスが使用するスケジューリングリソースグループを変更します。説明複数のプロジェクトからタスクを選択した場合、ターゲットのスケジューリングリソースグループリストには、選択したすべてのプロジェクトで共有され、承認されているリソースグループのみが表示されます。この一括操作を実行する前に、単一のプロジェクトでフィルタリングすることを推奨します。この変更は新しいインスタンスにのみ影響し、生成済みのインスタンスには影響しません。既存のインスタンスのリソースグループを変更するには、インスタンスリストから変更する必要があります。

タスク DAG のノードの操作

DAG は、タスクノード間のアップストリームとダウンストリームの依存関係を明確に可視化します。これらのノードの運用保守や管理も実行できます。ノードを選択して運用保守操作を実行します。デフォルトでは、DAG にはメインノード (選択されたノード) とその1階層目のアップストリームノードおよびダウンストリームノードが表示されます。

Dataphin は、プロジェクト横断的なノード管理をサポートしています。別のプロジェクトのスクリプトノードで運用保守操作を実行するには、そのプロジェクトの表示権限と操作権限が必要です。

DAG ビューでの操作

[Expand Parent Nodes] と [Expand Child Nodes]：DAG 内のメインノードのさまざまなレベルの依存ノードを展開します。
DAG ノードの操作

DAG 内のノードにカーソルを合わせると、その名前、タイプ、スケジューリング周期、所有者、および説明が表示されます。 DAG 内のノードで利用可能な操作は、タスクリストの操作と同じです。詳細については、「統合タスクとコンピューティングタスクの操作」をご参照ください。

統合タスクとコンピューティングタスクの一括操作

定期的な統合タスクとコンピューティングタスクでは、以下の一括操作を利用できます：

アクション	説明
[一時停止]	[Modify Scheduling Type] をクリックし、[Pause Scheduling] を選択して、選択したすべてのタスクを一時停止します。タスクが一時停止された後もインスタンスは生成されますが、これらのインスタンスとそのダウンストリームの依存関係は実行されません。
[再開]	[Modify Scheduling Type] をクリックし、[Normal Scheduling] を選択して、選択したタスクのスケジューリングを再開します。
[ファイルをアップロードして情報を変更]	[Modify Information] をクリックし、[Modify Information by Uploading File] を選択して、Excel ファイルをアップロードすることで複数のタスクの所有者、優先度、およびスケジューリングリソースグループを更新します。ファイルの最初の列にはタスク ID を含める必要があります。[Download Template] をクリックすると、入力用のテンプレートファイルをダウンロードできます。説明ファイル内の最初の 5,000 レコードのみが処理されます。所有者はアカウントまたは ID で指定できます。両方が指定されている場合、所有者 ID が優先されます。タスク情報の一括変更は非同期操作です。結果は [Batch Operation Records] で確認できます。
[所有者の変更]	[Modify Information] をクリックし、[Modify Owner] を選択して、選択したタスクの所有者を一括で変更します。説明この操作はベーシックモードと Dev-Prod モードの本番環境で利用できます。開発環境では使用できません。
[優先度の変更]	[Modify Information] をクリックし、[Modify Priority] を選択して、選択したタスクの優先度を一括で変更します。説明この操作はベーシックモードと Dev-Prod モードの本番環境で利用できます。開発環境では使用できません。ベースライン機能が有効になっている場合、タスクの優先度を最低、低、または中にのみ設定できます。より高い優先度はベースラインを通じて設定する必要があります。ベースラインタスクの優先度を直接変更することはできません。優先度はベースライン自体によって決定されるため、ベースラインの設定で調整する必要があります。お使いのコンピューティングエンジンが MaxCompute の場合、Dataphin タスクの優先度は MaxCompute ジョブの優先度に次のようにマッピングされます：最低 (9)、低 (7)、中 (5)、高 (3)、最高 (1)。MaxCompute ジョブの優先度の詳細については、「ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピューティングソースの HDFS に異なる優先度キューが設定されている場合にのみ有効になります。
[HTTP パスの変更]	[Modify Information] をクリックし、[Modify HTTP path] を選択して、複数の Databricks SQL タスクの本番環境の HTTP パスを変更します。選択したタスクが異なる Databricks クラスターに属している場合、そのクラスターに設定されている利用可能なすべてのパスのリストから、クラスターごとに HTTP パスを指定する必要があります。説明この操作は、本番環境で Databricks SQL タスクを選択した場合にのみ利用できます。
[スケジューリングリソースグループの変更]	[Modify Information] をクリックし、[Modify Scheduling Resource Group] を選択して、選択したタスクから生成されるインスタンスが使用するスケジューリングリソースグループを一括で変更します。説明複数のプロジェクトからタスクを選択した場合、ターゲットのスケジューリングリソースグループリストには、選択したすべてのプロジェクトで共有され、承認されているリソースグループのみが表示されます。この一括操作を実行する前に、単一のプロジェクトでフィルタリングすることを推奨します。この変更は新しいインスタンスにのみ影響し、生成済みのインスタンスには影響しません。既存のインスタンスのリソースグループを変更するには、インスタンスリストから変更する必要があります。
[データバックフィル]	ページ下部にある [Backfill Data] をクリックします。デフォルトでは、このアクションは [Massive Mode] - [Specify Node ID] メソッドを使用して、現在のタスク、およびそのアップストリームとダウンストリームの依存関係のデータをバックフィルします。データバックフィルの基本情報やその他の設定はカスタマイズできますが、スコープは固定です。パラメーターの詳細については、「現在およびアップストリーム/ダウンストリームタスクのデータバックフィル」をご参照ください。