統合タスクとコンピューティングタスクの管理 - Dataphin

「統合およびコンピューティングタスク」ページには、すべてのコンピューティングタスク、同期タスク、統合タスクが一覧表示されます。各タスクはスケジューリングノードに対応しています。このトピックでは、これらのタスクをノードの観点から表示および管理する方法について説明します。

「統合およびコンピューティングタスク」ページへのエントリポイント

Dataphin のホームページの上部のメニューバーで、[開発] > [オペレーションセンター] を選択します。
左側のナビゲーションウィンドウで、[タスク O&M] > [定期タスク] を選択します。
上部のメニューバーで、本番環境または開発環境を選択します。
[定期タスク] ページで、[統合およびコンピューティングタスク] タブをクリックします。

「統合およびコンピューティングタスク」リストでの操作

統合およびコンピューティングタスクをオペレーションセンターに送信すると、[定期タスク] > [統合およびコンピューティングタスク] リストに表示されます。このリストには、タスクオブジェクト、繰り返し頻度、優先度、オーナー、関連ベースライン、プロジェクト、HTTP パス、スケジュールリソースグループ、最終更新日時、タグ、利用可能な操作など、各タスクの詳細が表示されます。

タスクオブジェクト：オペレーションセンターに送信された定期スクリプトタスクです。タスクのスクリプト名、スクリプト ID、スケジューリングメソッドが表示されます。詳細については、「スケジューリングメソッド」をご参照ください。
繰り返し頻度：スケジューリングタイムゾーンでタスクが実行されるようにスケジュールされている時刻です。
優先度：タスクの優先度です。ベースライン機能が有効になっている場合、タスクは関連するベースラインの中で最も高い優先度を使用し、タスクの元の優先度を上書きします。
関連ベースライン：タスクに関連するベースラインです。これには、タスクが子孫ノードであるベースラインや、タスクを保護対象の先祖ノードとして含むベースラインが含まれます。
説明
このフィールドは、ベースライン機能が無効になっている場合は表示されません。
プロジェクト：タスクが属するプロジェクトです。プロジェクトは プロジェクトの英語名 (プロジェクトの中国語名) のフォーマットで表示されます。
HTTP パス：本番環境または開発環境における Databricks SQL タスクの HTTP パスです。
説明
このパラメーターは Databricks SQL タスクにのみ表示されます。他の種類のタスクでは - が表示されます。
リソースグループ：実行時にインスタンスが使用するスケジュールリソースグループの名前です。
タスクに指定されたカスタムリソースグループがアクティブでない場合、プロジェクトのデフォルトリソースグループが使用されます。プロジェクトのデフォルトリソースグループもアクティブでない場合、テナントのデフォルトリソースグループが使用されます。優先順位は、カスタムリソースグループ > プロジェクトのデフォルトリソースグループ > テナントのデフォルトリソースグループ です。
説明
プロジェクトのデフォルトリソースグループを変更した場合、UI での更新が遅れることがあります。ただし、変更後のリソースグループが実際のタスク実行に使用されます。
テナントのデフォルトリソースグループ：このリソースグループはどのプロジェクトにも属しません。各テナントには、デフォルトのリソースグループが 1 つだけあります。このリソースグループは、タスクが特定のカスタムリソースグループに割り当てられておらず、タスクが属するプロジェクトにプロジェクトのデフォルトリソースグループがない場合に、タスクのスケジューリングに使用されます。これは、専用リソースタスクにのみ適用され、SQL タスクや仮想タスクなどの他のタスクには適用されません。

次の表に、統合およびコンピューティングタスクで実行できる操作を示します。

操作	説明
DAG	をクリックして、統合またはコンピューティングタスクの DAG を表示します。詳細については、「統合およびコンピューティングタスクの DAG ノードでの操作」をご参照ください。
定期インスタンスの表示	タスクに対して生成された定期インスタンスを表示します。定期インスタンスを管理することもできます。
開発ノードの編集	Dev プロジェクトのタスクの編集ページに移動して、タスクを編集します。説明この操作は Dev-Prod 開発モードでのみ利用可能です。
ノードの編集	タスクの編集ページに移動して、タスクを編集します。説明この操作は Basic モードでのみ利用可能です。
本番ノードの表示	Prod プロジェクトに移動して、タスクの構成を表示します。説明この機能は、Basic モードのタスク、または Dev-Prod 開発モードで本番環境に公開されていないタスクではサポートされていません。
ノードコードの表示	統合またはコンピューティングタスクノードのコードを表示します。
データバックフィルインスタンスの表示	データバックフィル操作によって生成されたデータバックフィルインスタンスを表示および管理します。
データバックフィル	指定された既存データのタイムスタンプ範囲内で、定期タスクのデータをバックフィルします。定期タスクが開発および公開されると、タスクはスケジューリング構成に基づいてスケジュールされた時刻に実行されます。特定の期間に定期タスクを実行したい場合や、過去の期間のデータをバックフィルしたい場合は、データバックフィル機能を使用します。統合またはコンピューティングタスクノードのデータをバックフィルする方法の詳細については、「付録：定期タスクのデータバックフィル」をご参照ください。
上流および下流ノードのダウンロード	現在のノードの上流および下流ノードのリストをダウンロードします。リストには、表示されていない列を含むすべての列が含まれます。 [上流および下流ノードのダウンロード] をクリックした後、[上流および下流ノードのダウンロード] ダイアログボックスで、上流および下流ノードのレベルを選択します。[レベル 1]～[レベル 10] または [すべてのレベル] から選択できます。両方のデフォルトはレベル 1 です。レベルを選択した後、[OK] をクリックして Excel ファイルをダウンロードします。ファイル名は `{task_name}_upstream_and_downstream_nodes_{timestamp}.xlsx` となります。
所有者の変更	タスクの所有者を変更します。説明これは Basic パターンおよび Dev-Prod パターンの Prod 環境にのみ適用されます。Dev 環境では変更できません。
優先度の変更	タスクの優先度を変更します。複数のタスクが同時にスケジューリング条件を満たした場合、優先度の高いタスクが先に実行されます。説明この操作は Basic モードおよび Dev-Prod モードの Prod 環境でのみ利用可能です。Dev 環境では優先度を変更できません。ベースライン機能が有効になっている場合、タスクの優先度は「最低」、「低」、「中」にしか設定できません。より高い優先度を設定するには、ベースラインを構成します。ベースラインタスクの優先度は変更できません。ベースラインタスクの優先度は、ベースラインの優先度によって決まります。必要に応じてベースラインの優先度を調整してください。コンピュートエンジンが MaxCompute の場合、Dataphin タスクの優先度と MaxCompute ジョブの優先度のマッピングは、最低 (9)、低 (7)、中 (5)、高 (3)、最高 (1) です。MaxCompute ジョブの優先度の詳細については、「MaxCompute ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピュートエンジンの HDFS 内のタスクに対して異なる優先度付きキューが構成されている場合にのみ有効です。
一時停止	現在のタスクノードのスケジューリングを一時停止します。当面実行する必要はないが後で使用するタスクとその下流タスクを一時停止できます。たとえば、出力データが影響を受けないように、一部のコンピューティングロジックを一時的に調整できます。
再開	一時停止したノードのスケジューリングを再開します。
監視とアラートの構成	タスク実行の監視ルールを設定します。詳細については、「オフラインタスク監視の概要」をご参照ください。説明この操作は Prod プロジェクトおよび Basic プロジェクトでのみ利用可能です。
HTTP パスの変更	本番環境でタスクの HTTP パスを変更します。本番プロジェクトのクラスターに構成されているすべての HTTP パスから 1 つを選択できます。説明この操作は本番環境でのみ利用可能です。
リソースグループの変更	実行時にタスクから生成されるインスタンスが使用するスケジュールリソースグループを変更します。説明複数のプロジェクトからタスクを選択した場合、これらすべてのプロジェクトに付与されているスケジュールリソースグループのみが一覧表示されます。バッチ設定を行う前に、単一のプロジェクトでタスクをフィルターすることを推奨します。この変更は既存のインスタンスには影響せず、新しいインスタンスにのみ影響します。既存のインスタンスが使用するリソースグループを変更するには、インスタンスリストで変更を実行します。

統合およびコンピューティングタスクの DAG ノードでの操作

有向非巡回グラフ (DAG) は、タスクノードの上流および下流の依存関係を明確に示します。これらの上流および下流ノードを管理することもできます。デフォルトでは、DAG にはメインノード (選択されたノード) とその直近の上流および下流ノードが表示されます。統合またはコンピューティングタスクノードを選択して、関連する運用保守 (O&M) タスクを実行できます。

Dataphin は、クロスプロジェクトのノード管理をサポートしています。クロスプロジェクトのスクリプトノードで O&M タスクを実行するには、タスクが属するプロジェクトを表示および管理する権限が必要です。

DAG での操作
親ノードの展開および子ノードの展開: DAG 内のメインノードの、異なるレベルにある依存ノードを展開して表示します。
DAG ノードでの操作
DAG ノードにカーソルを合わせると、その名前、タイプ、繰り返しスケジュール、オーナー、説明が表示されます。DAG ノードで実行できる操作は、「統合およびコンピューティングタスク」リストの操作と同じです。詳細については、「「統合およびコンピューティングタスク」リストでの操作」をご参照ください。

統合およびコンピューティングタスクのバッチ操作

定期統合およびコンピューティングタスクに対して、以下のバッチ操作を実行できます。

操作	説明
一時停止	選択したすべてのタスクを一時停止します。タスクを一時停止した後も、タスクのインスタンスは生成されますが、そのインスタンスと下流の依存インスタンスはスケジュールされません。
再開	選択したタスクのスケジューリングを再開します。
所有者の変更	複数の定期統合およびコンピューティングタスクのオーナーを一度に変更します。説明この操作は Basic モードおよび Dev-Prod モードの Prod 環境でのみ利用可能です。Dev 環境ではオーナーを変更できません。
優先度の変更	複数の定期統合およびコンピューティングタスクの優先度を一度に変更します。説明この操作は Basic モードおよび Dev-Prod モードの Prod 環境でのみ利用可能です。Dev 環境では優先度を変更できません。ベースライン機能が有効になっている場合、タスクの優先度は「最低」、「低」、「中」にしか設定できません。より高い優先度を設定するには、ベースラインを構成します。ベースラインタスクの優先度は変更できません。ベースラインタスクの優先度は、ベースラインの優先度によって決まります。必要に応じてベースラインの優先度を調整してください。コンピュートエンジンが MaxCompute の場合、Dataphin タスクの優先度と MaxCompute ジョブの優先度のマッピングは最低 (9)、低 (7)、中 (5)、高 (3)、最高 (1) です。MaxCompute ジョブの優先度の詳細については、「MaxCompute ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピュートエンジンの HDFS 内のタスクに対して異なる優先度付きキューが構成されている場合にのみ有効です。
HTTP パスの変更	本番環境で複数の Databricks SQL タスクの HTTP パスを変更します。選択した Databricks SQL タスクが異なる Databricks クラスターに属している場合は、各クラスターに HTTP パスを指定します。クラスターに構成されているすべての HTTP パスから 1 つを選択できます。説明この操作は、本番環境で Databricks SQL タスクを選択した場合にのみ利用可能です。
リソースグループの変更	実行時に複数のタスクから生成されるインスタンスが使用するスケジュールリソースグループを変更します。説明複数のプロジェクトからタスクを選択した場合、これらすべてのプロジェクトに付与されているスケジュールリソースグループのみが一覧表示されます。バッチ設定を行う前に、単一のプロジェクトでタスクをフィルターすることを推奨します。この変更は既存のインスタンスには影響せず、新しいインスタンスにのみ影響します。既存のインスタンスが使用するリソースグループを変更するには、インスタンスリストで変更を実行します。
データバックフィル	デフォルトでは、この操作はノード ID を指定して大量モードで、選択したタスクとその上流および下流タスクのデータをバックフィルします。タイムスタンプ範囲に加えて、基本情報やその他の構成をカスタマイズできます。パラメーターの詳細については、「現在のタスクとその上流および下流タスクのデータをバックフィルする」をご参照ください。