Dataphin:統合およびコンピューティングタスクインスタンスの管理

操作

説明

DAG

アイコンをクリックして、定期インスタンスの DAG を表示します。詳細については、「定期インスタンスの DAG」をご参照ください。

[実行ログの表示]

アイコンをクリックして、定期インスタンスの実行ログを表示します。実行ログの内容はインスタンスタイプによって異なります。

[再実行]

アイコンをクリックして、定期インスタンスを再実行します。[成功] または [失敗] ステータスの統合およびコンピューティングタスクインスタンスのみ再実行できます。インスタンスを再実行すると、システムはすべての上流ノードのステータスが [成功] であるかを確認します。このチェックに失敗した場合、インスタンスのステータスは即座に [未実行] に設定されます。

ビジネスシナリオでこのチェックに関わらず再実行が必要な場合は、強制再実行を実行できます。

[ガントチャートの表示]

アイコンをクリックし、[ガントチャートの表示] を選択して [ガントチャートの表示] ダイアログボックスを開き、次のパラメーターを設定します。

• [選択したノードを次として設定]：現在のノードを [開始ノード] または [終了ノード] として設定できます。[開始ノード] を選択すると、現在のノードが自動的に開始ノードとして設定され、変更できなくなります。[終了ノード] を選択した場合も同様です。

• [開始ノード]：ガントチャートの開始ノードを選択します。キーワードでノードを検索できます。選択可能なノードは {ノード名}({ノード ID}, {インスタンスのスケジュールされたランタイム}) のフォーマットでリストされます。選択したノードを終了ノードとして設定した場合、開始ノードはデフォルトでテナントのルートノードになります。

  説明

  時間単位および分単位のタスクには複数のノードがあり、各インスタンスに 1 つずつあります。これらはスケジュールされたランタイムによって区別されます。

• [終了ノード]：ガントチャートの終了ノードを選択します。キーワードでノードを検索できます。選択可能なノードは {ノード名}({ノード ID}, {インスタンスのスケジュールされたランタイム}) のフォーマットでリストされます。

  説明

  論理テーブルを終了ノードとして選択する場合、論理テーブルは単一のユニットとして扱われるため、特定のフィールドを選択することはできません。

ガントチャートの詳細については、「クリティカルパスのガントチャートの表示」をご参照ください。

[上流および下流ノードのダウンロード]

現在のノードの上流および下流ノードのリストをダウンロードします。リストには、現在 UI に表示されていない列もすべて含まれます。

[上流および下流ノードのダウンロード] をクリックします。[上流および下流ノードのダウンロード] ダイアログボックスで、上流および下流ノードのレベルを選択します。[レベル 1] から [レベル 10] または [すべてのレベル] を選択できます。両方のデフォルトはレベル 1 です。レベルを選択した後、[OK] をクリックして Excel ファイルのダウンロードを開始します。ファイル名は {task_name}_Upstream_and_Downstream_Nodes_{timestamp}.xlsx です。

[ノードコードの表示]

アイコンをクリックし、[ノードコードの表示] を選択して現在のインスタンスのコードを表示します。Flink_SQL 統合およびコンピューティングタスクインスタンスの場合、論理コードと物理コードを切り替えることができます。

[論理コード]：作成したタスクコードです。

[物理コード]：Flink エンジンで実行するためにコンパイルされたコードです。

定期タスク

アイコンをクリックし、[定期タスク] を選択して、現在のインスタンスが属する定期タスクを表示します。

[開発ノードの編集]

アイコンをクリックし、[開発ノードの編集] を選択して、インスタンスの開発ページに移動して変更を加えます。

[本番ノードの表示]

アイコンをクリックし、[本番ノードの編集] を選択して、インスタンスの本番ページに移動します。

[ノードの編集]

アイコンをクリックし、[ノードの編集] を選択して、インスタンスを生成した統合およびコンピューティングタスクを編集します。このタスクには、Basic モードプロジェクトのインスタンスリストまたは DAG からアクセスできます。

下流の再実行

アイコンをクリックし、[下流の再実行] を選択して、インスタンスの下流ノードを再実行します。[成功] または [失敗] ステータスの統合およびコンピューティングタスクインスタンスの下流ノードのみ再実行できます。[待機中 (スケジュール時刻待ち、スケジューリングリソース待ち)] または [実行中] ステータスの下流インスタンスは再実行できません。詳細については、「下流インスタンスの再実行」をご参照ください。

パイプライン全体を再実行するには、下流インスタンスの強制再実行を使用することを推奨します。詳細については、「下流インスタンスの強制再実行」をご参照ください。

[下流の再実行] 操作は、主に次のようなシナリオで使用されます：

• 現在のインスタンスノードのデータが更新された後、下流ノードのデータを更新する必要がある場合。

• 下流ノードが失敗した後、それらを再実行する必要がある場合。

[成功に設定してスケジューリングを続行]

アイコンをクリックし、[成功に設定してスケジューリングを続行] を選択して、[失敗] または [未実行] の統合およびコンピューティングタスクインスタンスノードを手動で成功に設定し、スケジューリングを再開できるようにします。[成功に設定してスケジューリングを続行] をクリックし、[成功に設定してスケジューリングを続行] プロンプトダイアログボックスで [OK] をクリックして設定を完了します。

終了

アイコンをクリックし、[終了] を選択して、現在実行中のインスタンスを終了します。そのステータスは [失敗] に変わります。インスタンスが終了すると、その下流ノードは実行されません。

[終了] 操作は、主に次のようなシナリオで使用されます：

• Dataphin のエラーまたは操作ミスにより、統合およびコンピューティングタスクインスタンスを停止する必要がある場合。

• 統合およびコンピューティングタスクインスタンスが実行中と表示されているが、データが生成されていない場合。手動で実行を終了し、ログを確認して問題をトラブルシューティングできます。

[強制再実行]

アイコンをクリックし、[強制再実行] を選択し、[現在のインスタンスを強制再実行] または [下流インスタンスを強制再実行] のいずれかを選択します。

• [現在のインスタンスを強制再実行]：上流ノードのステータスを確認せずにインスタンスを強制的に再実行します。上流ノードがすべて正常に実行されていない場合、現在のインスタンスの再実行が失敗したり、不正確なデータが生成されたりする可能性があります。注意して実行してください。現在のインスタンスを強制再実行すると、そのデータが更新されます。

• [下流インスタンスを強制再実行]：この操作を実行すると、選択されたすべてのインスタンスが最初に [未実行] に設定され、上流ノードが再実行中に下流ノードが実行されることによるデータ競合を防ぎます。開始ノードのみが上流の依存関係とスケジュールされたランタイムのチェックをバイパスします。下流ノードは、引き続きその依存関係と起動条件に従います。詳細については、「下流インスタンスの強制再実行」をご参照ください。

[上流依存関係の削除]

アイコンをクリックし、[上流依存関係の削除] を選択して、実行ステータスに関係なく、統合およびコンピューティングタスクインスタンスから上流の依存関係を削除します。

[一時停止]

アイコンをクリックし、[一時停止] を選択して、現在実行中のインスタンスを一時停止します。統合およびコンピューティングタスクインスタンスを一時停止しても、同じタスクの他のインスタンスには影響しません。インスタンスが一時停止されると、そのインスタンスとその下流の依存インスタンスはスケジュールされません。

再開

アイコンをクリックし、[再開] を選択して、[一時停止中] の統合およびコンピューティングタスクインスタンスを再開します。再開後、インスタンスとその下流インスタンスは通常どおりスケジュールされます。

HTTP パスの変更

対応するタスクの本番 HTTP パスを変更します。本番プロジェクトに関連付けられたクラスター用に設定された任意の HTTP パスを選択できます。

[スケジューリングリソースグループの変更]

アイコンをクリックし、[スケジューリングリソースグループの変更] を選択して、インスタンスの実行に使用されるスケジューリングリソースグループを変更します。

[優先度の変更]

アイコンをクリックし、[優先度の変更] を選択します。[優先度の変更] ダイアログボックスで、現在のタスクの優先度を変更します。[最高]、[高]、[中]、[低]、または [最低] を選択できます。

操作

説明

[再実行]

• この操作は、[成功] または [失敗] ステータスのインスタンスでのみサポートされます。

• 選択したインスタンスのいずれも [成功] または [失敗] ステータスでない場合、バッチ再実行操作は利用できません。選択範囲に [成功] または [失敗] ステータスのインスタンスと他のステータスのインスタンスが含まれている場合、システムは [成功] または [失敗] ステータスのインスタンスのみを再実行します。

終了

• [成功]、[失敗]、または [未実行] ステータスのインスタンスは終了できません。他のステータスのインスタンスは終了できます。

• 選択したすべてのインスタンスが [成功]、[失敗]、または [未実行] ステータスの場合、バッチ終了操作は利用できません。選択範囲にこれらのステータスのインスタンスと他のステータスのインスタンスが含まれている場合、システムは [成功]、[失敗]、または [未実行] ステータスのインスタンスを終了しません。

[成功に設定してスケジューリングを続行]

複数のインスタンスを選択した後、統合およびコンピューティングタスクインスタンスのステータスを [失敗] または [未実行] から [成功] に手動で設定し、スケジューリングを続行できるようにします。

[一時停止]

• この操作は、[未実行]、[スケジュール時刻待ち]、または [スロットリング中] ステータスのインスタンスでのみサポートされます。

• 選択したインスタンスのいずれも [未実行]、[スケジュール時刻待ち]、または [スロットリング中] ステータスでない場合、バッチ一時停止操作は利用できません。選択範囲にこれらのステータスのインスタンスと他のステータスのインスタンスが含まれている場合、システムは [未実行]、[スケジュール時刻待ち]、または [スロットリング中] ステータスのインスタンスのみを一時停止します。

[再開]

[一時停止中] ステータスの複数の定期インスタンスを再開します。

[HTTP パスの変更]

複数の Databricks SQL インスタンスの本番 HTTP パスを変更します。選択したインスタンスが異なる Databricks クラスターに属している場合、各クラスターに異なる HTTP パスを指定できます。対応するクラスター用に設定された任意の HTTP パスを選択できます。

スケジューリングリソースグループの変更

インスタンスの実行に使用されるスケジューリングリソースグループを変更します。

[優先度の変更]

選択したインスタンスの優先度を変更します。[最高]、[高]、[中]、[低]、または [最低] を選択できます。

[すべてダウンロード]

これをクリックするとダウンロードタスクが送信され、システムはバックグラウンドで非同期にファイルを生成します。生成されると、ファイルは自動的にローカルマシンにダウンロードされます。ファイルは .xlsx 形式で、名前は Dataphin_periodic_instances_{timestamp}.xlsx です。

ファイルには次の情報が含まれます：インスタンスオブジェクト、インスタンス ID、ステータス、スケジューリング周期、ビジネス日付、優先度、所有者、プロジェクト (複数のプロジェクトを持つサマリー論理テーブルの場合、プロジェクト名はカンマで区切られます)、スケジュール時刻、開始時刻、終了時刻、持続時間、再試行/自動再試行、関連ベースラインインスタンス (インスタンスに関連付けられたベースラインの名前、カンマで区切られます)、およびスケジューリングリソースグループ (このフィールドはモデリングタスクインスタンスでは空です)。