Dataphin:統合およびコンピューティングタスクインスタンスの管理

操作

説明

DAG

アイコンをクリックして、定期インスタンスの DAG を表示します。詳細については、「定期インスタンスの DAG」をご参照ください。

実行ログの表示

アイコンをクリックして、定期インスタンスの実行ログを表示します。実行ログはインスタンスタイプによって異なります。実際の実行ログが優先されます。

再実行

アイコンをクリックして、定期インスタンスを再実行します。成功または失敗した統合およびコンピューティングタスクインスタンスのみを再実行できます。インスタンスを再実行すると、システムはすべての先祖ノードが成功したかどうかを確認します。チェックが失敗した場合、現在のインスタンスのステータスは [未実行] に設定されます。

ビジネスシナリオで再実行が必要な場合は、強制的に再実行できます。

ガントチャートの表示

アイコンをクリックし、[ガントチャートの表示] を選択します。[ガントチャートの表示] ダイアログボックスで、次のパラメーターを設定します。

• 選択したノードを次のように設定: 現在のノードを [開始ノード] または [終了ノード] として設定します。開始ノードを選択した場合、現在のノードが開始ノードフィールドでデフォルトで選択され、変更できません。終了ノードを選択した場合も同じルールが適用されます。

• 開始ノード: ガントチャートの開始ノードを選択します。キーワードでノードを検索できます。リスト内のノードは {ノード名}({ノード ID, {インスタンスのスケジュール実行時間}}) のフォーマットで表示されます。選択したノードを終了ノードとして設定した場合、開始ノードはデフォルトでテナントのルートノードになります。

  説明

  時間単位および分単位のタスクには複数のノードがあります。各インスタンスがノードです。ノードはインスタンスのスケジュール実行時間によって区別されます。

• 終了ノード: ガントチャートの終了ノードを選択します。キーワードでノードを検索できます。リスト内のノードは {ノード名}({ノード ID, {インスタンスのスケジュール実行時間}}) のフォーマットで表示されます。

  説明

  論理テーブルを終了ノードとして選択した場合、論理テーブルは全体として扱われるため、フィールドを選択することはできません。

ガントチャートの詳細については、「クリティカルパスのガントチャートを表示する」をご参照ください。

ノードコードの表示

アイコンをクリックし、[ノードコードの表示] を選択して現在のインスタンスのノードコードを表示します。Flink_SQL 統合およびコンピューティングタスクインスタンスの場合、クリックして論理コードと物理コードを切り替えることができます。

論理コード: 作成したタスクコード。

物理コード: コンパイル後に生成され、Flink DPI エンジンで実行できるコード。

定期タスク

アイコンをクリックし、[定期タスク] を選択して、現在のインスタンスが属する自動トリガータスクを表示します。

開発ノードの編集

アイコンをクリックし、[開発ノードの編集] を選択して、インスタンスの開発ページに移動します。このページで、インスタンスを変更できます。

本番ノードの表示

アイコンをクリックし、[本番ノードの編集] を選択して、インスタンスの本番ページに移動します。

ノードの編集

アイコンをクリックし、[ノードの編集] を選択します。インスタンスリストまたは DAG から、Basic プロジェクトに移動して、インスタンスを生成する統合またはコンピューティングタスクを編集します。

ダウンストリームの再実行

アイコンをクリックし、[下流の再実行] を選択して、インスタンスの子孫ノードを再実行します。成功または失敗した統合およびコンピューティングタスクインスタンスの子孫ノードのみを再実行できます。待機中 (スケジュール時刻待ちまたはスケジュールリソース待ち) または 実行中 状態の子孫ノードは再実行できません。詳細については、「下流の再実行」をご参照ください。

依存関係チェーン全体を再実行するには、下流インスタンスの強制再実行をお勧めします。詳細については、「下流インスタンスの強制再実行」をご参照ください。

下流の再実行操作は、次のシナリオでよく使用されます:

• 現在のインスタンスノードのデータが更新された後、その子孫ノードのデータを同期する必要があります。

• インスタンスの子孫ノードの実行に失敗した後、子孫ノードを再実行する必要があります。

成功に設定 & 再開

アイコンをクリックし、[成功に設定して再開] を選択します。これにより、失敗または未実行のインスタンスのステータスが手動で [成功] に設定され、スケジューリングに参加できるようになります。[成功に設定して再開] をクリックし、[成功に設定して再開] 確認ダイアログボックスで [OK] をクリックします。

停止

アイコンをクリックし、[停止] を選択して実行中のインスタンスを停止します。インスタンスのステータスは [失敗] に変わります。インスタンスが停止すると、その子孫ノードは実行されません。

停止操作は、次のシナリオでよく使用されます:

• Dataphin のエラーまたは操作ミスにより、統合またはコンピューティングタスクインスタンスを停止する必要があります。

• 統合またはコンピューティングタスクインスタンスが実行中状態ですが、データが生成されません。インスタンスを手動で停止し、実行ログでエラーを確認できます。

強制再実行

アイコンをクリックし、[強制再実行] を選択します。次に、[現在のインスタンスを強制的に再実行] または [下流インスタンスを強制的に再実行] を選択します。

• 現在のインスタンスを強制的に再実行: 強制再実行では、先祖ノードのステータスはチェックされません。すべての先祖ノードが成功していない場合、現在のインスタンスの再実行に失敗したり、データエラーが発生したりする可能性があります。注意して進めてください。現在の統合またはコンピューティングタスクインスタンスを強制的に再実行すると、インスタンスのデータが更新されます。

• 下流インスタンスを強制的に再実行: この操作を実行すると、すべてのインスタンスが最初に [未実行] に設定されます。これにより、上流インスタンスの再実行中に下流インスタンスが実行されることで発生する可能性のあるデータの不整合を防ぎます。上流の依存関係とスケジュールされた実行時間のチェックは、開始ノードに対してのみスキップされます。子孫ノードは、引き続き依存関係ルールとインスタンストリガー条件に従う必要があります。詳細については、「下流インスタンスの強制再実行」をご参照ください。

上流依存関係の削除

アイコンをクリックし、[上流依存関係の削除] を選択して、ステータスに関係なく、統合またはコンピューティングタスクインスタンスの上流依存関係を削除します。

一時停止

アイコンをクリックし、[一時停止] を選択して実行中のインスタンスを一時停止します。現在のインスタンスを一時停止しても、同じタスクの他のインスタンスには影響しません。インスタンスを一時停止すると、そのインスタンスとその子孫ノードはスケジュールされません。

再開

アイコンをクリックし、[再開] を選択して一時停止中のインスタンスを再開します。インスタンスを再開すると、そのインスタンスとその子孫ノードは通常どおりスケジュールされます。

HTTP パスの変更

タスクの本番環境 HTTP パスを変更します。本番プロジェクトに対応するクラスターに設定されている任意の HTTP パスを選択できます。

スケジュールリソースグループの変更

アイコンをクリックし、[スケジュールリソースグループの変更] を選択して、インスタンスが実行時に使用するスケジュールリソースグループを変更します。

優先度の変更

アイコンをクリックし、[優先度の変更] を選択します。[優先度の変更] ダイアログボックスで、現在のタスクの優先度を変更します。[最高]、[高]、[中]、[低]、または [最低] を選択できます。

操作

説明

再実行

• 成功または失敗状態のインスタンスのみを再実行できます。

• 選択したインスタンスのいずれも成功または失敗状態でない場合、バッチ再実行操作はサポートされません。成功または失敗状態のインスタンスと他の状態のインスタンスを選択した場合、システムは成功または失敗状態のインスタンスのみを再実行します。

停止

• 成功、失敗、または未実行状態のインスタンスは停止できません。他の状態のインスタンスは停止できます。

• 選択したすべてのインスタンスが成功、失敗、または未実行状態の場合、バッチ停止操作はサポートされません。これらの状態のインスタンスと他の状態のインスタンスを選択した場合、システムは成功、失敗、または未実行状態のインスタンスを停止しません。

成功に設定 & 再開

複数のインスタンスを選択して、失敗または未実行のインスタンスのステータスをバッチで [成功] に手動で設定します。これにより、それらがスケジューリングに参加できるようになります。

一時停止

• 未実行、スケジュール時刻待ち、または調整済み状態のインスタンスのみを一時停止できます。

• 選択したインスタンスのいずれも未実行、スケジュール時刻待ち、または調整済み状態でない場合、バッチ一時停止操作はサポートされません。これらの状態のインスタンスと他の状態のインスタンスを選択した場合、システムは未実行、スケジュール時刻待ち、または調整済み状態のインスタンスのみを一時停止します。

再開

一時停止中の定期インスタンスをバッチで再開します。

[HTTP パスの変更]

複数の DATABRICKS_SQL インスタンスの本番環境 HTTP パスを変更します。選択した DATABRICKS_SQL インスタンスが異なる Databricks クラスターに属している場合は、各クラスターの HTTP パスを指定します。対応するクラスターに設定されている任意の HTTP パスを選択できます。

[スケジュールリソースグループの変更]

インスタンスが実行時に使用するスケジュールリソースグループを変更します。

[優先度の変更]

選択したインスタンスの優先度をバッチで変更します。[最高]、[高]、[中]、[低]、または [最低] を選択できます。

すべてダウンロード

統合、コンピューティング、モデリングタスクインスタンスを含む、すべての定期インスタンスのデータをコンピューターにダウンロードします。ダウンロードされたファイルは .xlsx 形式です。ファイル名は Dataphin 定期インスタンス_{タイムスタンプ}.xlsx の形式になります。

テーブルには次の情報が含まれます: インスタンスオブジェクト、インスタンス ID、ステータス、スケジュールサイクル、データタイムスタンプ、優先度、オーナー、プロジェクト (論理集計テーブルが複数のプロジェクトに属する場合、プロジェクト名はカンマ (`, `) で区切られます)、スケジュール実行時間、開始時刻、終了時刻、実行時間、リトライ/自動リトライ、関連ベースラインインスタンス (インスタンスが複数のベースラインに関連付けられている場合、ベースライン名はカンマ (`, `) で区切られます)、およびスケジュールリソースグループ (このパラメーターはモデリングタスクインスタンスでは空です)。