定期インスタンスまたはデータバックフィルインスタンスのランタイムは、スケジュール時刻、上流インスタンスのステータス、リソースの可用性、速度制限ルールなど、いくつかの要因の影響を受けます。Dataphin は、インスタンスランタイム診断機能を提供し、実行フローと依存関係チェーン全体を分析します。インスタンスが期待どおりに実行されない場合、この機能を使用して問題を迅速に特定できます。
制限事項
ランタイム診断は、スクリプト、詳細テーブルと集計テーブル、抽出インスタンスなどのオフライン定期インスタンスとデータバックフィルインスタンスでのみサポートされます。リアルタイムインスタンス (リアルタイムコンピューティングやリアルタイム統合など) やワンタイムインスタンスではサポートされません。
詳細テーブルと集計テーブルインスタンスでは、フィールドレベルの分析はサポートされていません。分析はマテリアライズノードレベルでのみサポートされます。
機能概要
オペレーションセンターでは、さまざまな色とアイコンがインスタンスのステータスと実行フローの段階を示します。これらの視覚的な手がかりを使用して、インスタンスの段階を判断したり、実行されていない理由を特定したりできます。インスタンスのステータスと実行フローは次のとおりです。
ステータスアイコン | 説明 | 実行フローチャート |
| 実行していません |
|
| スケジュール時刻待ち | |
| 速度制限中 | |
| スケジュールリソース待ち | |
| 実行中 | |
| 成功 | |
| 失敗 |
インスタンスの正常な実行は、上流依存関係、スケジュール時刻、リソース、および自身のランタイムステータスなど、複数の要因に依存します。インスタンスが失敗した場合、または長時間 1 つのステータスに留まっている場合は、ランタイム診断機能を使用して、次のフローまたはディメンションに基づいて分析できます。
チェック項目 | 説明 |
上流インスタンスのステータスを確認します。上流インスタンスが失敗すると、現在のインスタンスの実行がブロックされます。上流依存関係の診断結果を表示して、失敗の原因をさらに調査します。 | |
ノードのスケジュール時刻に達したかどうかを確認します。 | |
現在のインスタンスがヒットした速度制限ルールと、現在のキューでディスパッチされたインスタンスのリストを表示します。 | |
インスタンスがスケジュールリソースを待機している時間と、同じリソースグループで現在リソースを使用しているインスタンスの完全なリストを表示します。次に、診断の推奨事項に基づいて提案された操作を実行します。 | |
インスタンスの実行結果と実行ログを表示します。 |
ランタイム診断へのアクセス
Dataphin のホームページで、トップメニューバーから [開発] > [タスク O&M] を選択します。
左側のナビゲーションウィンドウで、[インスタンス O&M] > [定期インスタンス]/[データバックフィルインスタンス]/[ワンタイムインスタンス] を選択します。
[定期インスタンス]/[データバックフィルインスタンス]/[ワンタイムインスタンス] ページで、対象インスタンスの名前をクリックします。右側の有向非巡回グラフ (DAG) の下にある [ノード詳細の表示] をクリックします。
次の図は、[定期インスタンス] ページを例として使用しています。
ノード詳細ページで、[診断] タブをクリックします。
上流依存関係
上流依存関係の診断には、インスタンスの前回実行の診断結果と、その上流インスタンスの最新ステータスが表示されます。すべての上流インスタンスが正常に実行された後にのみ、次のステップのチェックに進みます。上流依存関係の診断結果を表示して、失敗の原因をさらに調査できます。前回実行で上流依存関係の診断に合格したインスタンスは、再度診断されません。前回実行の結果または上流インスタンスのステータスを更新するには、
更新アイコンをクリックします。
インスタンスの前回実行の結果が成功で、強制再実行ではなかった場合、診断結果は [合格] になります。
機能
説明
[前回実行]
実行ステータスと合格した時刻を表示します。
説明現在のインスタンスは、すべての上流インスタンスが正常に実行された後にのみスケジュールされます。
現在の診断結果
診断結果を表示します。
[スケジュールタイプ]：[ドライラン]、[通常実行]、[一時停止中] が含まれます。現在のインスタンスが [一時停止中] の状態である場合、開始する前に [スケジュール再開] を行う必要があります。
[初期ブロッキングノード]：現在のノードの実行を妨げている最上位のノードを表示します。上流診断に合格したインスタンスには、初期ブロッキングノードはありません。
[直接上流リスト]：直接の上流ノードのリストを表示します。ノード名、ノード ID、またはインスタンス ID で検索できます。[実行ステータス] と [所有者] でフィルタリングすることもできます。
インスタンスが開始されておらず、一時停止されていない場合、診断結果のスケジュールタイプは [通常実行] になります。プロンプトに従い、初期ブロッキングノードに注目してください。ブロッキングノードの実行を調整して、現在のノードが再開できるようにします。現在のインスタンスは、すべての上流インスタンスが正常に実行された後にのみスケジュールされます。
インスタンスが現在一時停止中の状態である場合、診断は停止し、結果は [一時停止中] になります。
強制再実行インスタンスは、すべての上流インスタンスが正常に実行されたかどうかをチェックしません。インスタンスの前回実行が強制再実行であった場合、診断結果は [スキップ] になります。
スケジュール時刻
スケジュール時刻の診断には、インスタンスの前回実行の診断結果が表示されます。インスタンスは、スケジュール時刻に達した場合にのみスケジュールされます。それ以外の場合は、[スケジュール時刻待ち] の状態のままになります。診断結果を更新するには、 更新アイコンをクリックします。
インスタンスがスケジュール時刻に達しておらず、一時停止されていない場合、診断結果は [スケジュール時刻待ち] になります。インスタンスを早期にスケジュールするには、[強制再実行] を実行できます。ただし、この操作が下流ノードのデータ品質に影響を与えないことを事前に確認する必要があります。
インスタンスが現在一時停止しており、そのスケジューリングが一時停止されている場合、診断結果は [一時停止] になります。実行するには、[スケジュール再開] をクリックします。
インスタンスが前回実行時にスケジュール時刻に達し、それが強制再実行ではなかった場合、診断結果は [合格] になります。
開始ノードの強制再実行では、スケジュール時刻はチェックされません。直接実行を開始し、診断をスキップします。インスタンスの前回実行が強制再実行であった場合、診断結果は [スキップ] になります。
速度制限ルール
IT 運用向け AI アドオンを購入している場合は、速度制限ルールを設定できます。詳細については、「速度制限ルールの設定」をご参照ください。
実行中のすべてのインスタンスは、速度制限ルールに対して診断される必要があります。インスタンスが上流依存関係とスケジュール時刻の診断に合格した後、ヒットしたすべての速度制限ルールを満たしている場合にのみ、リソーススケジューリングシステムにディスパッチされます。診断結果を更新するには、 更新アイコンをクリックします。
インスタンスの前回実行が上流依存関係とスケジュール時刻の要件、およびヒットしたすべての速度制限ルールを満たしていた場合、診断結果は [合格] になります。
インスタンスが現在速度制限中でディスパッチを待機しており、一時停止されていない場合、診断結果は [速度制限中] になります。待機している時間も表示されます。
シナリオ
説明
ブロックルール
現在のインスタンスがヒットした速度制限ルールの名前を表示します。ルール名をクリックすると、その詳細が表示されます。
ディスパッチ済みインスタンスリスト
ヒットした速度制限ルールのキューでディスパッチされたインスタンスを表示します。名前または ID でディスパッチされたインスタンスを検索またはフィルタリングできます。
インスタンスが現在一時停止しており、そのスケジューリングが一時停止されている場合、診断結果は [一時停止] になります。リソーススケジューリングのためにディスパッチされる前に、インスタンスを再開する必要があります。
スケジュールリソース
実行リソースを共有するインスタンスは、一般的にスケジュールリソースの可用性の影響を受けにくいです。専用実行リソースを使用するインスタンスは、そのリソースグループに割り当て可能な十分なアイドルリソースがある場合にのみスケジュールされます。それ以外の場合は、[スケジュールリソース待ち] の状態になります。診断結果を更新するには、 更新アイコンをクリックします。
インスタンスのリソースグループに前回実行時に十分なアイドルリソースがあり、インスタンスが一時停止されていない場合、診断結果は [合格] になります。
現在のインスタンスに十分なアイドルスケジュールリソースがない場合、診断結果は [スケジュールリソース待ち] になります。スケジュールリソース診断ページには、[リソース待機時間]、診断の [提案]、および [リソース占有インスタンス] のリストが表示されます。ページ上の診断の提案に従い、[リソース占有インスタンス] リストを参照して、現在のインスタンスが正常に実行されるのに十分なリソースを確保するようにしてください。
インスタンスの実行
実行段階に達したインスタンスのみが [インスタンスの実行] 診断ページに表示されます。このページには、インスタンスの [実行結果] と [ランタイムログ] が表示されます。[実行結果] が [失敗] の場合、[ランタイムログ] を使用して問題をトラブルシューティングし、解決できます。診断結果を更新するには、 更新アイコンをクリックします。
[操作ログを開く] をクリックして、[ランタイムログ] ページに移動します。操作ログには、ログ情報、例外情報、パフォーマンス診断、および例外コードが含まれています。パフォーマンス診断の詳細については、「オフライン統合ノードのパフォーマンス診断」をご参照ください。