LogView 2.0 を使用して MaxFrame ジョブを表示する - MaxCompute

LogView は、MaxCompute ジョブの実行ステータスを記録および表示するために使用されるツールです。LogView は MaxFrame と互換性があります。このトピックでは、LogView 2.0 を使用して MaxFrame ジョブの実行情報を表示する方法について説明します。

概要

LogView 2.0 は MaxFrame と互換性があり、以下の機能をサポートしています。

MaxFrame セッションで送信されたすべての DAG (有向非循環グラフ) の実行レコードと実行時間の表示
各 DAG 内のサブ DAG の実行シーケンス、実行時間、オペレーターのトポロジー、およびステータス関係のインタラクティブな表示
各サブインスタンスの設定、ステータス、メモリ使用量、および CPU 使用率の表示

LogView の一般的な機能については、「LogView 2.0 を使用してジョブの実行情報を表示する」をご参照ください。このトピックでは、MaxFrame ジョブの実行情報を表示する方法について説明します。

MaxFrame LogView のエントリー

session = new_session(...) を使用してセッションを作成すると、システムは https://logview.aliyun.com/logview で始まる URL を自動的に生成します。

DataWorks コンソールで MaxFrame を使用してジョブを送信した後、URL をクリックして MaxFrame LogView ページを開くことができます。
ローカル環境で MaxFrame を使用してジョブを送信する場合、session.get_logview_address() メソッドを使用して URL を取得し、印刷できます。その後、URL をブラウザにコピーしてページにアクセスできます。

次の図に MaxFrame LogView ページを示します。

番号	エリア
①	このセクションには、ジョブ ID とジョブ名が表示されます。詳細については、「タイトルと機能エリア」をご参照ください。
②	基本情報。詳細については、「基本情報」をご参照ください。
③	DAG リストセクション。詳細については、「DAG リストセクション」をご参照ください。

タイトルと機能エリア

このセクションには、ジョブ ID とジョブ名が表示されます。ジョブ ID は、ジョブを一意に識別します。ジョブ名は、入力するカスタム名です。また、このセクションの右側にあるアイコンをクリックして操作を実行することもできます。

アイコン	特徴
	MaxFrame LogView URL を取得します。
	ジョブの詳細をファイルとしてオンプレミスマシンに保存します。
	現在のジョブプロセスを停止します。
	ジョブの詳細を含む LogView_detail.txt ファイルを開きます。ファイルはオンプレミスのマシンに保存されます。
	ジョブリストを開き、指定されたプロジェクトのジョブ情報を表示します。
	自動更新を有効にするかどうかを設定します。自動更新が有効な場合、ページは 10 秒ごとに更新されます。

DAG リストセクション

このセクションには、実行時間に基づいて降順で DAG が表示されます。最も最近送信されたジョブがリストの先頭に表示されます。次の表に基本情報を示します。

パラメータ	説明
ID	DAG の ID。DAG が実行されるたびに生成される一意の ID。
詳細	をクリックして、対応するサブ DAG の詳細を表示します。
開始時刻	DAG が送信された時刻。
終了時刻	DAG の終了時刻。DAG のこのパラメータの値が空の場合、DAG はまだ実行中です。
期間	DAG の実行期間。開始時刻から終了時刻または現在の時刻までの期間です。
ステータス	ジョブのステータス。有効な値：準備中：DAG は解析中で、まだ実行されていません。実行中：DAG は実行中です。成功：DAG は正常に実行されました。失敗：DAG の実行に失敗しました。キャンセル中：DAG はキャンセル中です。キャンセル済み：DAG はキャンセルされました。
説明	DAG の説明。

サブ DAG の詳細

次の図は、サブ DAG 詳細ページを示しています。

番号	エリア
①	サブ DAG グラフ表示エリア。詳細については、「サブ DAG グラフ」をご参照ください。
②	サブ DAG リスト。詳細については、「サブ DAG リスト」をご参照ください。
③	サブ DAG のインスタンスリスト。詳細については、「インスタンスリスト」をご参照ください。
④	サブ DAG の基本情報。詳細については、「基本情報」をご参照ください。

サブ DAG グラフ

サブ DAG グラフには、現在の DAG の詳細が表示されます。

番号	説明
①	サブ DAG の ID。ID をクリックすると、DAG リストページに戻ります。
②	サブ DAG のタスクレベルを切り替えるためのパンくずリストナビゲーション。
③	トラブルシューティングツール。これには、進行状況チャート、入力ヒートチャート、出力ヒートチャート、タスク時間ヒートチャート、インスタンス時間ヒートチャートが含まれます。
④	このエリアでは、ジョブの実行ステータスを更新 () したり、ジョブ実行グラフを全画面表示または拡大・縮小 () したり、MaxCompute Studio のドキュメントを取得 () したり、タスクの前のレベルに切り替えたり () できます。
⑤	ズームツール。
⑥	テーブルノード。MaxCompute テーブルを表します。
⑦	サブ DAG ノード。次の内容が含まれています。 STAGE_X：サブ DAG の名前。X は実行シーケンスを示します。シーケンス番号は 1 から始まり、順番に増加します。 X/X/X（例：0/5/5）：現在のサブ DAG 内のさまざまな状態の MaxCompute インスタンスの数を示します。この例では、最初の値は実行中のインスタンスの数、2 番目の値は完了したインスタンスの数、3 番目の値はインスタンスの総数を示します。開始時刻と終了時刻。 MCSQL：現在のサブ DAG の実行エンジンを示します。 OP 1：現在のサブ DAG に 1 つのオペレータが含まれていることを示します。ノードをダブルクリックすると、オペレータグラフを表示できます。
⑧	データフロー。ステージ間またはステージとテーブル間のデータフロー方向を示します。
⑨	キャンバスプレビュー。

サブ DAG リスト

このセクションには、現在の DAG 内のすべてのサブ DAG の実行情報が表示されます。サブ DAG は時系列でソートされます。

パラメータ	説明
サブ DAG	現在のサブ DAG の名前。
失敗/終了/すべて	現在のサブ DAG 内のさまざまな状態の MaxCompute インスタンスの数。説明（+X フォールバック）と表示されている場合、特定の数のインスタンスの MaxCompute Query Acceleration (MCQA) ジョブは、オフライン SQL ジョブにロールバックされます。これはデータエラーではありません。X はインスタンスの数を示します。
ステータス	現在のサブ DAG の状態。 Failed: サブ DAG の実行に失敗しました。キャンセル済み：サブ DAG の実行はキャンセルされました。 Running: 現在実行中です。成功：サブ DAG の実行は成功しました。
進捗	サブ DAG の実行の進捗状況。説明進捗状況が 100% に達しても、サブ DAG が実行中状態のままである場合、すべてのインスタンスの実行は完了しています。これは、サブ DAG の実行が完了したことを示すものではありません。
開始時刻	サブ DAG が送信された時刻。
終了時刻	サブ DAG の実行が完了した時刻。
期間	サブ DAG の実行期間。
タイムライン	タイムラインプレビュー。タイムラインを使用して、開始シーケンスと期間を表示できます。

インスタンスリスト

インスタンスリストには、サブ DAG に関連する MaxCompute インスタンスのジョブが表示されます。

パラメータ	説明
インスタンス ID	ジョブの MaxCompute インスタンス ID。
ステータス	ジョブのステータス。 Failed: ジョブの実行に失敗しました。キャンセル済み：ジョブはキャンセルされました。実行中：ジョブは実行中です。終了：ジョブの実行は成功し、完了しました。フォールバック：ジョブは実行にダウングレードされ、新しいインスタンスレコードが生成されます。不明_終了：ジョブの実行は完了しましたが、システムは実行が成功したかどうかを検出できません。
詳細	ジョブの詳細。
開始時刻	ジョブが送信された時刻。
終了時刻	ジョブが完了した時刻。
期間	ジョブが実行された期間。
タイムライン	タイムラインプレビュー。タイムラインを使用して、開始シーケンスと期間を表示できます。

Fuxi Sensor

Fuxi Sensor は、MaxFrame ジョブの包括的なリソースビューを提供します。Fuxi Sensor を使用して、Fuxi インスタンスのメモリ使用量と CPU 使用率を表示できます。また、Fuxi Sensor を使用して、ジョブの問題を特定し、ジョブのパフォーマンスを分析することもできます。たとえば、次のシナリオで Fuxi Sensor を使用できます。

メモリ不足 (OOM) エラーが発生した場合、メモリ使用量を分析します。
MaxFrame ジョブの Fuxi インスタンスの次のリソース使用量を表示します。
- CPU 使用率
  cpu_usage チャートには 2 つの線があります。1 つの線はリクエストされた CPU の数 (cpu_plan) を示し、もう 1 つの線は使用された CPU の数 (cpu_usage) を示します。y 軸では、400 は 4 つのプロセッサを示します。現在、リクエストされた CPU の数はプロセッサの数を調整することによってのみ調整できます。CPU 使用率を調整することはできません。
- メモリ使用量
  mem_usage チャートには 2 つの線があります。1 つの線はリクエストされたメモリリソースの数 (mem_plan) を示し、もう 1 つの線は使用されたメモリリソースの数 (mem_usage) を示します。
  メモリの詳細

シナリオ

DAG、サブ DAG、またはインスタンスが最も長く実行されたフェーズを表示する

DAG リスト、サブ DAG リスト、およびインスタンスリストのタイムライン列を表示して、現在のレベルで実行に最も時間がかかる DAG、サブ DAG、およびインスタンスをすばやく見つけることができます。

説明

リストが長すぎてページ分割が必要な場合は、Duration 列の値に基づいてリストを降順にソートして、実行に最も長い時間を要する項目をすばやく見つけることができます。

エラーの原因を表示する

DAG の実行に失敗したこと、またはクライアントが例外ログを返したことがわかった場合は、MaxFrame LogView ページに移動して次の操作を実行できます。

DAG リストで各 DAG のステータスを表示します。
ステータスが Failed の最新の DAG レコードを見つけ、Detail 列のをクリックして詳細を表示します。
DAG 詳細ページで、赤で表示されているサブ DAG ノード (次の図の STAGE_1 など) を表示します。
または、結果タブにエラーメッセージを表示します。
失敗したサブ DAG ノード STAGE_1 をクリックします。次に、インスタンスリストの Detail 列にあるをクリックして詳細を表示します。次の図で失敗したインスタンスを見つけることができます。

サブ DAG に含まれるオペレータを表示する

次のいずれかの方法を使用して、サブ DAG に含まれるオペレーターを表示できます。

方法 1：DAG 詳細ページで、目的のサブ DAG ノードをクリックします。
方法 2：DAG 詳細ページで、目的のサブ DAG ノードをダブルクリックします。

説明

現在のオペレーターに対応する MaxFrame スクリプトのコード行は、オペレーターにマークされています。
一部のオペレーターには merged from ID がある場合があります。これは通常、DAG が送信された後、オプティマイザーが複数のオペレーターをマージして、より高いパフォーマンスと同一の特徴を持つ新しいオペレーターを生成することを示します。

テーブルのデータを表示する

データフロー構造の表示

データフローに関する情報を表示するには、DAG 詳細ページで関連するサブ DAG ノードをダブルクリックして、オペレーター詳細ページに移動します。次に、オペレーター間の接続ラインをクリックして、データ型、インデックス、および列名フォーマットを表示します。

パラメータの説明:

Type: dataframe は、アップストリームオペレーターが dataframe を出力することを示します。
DataFrame インデックスは、インデックスを示します。
None: int64 は、現在のインデックスに int64 型の名前のないインデックスが含まれていることを示します。
DataFrame 列は、列情報を示します。
<列名>: <dtype> は、現在の DataFrame に含まれるすべての列と列の型を示します。
DataFrame レベル名は、DataFrame レベルの名前を示します。

データテーブルの構造を表示する

オペレータグラフまたはサブ DAG グラフ内の MaxCompute テーブルノードをクリックします。

ジョブの詳細を表示する

DAG 詳細ページで、インスタンスリストの Detail 列にあるをクリックしてジョブの詳細を表示します。