MaxCompute:LogView V2.0 を使用したジョブ情報の表示

Job details

• プログレスチャート

  Job details タブの上部には、プログレスチャートが表示されます。このチャートは、Fuxi job、Fuxi task、オペレーターの 3 つのレイヤーにわたるサブタスクの依存関係を可視化し、トラブルシューティングツールも提供します。

  番号	説明
  1	Fuxi jobs を切り替えるためのパンくずナビゲーション。JOB:_SQL_0_0_0_job_0 は Fuxi job の名前です。
  2	問題をトラブルシューティングするためのツール。プログレスチャート、入力ヒートチャート、出力ヒートチャート、TaskTime ハートチャート、InstanceTime ハートチャートを使用できます。
  3	アイコンをクリックしてジョブステータスを更新し、 アイコンをクリックしてプログレスチャートを拡大または縮小できます。また、 アイコンをクリックして MaxCompute Studio ドキュメントを表示し、 アイコンをクリックしてジョブの上位レベルに切り替えることもできます。
  4	ズームツール。
  5	Fuxi task。MaxCompute ジョブは 1 つ以上の Fuxi jobs で構成され、各 Fuxi job は 1 つ以上の Fuxi tasks で構成されます。さらに、各 Fuxi task は 1 つ以上の Fuxi instances で構成されます。入力データ量が増加すると、MaxCompute は各タスクに対してより多くのノードを起動してデータを処理します。ノードは Fuxi instance と同等です。たとえば、シンプルな MapReduce ジョブでは、map task（M1）と reduce task（R2）の 2 つの Fuxi tasks が生成されます。SQL ステートメントが複雑な場合は、複数の Fuxi tasks が生成される可能性があります。 実行ページで各 Fuxi task の名前を確認できます。たとえば、M1 は map task を示します。R4_3_9 の 3 と 9 というフィールドは、M3 および C9_3 が完了した後にのみ map task を実行できることを示しています。同様に、M2_4_9_10_16 は、M2 タスクが R4_3_9、C9_3、R10_1_16、および C16_1 が完了した後にのみ実行できることを示しています。R/W は、タスクが読み取りおよび書き込みする行数を示します。 タスクをクリックまたは右クリックして、そのタスクのオペレーター依存関係およびオペレーターグラフを表示できます。 入力テーブルおよび出力テーブルを迅速に表示できます。
  6	Fuxi task の再生。再生を開始または停止するには アイコンをクリックします。また、プログレスバーをドラッグすることもできます。プログレスバーの両端には開始時刻と終了時刻が表示され、中央には再生時間が表示されます。
  7	サムネイル。

  説明

  • 再生機能は、Running 状態の Fuxi tasks には適用されません。

  • Platform for AI（PAI）などの AlgoTask ジョブには Fuxi task が 1 つしか含まれないため、これらのジョブにはプログレスチャートが提供されません。

  • SQL 以外のジョブでは、Fuxi jobs および Fuxi tasks のみが表示されます。

  • Fuxi job が 1 つしかない場合、プログレスチャートには Fuxi tasks 間の依存関係が表示されます。複数の Fuxi jobs が存在する場合、プログレスチャートには Fuxi jobs 間の依存関係が表示されます。

• ジョブステータス

  Job details タブの下部には、ジョブの詳細な実行情報が表示されます。

  番号	説明
  1	Fuxi Jobs タブ。このタブで Fuxi jobs を切り替えられます。
  2	Fuxi job の Fuxi tasks の詳細。Fuxi task をクリックすると、そのタスクの Fuxi instance 情報が表示されます。デフォルトでは、最初の Fuxi job の最初の Fuxi task の Fuxi instance 情報が表示されます。 AlgoTask および CUPID ジョブの場合、このエリアには Sensor 列が表示されます。Fuxi task の Sensor をクリックすると、その Fuxi instances の CPU 使用率およびメモリ使用量を確認できます。Fuxi jobs は次のように分類されます。 M：ID が M で始まるジョブは、データスキャンジョブです。 R：ID が R で始まるジョブは、Reduce ジョブです。 J：ID が J で始まるジョブは、JOIN ジョブです。 C：ID が C で始まるジョブは、仮想ノードを示します。このノードは計算を伴わず、ブランチ選択にのみ使用されます。 説明 Fuxi Sensor は、中国 (成都)、中国 (深セン)、中国 (上海)、中国 (杭州)、中国 (張家口)、および中国 (北京) リージョンで利用可能です。 Fuxi task が interrupted された場合、リトライされることがあります。この場合、Progress 列にはリトライ試行の進捗のみが表示されます。そのため、全体のジョブは正常に完了していても、この Fuxi task の進捗が 100% になっていないことがあります。これは期待される動作です。
  3	LogView は、インスタンスをステータスに基づいてグループに分けます。[Failed] の横の値をクリックして、障害のあるノードの情報を照会できます。
  4	Fuxi instances。 ID の例：M1#0_0。最初の 0 は Fuxi instance の自動増分 ID です。2 番目の 0 はタスクのリトライ回数です。0 の値は、タスクがリトライされていないことを示します。n の値は、タスクが n 回リトライされたことを示します。 StdOut および StdErr。出力メッセージ、エラーメッセージ、および表示したい情報を確認できます。また、これらの情報をダウンロードすることもできます。 デバッグ。エラーのデバッグおよびトラブルシューティングが可能です。 Fuxi instances 数の制限。 使用する SQL ステートメントが以下のいずれかの条件を満たす場合、Fuxi instances 数は 1 に制限されます。 limit 句を含む場合。 partition by key 句なしでウィンドウ関数を使用する場合。 group by key 句なしで集計関数を使用する場合。 JOIN 操作を実行するために使用される SQL ステートメントには、等結合キーが含まれていません。 order by 句を含む場合。

Fuxi Sensor

Fuxi Sensor は、Fuxi instance の多次元的なリソースビューを提供し、実際の CPU 使用率およびメモリ使用量を表示します。これにより、根本原因分析やジョブパフォーマンス分析において非常に有用なツールとなります。具体的なシナリオは以下のとおりです。

• メモリ不足（OOM）エラーが発生した際の実際のメモリ使用量を分析します。

• 機械学習ジョブの Fuxi instance の以下のリソース使用量を表示します。

  • CPU 使用率

    cpu_usage チャートには 2 本の線があります。1 本はリクエストされた CPU 数（cpu_plan）を示し、もう 1 本は使用された CPU 数（cpu_usage）を示します。Y 軸で 400 は 4 つのプロセッサを示します。リクエストされた CPU 数は、プロセッサ数を調整することでのみ変更できます。使用可能な CPU 数を調整することはできません。

  • メモリ使用量

    mem_usage チャートには 2 本の線があります。1 本はリクエストされたメモリリソース数（mem_plan）を示し、もう 1 本は使用されたメモリリソース数（mem_usage）を示します。

    メモリ使用量（mem_usage）は、Resident Set Size（RSS）と PageCache の 2 つの部分で構成されます。RSS は、Malloc 呼び出し（非ファイルマッピング）によるページフォールトが発生した後に割り当てられるメモリです。このメモリは、メモリが不足した場合でも解放できません。PageCache は、ログファイルの読み書きなどを行う際にカーネルがファイルをキャッシュするために使用するメモリです。PageCache は通常、メモリが不足した場合に解放可能です。

    • メモリ詳細

    • RSS 使用量

    • PageCache 使用量

Result

Source XML

• XML

  このタブには、ジョブレベルおよびタスク関連情報が XML 形式で表示されます。

• Settings

  このタブには、現在のタスクの設定が表示されます。

• Command

  このタブには、現在のタスクのフラグ設定が表示されます。

SQL script

このタブには、現在のタスクの SQL スクリプトが表示されます。

History

このタブには、現在のタスクの履歴が表示されます。

SubStatusHistory