ジョブインスタンスの表示

Studio では、MaxCompute ジョブインスタンスを表示するために次の 2 つの方法をサポートしています。

  1. Logview URL またはローカルのオフライン Logview ファイルを使用し、 読み取り専用モードでジョブの詳細を開きます。

    MaxCompute ユーザーは、Logview を使用してジョブの詳細を表示することができます。 Logview を使用して、他のプロジェクトで他のユーザーが送信したタスクのステータスを表示することもできます。 有効な Logview の URL を Studio に入力して、ジョブの詳細を表示することもできます。

    メニューバーで、[MaxCompute]、[Open Logview] の順にクリックします。 クリップボード内の有効な Logview の URL は、表示されたダイアログボックスに自動的にコピーされます。 または、ローカルのオフライン Logview ファイルのエクスポートを選択します。

  2. Job Explorer で、MaxCompute インスタンスをダブルクリックし、詳細を表示します。 インスタンスを右クリックして [Open] をクリックすることも可能です。

Job details view

Job details view ページは、上部のツールバー、左側のプロパティバー、右側の詳細表示で構成されています。 詳細ビューは 7 つのビューで構成されています。
  • Execution view: DAG 形式でジョブの全体的な情報を表示します。 各サブタスクの依存関係と詳細な実行計画を表示できます。
  • Timeline view: ジョブの実行タイムラインを表示します。このタイムラインをさまざまな粒度で表示します、フィルターも多数用意されています。
  • Details: サブタスクリスト、各サブタスクのワーカーリスト、ワーカーが処理したデータ量、実行時間、およびステータスなどのジョブの詳細をテーブルビューに表示します。
  • Script: ジョブ送信時、対応する SQL 文とパラメーター設定を表示します。
  • Summary (JSON): ジョブの実行詳細を JSON 形式で表示します。
  • Result: ジョブの実行結果を表示します。
  • Analysis: 散布図、ロングテール分布、データスキューチャートを表示して、ジョブの実行結果を示します。

ツールバー

Collapse pages on left/right
左右のビューの展開または折りたたみに使用され、特定のビューに集中できるようにします。
Stop a job
実行中のジョブを停止するために使用されます。 そのためには権限 (所有者または管理者) が必要です。
Refresh details
実行中のジョブのステータスやクォータなどの基本情報は自動的にリフレッシュされますが、右側の詳細ビューはリフレッシュされません。 最新の詳細情報が必要な場合は、手動でリフレッシュする必要があります。
Copy Logview
ジョブの Logview をクリップボードにコピーします。
Open job details in a browser
Logview URL を生成して、ブラウザーで開きます。

Store job details locally

ジョブの詳細をローカルファイルとして保存します。
Auto refresh
この機能を有効にすると、実行したジョブの詳細が定期的に自動リフレッシュされます。

Basic information ページ

ジョブの ID、所有者、ステータス、開始時刻と終了時刻、コンピューティングリソース使用量、 入力、出力などの基本情報を表示します。 実行中のジョブの基本情報は、定期的に自動リフレッシュされます。 入出力項目には、ジョブの入出力テーブルがリストされます。 テーブル名をダブルクリックして詳細を表示します。

Execution view

Execution view は、Fuxi ジョブ、Fuxi タスク、操作の間の依存関係を表示するための最も一般的なツールです。 ジョブの再生、進行状況ビュー、ヒートマップビューなどの一連の補助ツールも提供されます。 Execution view は問題のトラブルシューティングに役立ちます。

Execution view では、Fuxi ジョブレイヤー、Fuxi タスクレイヤー、および 操作レイヤーの 3 つのディメンションでジョブの依存関係を表示できます。 ブレッドクラムまたは上矢印をクリックして、ディメンションを切り替えます。 デフォルトでは、Fuxi タスクレイヤーの依存関係が表示されます。

非 SQL ジョブの場合、Fuxi ジョブ と Fuxi タスクレイヤーのジョブのみが表示されます。 操作レイヤーのジョブは表示されません。

  • Fuxi ジョブレイヤー:

    ブレッドクラムまたは上矢印をクリックして、次元を切り替えます。 デフォルトでは、Fuxi タスク レイヤーの依存関係が表示されます。 Fuxi ジョブレイヤーを開くには、ブレッドクラムの MaxCompute ジョブ または Fuxi タスクレイヤーの上矢印をクリックします。 Fuxi ジョブのワーカーには、Fuxi タスクの名前、開始時刻、および終了時刻が含まれています。 Fuxi タスクレイヤーに移動するには、任意の Fuxi ジョブワーカーをダブルクリックします。

  • Fuxi タスクレイヤー:

    複数の Fuxi ジョブがある場合、最後の Fuxi ジョブの Fuxi タスレイヤーがデフォルトで開きます。 このレイヤーは依存関係、 入出力テーブル、および Fuxi タスクのパーティションを表示します。 ジョブが終了したら、ツールバーのドロップダウンボックスをクリックして、進行状況、入力と出力のヒートマップ、タスク時間、インスタンスのヒートマップなどのビューを切り替えます。 進行状況ビューには、ワーカーの実行状況が表示されます。 ヒートマップビューでは、各ワーカーのヒートを区別しますために色が使用されます。 任意の Fuxi タスクをダブルクリックして 操作レイヤーを開きます。 右クリックして、すべての Fuxi タスクの操作レイヤーを開きます。

    Fuxi タスクワーカーの内容

    
    1. インスタンス数: a/b/cは、特定の時点における実行中のサブタスクインスタンスの数が a、完了したタスクインスタンスの数が b、タスクインスタンスの総数が c であることを示します。
    
    2. I/O レコード: 特定の時点における入力レコード数と出力レコード数を表示します。
    
    3.パーセンテージおよびオレンジ色の進行状況バー: タスクの実行ステータスを示します。 実行中のサブタスクインスタンスを分析することによって取得されます。
    
    4. 出力レコード数がサブタスクを結ぶ線に表示されます。 矢印はデータの流れる方向を示します。
  • 操作レイヤー

    操作レイヤーは、Fuxi タスクが内部でどのように実行されるかを示します。 ワーカーをクリックすると、すべての操作情報が表示されます。

ジョブ再生

Studio はジョブ再生機能をサポートしています。 メディアファイルを再生するのと同じように、ジョブ履歴を 12 秒以内に確認します。 この機能は、各時点での MaxCompute インスタンスの実行中ステータスを把握し、サブタスクレベルの実行中シーケンスと消費時間を迅速に判断し、ジョブを実行するためのキーパスを習得し、それに応じて低速で実行するサブタスクを最適化するのに役立ちます。

  • [ >] をクリックしてジョブを開始し、再度 [>] をクリックして一時停止します。 進行状況バーを手動でドラッグすることも可能です。

  • ジョブの開始時刻は進行状況バーの左側、再生時間は中央、終了時間は右側に表示されます。

再生機能は、時間を測定してある時点での I/O データ容量を見積もるのみで、それによって完了までの進行状況を判定します。 これは実際の I/O データ容量を表すものではありません。 実行中ステータスのジョブは再生をサポートしていません。

Timeline view

ジョブの分散実行に関する詳細データをガントチャート形式で表示します。 表示の粒度を調整して、すべてのコンピューティングワーカーをガントチャートに表示できます。

ガントチャートを使用して、実行中ジョブのボトルネックとロングテールワーカーを表示します。 ジョブ実行のためのキーパス、最大のデータワーカー、および最長時間のワーカーの選択に役立つ複数のフィルターも提供されます。

Job details ページ

主に SQL DML ジョブに適用し、Fuxi タスクリストとコンピューティングワーカーリストをコンピューティングクラスターに表示します。

1 つのジョブは通常、1 つ以上の Fuxi ジョブに相当します。 Fuxi ジョブはそれぞれ複数の Fuxi タスク (ステージ) に分割され、Fuxi タスクはそれぞれ複数の Fuxi インスタンス (ワーカー) で構成されます。

Fuxi インスタンスを右クリックして、表示されたメニューで、標準出力、標準エラー、およびデバッグ情報を表示します。

Analysis ページ

ロングテールワーカーとデータスキューワーカーのジョブを表示します。ジョブ実行のボトルネックを診断するのに役立つワーカー散布図と棒グラフを表示します。

散布図と棒グラフにより、ワーカーから詳細表示ページを呼び出して、Fuxi インスタンスの詳細を確認します。

Results ページ

Results ページには、ジョブの種類と、ジョブの送信時に設定されたパラメーターに基づいてさまざまなページが表示されます。

  • 文を選択し、odps.sql.select.output.format = HumanReadable を設定します。 結果がテキスト形式で表示されます。
  • 文を選択しますが、出力形式は設定しません。 結果がテーブル形式で表示されます。
  • データをテーブルにエクスポートするスクリプトの場合、出力テーブル名とテーブルの詳細にリダイレクトするリンクが表示されます。
  • 異常なジョブの場合、結果ページで異常の詳細は制限されます。