すべてのプロダクト
Search
ドキュメントセンター

MaxCompute:LogViewを使用したジョブ情報の表示

最終更新日:Jan 17, 2025

LogViewは、MaxComputeにジョブを送信した後にジョブを表示およびデバッグするために使用できるツールです。

LogViewを使用すると、ジョブの次の情報を表示できます。

  • タスクステータス

  • タスク結果

  • 各タスクの詳細と各ステップの進行状況

ジョブがMaxComputeに送信されると、システムはLogView URLを生成します。 webブラウザでLogView URLを入力し、enterキーを押してジョブ情報を表示できます。 Screenshots

説明

各ジョブのLogViewページは7日間有効です。

UI要素

このセクションでは、LogView UIの要素について説明します。

LogViewページは2つのセクションで構成されています。

  • ODPSインスタンス

  • ODPSタスク

ODPSインスタンス

ODPSインスタンスセクションには、送信されたSQLジョブに対応するインスタンスに関する情報が表示されます。 情報には、URL、Project、InstanceID、Owner、StartTime、EndTime、およびStatusが含まれます。

  • [ステータス] 列の値をクリックすると、キュー情報が表示されます。 ステータスの有効値:

    • 待機中: ジョブはMaxComputeで処理中であり、ジョブスケジューラに送信されません。

    • 待機リスト: n: ジョブがジョブスケジューラに送信され、キューに入れられます。 nはキュー内のジョブの順番を示します。

    • Running: ジョブはジョブスケジューラで実行中です。

    説明

    Statusの値が [Terminated] の場合, ジョブは終了し, キュー情報はありません。

  • ステータスの値をクリックすると、次のキュー情報が表示されます。

    • サブステータス: 現在のサブステータス情報。

    • WaitPos: キュー内のジョブの位置。 値0は、ジョブが実行中であることを示します。 値-は、ジョブがジョブスケジューラに送信されないことを示します。

    • QueueLength: ジョブスケジューラのキューの合計長さ。

    • 総優先度: システムによって割り当てられた実行優先度。

    • サブステータス履歴: この列のアイコンをクリックすると、ステータス履歴が表示されます。 ステータス履歴は、ジョブの状態のステータスコード、ステータス記述、開始時間、および継続時間を含む。 一部のバージョンでは情報を使用できません。

ODPSタスク

ODPSタスクセクションには、インスタンスに対応するタスクに関する情報が表示されます。 情報は、名前、タイプ、ステータス、結果、詳細、開始時間、終了時間、待ち時間、およびタイムラインを含む。 ODPSタスクセクションのレイテンシは、合計実行時間を示します。

結果:

ジョブが完了したら、[結果] 列のアイコンをクリックしてジョブの結果を表示できます。 SELECT文の実行结果を次の図に示します。

詳細

[詳細] 列のアイコンをクリックすると、実行中の詳細が表示されます。 実行中のジョブと完了したジョブの両方の詳細を表示できます。 MaxComputeタスクの詳細を示すダイアログボックスで、次の情報を表示できます。

  • MaxComputeジョブは、1つ以上のFuxiジョブで構成されます。 たとえば、複雑なSQLジョブが送信された場合、MaxComputeは複数のFuxiジョブをジョブスケジューラに自動的に送信します。

  • 各 Fuxi ジョブは 1 つ以上の Fuxi タスクで構成されます。 たとえば、単純なMapReduceジョブは、2つのFuxiタスク、すなわち、mapタスク (M1) およびreduceタスク (R2) を生成する。 SQLジョブが複雑な場合、複数のFuxiタスクが生成される可能性があります。

  • Fuxiタスクの名前。 ほとんどの場合、タスク名は文字と数字で構成されます。 文字はタスクのタイプを表します。 例えば、Mはマップタスクを示す。 文字の後の数字は、タスクのIDと依存関係を表します。 例えば、R5_4は、J4タスクが完了した後にのみreduceタスクを実行できることを示す。 J4_1_2_3は、M1、M2、M3のタスクが完了した後にのみ結合タスクを実行できることを示します。

    説明

    I/Oレコードは、Fuxiタスクの入力レコードと出力レコードの番号を示します。

  • I/Oレコードは、このタスクの入力レコードと出力レコードの番号を示します。

Fuxiタスクに対応するインスタンスに関する情報を表示するには、Fuxiタスクの [詳細表示] 列のアイコンをクリックするか、Fuxiタスクをダブルクリックします。

説明

各 Fuxi タスクは 1 つ以上の Fuxi インスタンスで構成されます。 Fuxiタスクの入力データ量が増加すると、MaxComputeはタスクがデータを処理するためのより多くのノードを開始します。 ノードは、Fuxiインスタンスに対応する。

ダイアログボックスの下部には、異なる段階のFuxiインスタンスのステータス情報がグループで表示されます。 たとえば、[失敗] タブをクリックして、エラーが発生したノードを表示できます。 標準出力情報を表示するには、[StdOut] 列のアイコンをクリックします。 StdErr列のアイコンをクリックして、標準エラー情報を表示することもできます。

説明

送信されたMaxComputeジョブに書き込まれた表示対象情報は、標準出力情報および標準エラー情報にも表示されます。

LogViewを使用した問題の処理

  • エラーのあるタスク

    タスク中にエラーが発生した場合は、タスクを見つけて、LogViewページの下部にある [結果] 列のアイコンをクリックして、エラー情報を表示します。 詳細ダイアログボックスでFuxiインスタンスのStdErr列のアイコンをクリックして、インスタンスのエラー情報を表示することもできます。

  • データスキュー

    1つまたは複数のFuxiインスタンスのロングテールは、Fuxiタスクの実行を減速させることができる。 ロングテールは、タスク内の不均一なデータ分布によって引き起こされます。 タスクの完了後、詳細ダイアログボックスの [概要] タブで実行結果を表示できます。 次の出力は、実行結果の例を示しています。

    output records:
    R2_1_Stg1: 199998999  (min: 22552459, max: 177446540, avg: 99999499)

    min値とmax値に大きな差があると、データスキューが発生します。 たとえば、特定の値が列内の他の値よりも頻繁に表示される場合、この列に基づいてJOIN操作を実行するとデータスキューが発生します。