DataWorks:エンジン O&M

制限事項

• DataWorks のエンジン O&M 機能は、EMR ジョブのみをサポートします。O&M データを正しく取得するために、チケットを送信して EMR 実行パッケージをアップグレードする必要があります。

• EMR クラスターが登録されていないワークスペースでは、Operation Centerの左側のナビゲーションウィンドウに Engine O&M メニューは表示されません。

• 専用スケジューリングリソースグループを使用している場合は、チケットを送信してアップグレードをリクエストする必要があります。そうしないと、Engine O&M ページの一部のフィールドがハイフン (-) で表示されます。

注意事項

YARN アプリケーションが再利用されると、エンジン O&M ページの ジョブid (アプリケーション ID) は、異なる DataWorks モジュールでタスクを実行した場合でも同じままです。

• エンジン O&M ページには、DataWorks で EMR ジョブが初めて実行されたときに生成されたアプリケーション ID のみが表示されます。

• EMR ジョブの DataWorks タスクインスタンスの実行が完了した後 (成功 または Failed のステータス)、YARN アプリケーションはまだ RUNNING 状態のままの場合があります。例えば、Kyuubi では、kyuubi.session.engine.idle.timeout で指定されるアイドルセッションタイムアウトによって、YARN アプリケーションを一定期間保持するかどうかが決まります。kyuubi.session.engine.idle.timeout の設定が PT30M の場合、EMR Kyuubi ジョブの完了後 30 分間、YARN アプリケーションが保持されることを意味します。対応するサービスの構成は、EMR on ECS コンソールで確認できます。

前提条件

DataWorks ワークスペースに EMR クラスターを登録し、関連する EMR タスクを実行済みであること。

1. クラスターの登録：DataStudio (レガシ)：EMR コンピュートリソースのバインドをご参照ください。

2. EMR タスクの実行：DataWorks On EMR の使用上の注意をご参照ください。

エンジン O&M ページへのアクセス

1. DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウで データ開発と О&М > 操作とメンテナンスセンター をクリックします。ドロップダウンリストからワークスペースを選択し、入力 操作とメンテナンスセンター をクリックします。

2. 左側のナビゲーションウィンドウで、Others > Engine O&M > E-MapReduce を選択し、E-MapReduce エンジン O&M ページに移動します。

エンジンジョブ

E-MapReduce エンジン O&M ページには、現在のリージョン内のすべての DataWorks ワークスペースからのすべての E-MapReduce ジョブが一覧表示されます。このページでは、ジョブの詳細を表示し、O&M 操作を実行できます。

• E-MapReduce ジョブのフィルタリング

  E-MapReduce エンジン O&M ページの上部のメニューバーで、フィルターを使用して、ジョブ ID やジョブタイプなどの条件で特定のジョブを検索します。

  説明

  • デフォルトでは、Engine O&M ページには過去 3 日間のエンジンインスタンスデータが表示されます。

  • DataWorks Instance ID でフィルタリングする場合、オペレーションセンターの ID のみ検索できます。ジョブid または DataWorks Instance ID による検索は、過去 7 日間のジョブインスタンスに限定されます。

• E-MapReduce ジョブの操作

  このエリアでは、選択したジョブの詳細を表示し、必要に応じて O&M 操作を実行できます。

  機能	説明
  ジョブ詳細の表示	E-MapReduce ジョブの基本情報 (ジョブ ID、ジョブステータス、実行時間、ジョブソース、ジョブが属する DataWorks インスタンスなど) を表示できます。 ジョブステータスの説明： NEW：ジョブが作成されたばかりの状態です。 NEW_SAVING：ジョブを保存中です。 SUBMITTED：ジョブの実行リクエストが送信されました。 ACCEPTED：スケジューラがジョブの実行リクエストを受け付けました。 RUNNING：ジョブは実行中です。 説明 ジョブが長時間 RUNNING 状態のままの場合は、ジョブを実行する DataWorks タスクインスタンスを手動で終了させることができます。これにより、エラーのあるジョブが長期間リソースを占有し、下流タスクをブロックするのを防ぎます。 FINISHED：ジョブの実行が完了しました。 SUCCEEDED：ジョブは正常に実行されました。 FAILED：ジョブの実行に失敗しました。ジョブがこの状態にある場合は、下流ジョブのブロックや通常のタスク実行への影響を避けるために、迅速にエラーを特定して解決する必要があります。ジョブ ID または DataWorks インスタンスの ID をクリックして、トラブルシューティングのためにタスク詳細ページに移動します。 KILLED：ジョブはエグゼキュータまたは管理者によって終了されました。 DataWorks インスタンス ID： 異なる E-MapReduce ジョブが同じ DataWorks インスタンス ID を持つ場合があります。ただし、開始時間 の値が異なる場合は、異なる DataWorks タスクインスタンスに属します。したがって、DataWorks タスクインスタンスを一意に識別するには、DataWorks Instance ID と 開始時間 の両方を使用する必要があります。 説明 Data Quality、DataStudio、データ分析などの一部の DataWorks モジュールからトリガーされたタスクには、インスタンス ID がありません。これらのタスクの場合、プラットフォームはハイフン (-) を表示します。 EMR ジョブタイプ：MAPREDUCE および SPARK タイプのジョブのみ表示できます。 実行時間によるソート：開始時間 または 終了時間 で昇順または降順にソートして、ジョブの実行順序と持続時間を視覚的に確認し、実行ステータスを把握できます。 ジョブソース：E-MapReduce ジョブが実行された DataWorks モジュールを表示します。[操作] 列の対応するモジュールに移動して、タスクの詳細を表示できます。 キュー使用率 (%)：現在のジョブが使用しているキュー容量の割合です。これは、ジョブの実行中に YARN クラスターリソースマネージャーがキューに割り当てるリソースの割合です。
  タスクインスタンスの操作	DataWorks タスクインスタンスの終了 異常に長い時間 RUNNING 状態のままの E-MapReduce ジョブは手動で終了させる必要があります。このようなジョブは、内部エラーのために自動的に終了できないことがよくあります。これらのジョブを停止することで、リソースを無期限に消費し、他のタスクをブロックするのを防ぎます。 単一のジョブを終了するには、対応するジョブの [操作] 列にある 操作の終了 をクリックします。 複数のジョブを終了するには、対象のジョブを選択し、左下隅にある 対応するdataworksインスタンスを終了する をクリックします。 重要 スペース管理者、O&M ロールを持つユーザー、およびタスク所有者のみがタスクインスタンスを終了できます。 複数の E-MapReduce ジョブが同じ DataWorks タスクインスタンスに属している場合、いずれかのジョブを終了すると、DataWorks タスクインスタンスは FAILED 状態になります。 実行中の DataWorks タスクインスタンスのみ終了できます。 タスクインスタンスを終了すると、そのステータスは FAILED に設定されます。FAILED インスタンスは下流ノードの実行をブロックするため、注意して操作してください。 モジュールに移動してタスクを表示 [操作] 列のモジュールリンク (例：[DataStudio に移動]) をクリックして、元の DataWorks モジュールを開き、タスクの実行詳細を表示します。 説明 データ分析：ファイル所有者のみが SQL クエリファイルを開くことができます。 DataStudio：DataStudio ページに移動すると、ワークスペース内のすべての開発者がタスクを表示できます。ただし、タスクを実行したユーザーのみがその過去の実行レコードを表示できます。